近日，由盧志武博士領(lǐng)導的中國人民大學信息學院機器學習研究組開發(fā)了一套 AI 讀心師系統(tǒng)，該系統(tǒng)可以通過分析一段短視頻，來進行心理健康分析、個人信用評估、五重性格測試等，可應用于銀行面簽、法庭庭審、公司面試等多個場景。

AI 讀心師系統(tǒng)

中國人民大學信息學院機器學習研究組由盧志武博士，以及 10 余名博士生與碩士生組成，屬于文繼榮教授的大數(shù)據(jù)分析團隊。該研究組在 TPAMI、IJCV、NIPS、CVPR 等頂級期刊/會議上發(fā)表 40 余篇論文，主持了國家自然科學基金、軍委科技委等多個國家項目，還曾獲人工智能國際權(quán)威評測 ImageNet 2015 視頻檢測任務亞軍。

據(jù)盧志武博士的介紹，AI 讀心師系統(tǒng)作為一套能夠進行心理健康以及信用分析的系統(tǒng)，主要基于該研究組在精神疾病診斷、視頻測謊兩個方向上的研究成果。下面我們進行一一介紹：

可快速檢測 ASD 和 MDD 的深度學習模型 DeepInsight

將人工智能技術(shù)應用到精神疾病診斷這一領(lǐng)域，是研究組的一個重要嘗試，其相關(guān)的研究成果也發(fā)表在了計算機視覺權(quán)威會議 BMVC 2018（全稱為 British Machine Vision Conference，為次于 CVPR、ICCV、ECCV 的第四大計算機視覺會議）。他們在論文（下載地址：http://bmvc2018.org/contents/papers/0406.pdf）中，提出了一種新的深度學習模型——DeepInsight，該模型可用于快速檢測自閉癥譜系障礙（ASD）和重度抑郁障礙（MDD）。

據(jù)之前的醫(yī)學研究表明，患有自閉癥的兒童與正常發(fā)育的兒童在面部特征上存在明顯差異?；谶@一發(fā)現(xiàn)，研究組初步考慮利用深度學習方法提取對自閉癥診斷有辨別力的面部特征。然而，由于現(xiàn)有的標記數(shù)據(jù)（真實患者數(shù)據(jù)）遠遠不能滿足對自閉癥診斷深度模型的訓練，因而他們嘗試通過同時考慮兩種典型的精神障礙（ASD 和 MDD）來完成相關(guān)的任務，并提出了一個多任務多尺度深度學習模型 DeepInsight，以便對每個診斷任務的標記數(shù)據(jù)進行擴充，提升深度學習模型的性能。

圖 1 多任務多尺度深度學習模型 DeepInsight

本文通過從醫(yī)院收集真實患者數(shù)據(jù)以及從微博等社交媒體收集患者數(shù)據(jù)，首次創(chuàng)建了公開的自閉癥和抑郁癥人臉數(shù)據(jù)集?；谶@一數(shù)據(jù)集，DeepInsight 模型最終取得非常出色的成績——自閉診與抑郁癥的診斷準確率均接近 90%（如圖 2），驗證了該診斷模型的有效性。

圖 2 自閉診與抑郁癥診斷模型的結(jié)果比較

視頻測謊深度學習模型 FFCSN

研究組還將人工智能技術(shù)應用于視頻測謊 (deception detection from videos）[2]，其相關(guān)論文的網(wǎng)址為：http://arxiv.org/abs/1812.04429。目前，視頻測謊問題面臨兩大挑戰(zhàn)：(1) 如何有效地融合面部和動作信息來判斷視頻中個體是否說謊；(2) 真實視頻數(shù)據(jù)集規(guī)模很小，如何將深度學習應用在數(shù)量有限的訓練數(shù)據(jù)上。為了解決這些問題，本文提出了 face-focused cross-stream network（FFCSN）模型（如圖 3）。

圖 3 視頻測謊深度學習模型 FFCSN

不同于常見的雙流網(wǎng)絡模型（two-stream network），F(xiàn)FCSN 模型考慮將人臉檢測用于空間流來捕捉面部特征，并在整個網(wǎng)絡中利用相關(guān)學習來融合時空特征進行聯(lián)合訓練。此外，F(xiàn)FCSN 模型還引入了元學習（meta learning）和對抗學習（adversarial learning）來解決訓練數(shù)據(jù)量小的問題。

FFCSN 模型在公開的真實庭審視頻數(shù)據(jù)集上取得了當前最好的結(jié)果，同時，該模型在考慮音頻與文本信息后實現(xiàn)了 97% 的識別準確率（如圖 4），驗證了該模型在視頻測謊中非常有效。

圖 4 視頻測謊模型的結(jié)果比較

AI 讀心師系統(tǒng)的具體實現(xiàn)方式

得益于上述研究成果，AI 讀心師系統(tǒng)應運而生?；谌四樧R別技術(shù)，該系統(tǒng)主要有三個功能模塊：1. 心理健康測評；2. 個人信用分析；3. 五重性格評估。具體實現(xiàn)方式上，輸入被測試者的面部表情短視頻后，系統(tǒng)會輸出心理健康分析、個人信用評估、五重性格測試三個維度的分析結(jié)果。

其分析流程及采用的主要算法和模型描述如下：

1. 人臉檢測：被試人面部表情視頻流輸入，經(jīng)過 opencv 和 ffmpeg 工具進行視頻抽幀，由人臉檢測模型（多任務級聯(lián)卷積神經(jīng)網(wǎng)絡 MTCNN）對每幀中的人臉進行檢測、裁剪、矯正后得到標準人臉圖像，并作為后續(xù)三個分析模塊的輸入數(shù)據(jù)；

2. 心理健康測評：人臉檢測部分得到的標準人臉圖像根據(jù)是否正臉 、是否清晰、裁剪尺寸適當?shù)脑瓌t經(jīng)過篩后得到一張關(guān)鍵人臉圖像，將該關(guān)鍵人臉圖像輸入預訓練好的心理健康測評模型（InceptionV3 使用心理健康人臉圖像數(shù)據(jù)集進行預訓練）中進行特征提取，并將提取出的人臉特征輸入 SVM 分類器中進行分類，最終得到該模塊輸出，即心理健康程度評分；

3. 個人信用分析：人臉檢測部分得到的標準人臉序列輸入到預訓練好的個人信用分析模型中（ResNet34 使用個人信用人臉圖像序列數(shù)據(jù)集進行預訓練）進行特征提取并分類，該模塊不提取關(guān)鍵幀，即對被試人員面部表情視頻流中出現(xiàn)的所有人臉圖像進行分析，將每一幀人臉圖像分析結(jié)果進行加權(quán)匯總后給出該模塊最終分析結(jié)果，即個人信用評分；

4. 五重性格評估：人臉檢測部分得到的標準人臉序列輸入到預訓練好的五重性格評估模型（ResNet34 使用五重性格人臉圖像序列數(shù)據(jù)集進行預訓練）中進行特征提取及分類，該模塊也不提取關(guān)鍵幀，即對被試人員面部表情視頻流中出現(xiàn)的所有人臉圖像進行分析，將每一幀人臉圖像分析結(jié)果進行加權(quán)匯總后給出該模塊最終分析結(jié)果，即被試人員五重性格各維度的評分。

目前，該系統(tǒng)已有實體店智慧零售、高中生心理健康測試等成功案例。例如在心理健康測試方面，AI 讀心師系統(tǒng)通過分析某高中一年級 1200 余名學生的信息，將 AI 得到的結(jié)果與調(diào)查問卷的結(jié)果相互驗證，最終發(fā)現(xiàn) 17 疑似例抑郁癥樣本。