9大Fellow得主，用11個案例，帶你看清今年的醫(yī)學(xué)影像AI算法和研究熱點。

近日，第四屆圖像計算與數(shù)字醫(yī)學(xué)國際研討會（ISICDM 2020），在遼寧省沈陽市的東北大學(xué)國際學(xué)術(shù)交流中心舉辦。

在開幕式環(huán)節(jié)中，中科院自動化研究所田捷教授以《醫(yī)學(xué)影像中的人工智能的算法和研究熱點》為題做了大會報告。

田捷教授現(xiàn)任中國科學(xué)院自動化所研究員、分子影像重點實驗室主任、北航-首醫(yī)大數(shù)據(jù)精準醫(yī)療高精尖創(chuàng)新中心主任。

自2010年起，田捷教授連續(xù)獲得計算機視覺與醫(yī)學(xué)影像分析領(lǐng)域的9大Fellow，其中包括AAAS 、IEEE 、IAMBE 、SPIE 、AIMBE 、IAPR 、OSA 、ISMRM 、WMIS。同時也是兩項國家重點基礎(chǔ)研究發(fā)展計劃（973計劃）首席科學(xué)家。

他主要從事醫(yī)學(xué)影像分析與生物特征識別的研究和應(yīng)用的工作，還長期從事光學(xué)分子影像研究，在光學(xué)分子成像等領(lǐng)域做出了系統(tǒng)性、創(chuàng)新性貢獻，特別是生物自發(fā)光和激發(fā)熒光斷層成像及其應(yīng)用方面。

征得田捷教授同意后，我們提供PPT供大家學(xué)習(xí)和下載。關(guān)注公眾號《醫(yī)健AI掘金志》，對話框回復(fù)“田捷”即可獲取。

以下是田捷演講全文，雷鋒網(wǎng)《醫(yī)健AI掘金志》做了不改變原意的編輯：

田捷：今天和大家匯報的題目是《醫(yī)學(xué)影像中的人工智能的算法和研究熱點》，分為以下幾個方面：包括自己團隊對醫(yī)學(xué)影像人工智能的工作進展，以及回歸臨床的人工智能到底給患者和臨床帶來什么收益。

人工智能跟我們醫(yī)學(xué)影像密切相關(guān)，這是斯坦福大學(xué)放射系主任，Sanjiv Sam Gambhir的歸納，從人工智能的早期像符號系統(tǒng)期，就開始用醫(yī)學(xué)影像來做良惡性判斷，再到AI 2.0機器學(xué)習(xí)，判斷會更加準確，再到AI的3.0。

隨著方法不斷更新，人工智能在醫(yī)學(xué)影像中的應(yīng)用也越來越深入，越來越多臨床問題被更好的解決，使得患者能最終獲益。

另一方面，醫(yī)生和機器學(xué)習(xí)的關(guān)系，引用斯坦福大學(xué)Sanjiv Sam Gambhir教授在WMIC 2018給出的例子，從醫(yī)生角度來看，人工智能是計算機做人類認為智能的事，其從大到小包括機器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)。同時深度學(xué)習(xí)更適合解決像超聲這樣人工難以定義特征的影像，下面的表述也是驗證他這樣的觀點。

AI的另一重要概念即大數(shù)據(jù)，一個病人影像的每個斷層是512×512的像素，200個斷層即可組成5000多萬個體素，形成1000~10萬個影像特征，醫(yī)生看片不可能看到1000~10萬個特征。

但計算機可以通過高通量處理對信息進行降維，使得診斷更準確，從而輔助醫(yī)生進行決策。

下面我將主要分享，以人工智能為核心，在數(shù)據(jù)、圖像、知識這三個環(huán)之間的作用。

CT、磁共振把信號變成圖像，讓人眼來判讀，來提取特征，人腦來加工，最終形成診斷知識，這恰好是現(xiàn)在影像組學(xué)和人工智能，醫(yī)學(xué)影像的研究熱點。我將對這些熱點，進行逐個分析。

首先從信號到圖像，過去都是醫(yī)學(xué)影像器械廠商完成，例如從K-空間，磁共振圖像生成，有一系列物理模型和數(shù)學(xué)模型，像萊登投影，螺旋采樣等這一系列方法。

但現(xiàn)在人工智能也在干這事，使得從復(fù)雜頻率信號到實域變換，生成人眼能看的磁共振圖像，經(jīng)過訓(xùn)練以后，從圖像中獲取知識給出判斷，但這種重建方法受到了降采樣噪聲干擾，使得很多圖像失真。

而人工智能不需要物理模型和數(shù)學(xué)公式，可以直接從信號到圖像，既克服失真，又可高質(zhì)量重建。此外AI重建出來的結(jié)果，顛覆了過去由物理模型和數(shù)學(xué)算法降采樣得到圖像的方式，其信噪比更高，圖像質(zhì)量更好。

這是前年發(fā)表在Nature雜志上的文章，以深度學(xué)習(xí)進行重建，解決了磁共振從信號到圖像的問題。得到了更好圖像質(zhì)量效果，對廠商也起到了顛覆和促進作用，該工作是由哈佛大學(xué)醫(yī)學(xué)院完成的，第一作者是中國人。

我們團隊也開展了類似工作，通過訓(xùn)練樣本得到光源位置，不需要經(jīng)過輻射傳播方程來近似求解，以深度學(xué)習(xí)進行重建，其中沒有復(fù)雜物理過程和簡化數(shù)學(xué)模型，這個工作我們也發(fā)表在了Optica上。該工作以深度學(xué)習(xí)進行重建，與前面磁共振邏輯思路類似，按照這個思路我們做了一個系列，包括自發(fā)熒光，激發(fā)熒光，光聲成像。

從信號到圖像完全可以用深度學(xué)習(xí)，噪聲更低，效果更好，顛覆了復(fù)雜物理過程和數(shù)學(xué)模型，使得重建更加有效。

回歸到今天的主要內(nèi)容：圖像到知識。

重點從4個方面進行匯報：基于人工智能的影像組學(xué)方法；基于深度學(xué)習(xí)的影像智能診斷；特異性新型卷積神經(jīng)網(wǎng)絡(luò)模型；醫(yī)療人工智能的前沿?zé)狳c方向。

基于人工特征的影像組學(xué)分析

影像組學(xué)概念綜合了醫(yī)學(xué)影像、基因和臨床大數(shù)據(jù)，用人工智能高通量提取疾病相關(guān)信息，輔助臨床決策，和醫(yī)生看片是一樣的邏輯。

醫(yī)生看病是從影像提取特征，人眼看結(jié)構(gòu)特征，根據(jù)經(jīng)驗進行人腦加工，最后給出決策。計算機通過影像數(shù)據(jù)，定量提取高通量特征，人工智能建模來輔助決策。

其中最大區(qū)別是人眼看的是結(jié)構(gòu)，計算機看到的是高維信息。

高維信息能夠提取微觀基因蛋白信息在宏觀影像上的表達，從而反映人體組織細胞和基因水平變化，使得診斷更準確，治療更有效，這是影像組學(xué)意義所在。

影像組學(xué)也可以跟其他組學(xué)融合，通過人工智能高通量的提取特征信息，再進行建模，實現(xiàn)精準診斷、預(yù)后預(yù)測以及治療方案選擇。

圍繞著這幾個方面舉典型案例，說明人工智能到底解決了什么問題，患者的獲益在哪里。

人工智能對醫(yī)學(xué)來說到底效果是什么？

對臨床來說，影像是無創(chuàng)的，病理是有創(chuàng)的，通過手術(shù)和穿刺才能得到。病理是微觀，影像是宏觀，如果借助人工智能從宏觀影像上挖掘出微觀信息，把影像逼近病理，使兩個技術(shù)1+1>2，診斷將更準確。

另一方面，把宏觀影像跟外部預(yù)后結(jié)合在一起，定量分析影像數(shù)據(jù)和臨床數(shù)據(jù)，也能夠輔助疾病個性化診療和精準預(yù)測。

其中最重要的就是特征，人眼只能看到形狀特征。一些高維特征、標準方差、能量、復(fù)雜灰度、共生矩陣特征和熵，人眼都沒辦法看，也沒辦法加工，但計算機可以處理這些高維信息。

這是廣東省人民醫(yī)院劉再毅教授發(fā)表在Radiology的一篇文章。中間結(jié)構(gòu)圖是影像；兩個癌癥患者年齡差不多，結(jié)構(gòu)特征能看到的信息差不多相同。

放射科大夫?qū)憟蟾娑紩枋鲂螤畈灰?guī)則，邊緣較模糊，長徑多少，只能讓臨床外科和內(nèi)科大夫去做判斷。

但這兩個人的預(yù)后差別很大，一個5年半沒有復(fù)發(fā)，一個一年半就去世了。

這就是腫瘤異質(zhì)性，從結(jié)構(gòu)上看不到這兩個患者的預(yù)后和腫瘤異質(zhì)性（腫瘤本質(zhì)的差別）。

我覺得醫(yī)工交叉要解決問題，研究思路應(yīng)該是源于臨床提出問題，要具體化，越具體越好。特別是現(xiàn)在臨床解決不了的某一個點上的某一個具體問題，找適合的人工智能的數(shù)據(jù)處理方法和分析方法，最后回歸臨床應(yīng)用。

下面我會舉一些例子，說明了人工智能的效果。不同應(yīng)用目的的工作為例子，以印證上面研究思路，案例均摘自Ebiomedicine（柳葉刀子刊）。

案例一：新輔助治療效果評估

這是與南方醫(yī)院合作的科研案例，針對特定臨床問題：局部晚期宮頸癌治療前難以預(yù)測新輔助治療療效。采用了275例新輔助化療前宮頸癌多中心多序列MR影像。

用人工智能多序列、多區(qū)域MR影像組學(xué)特征分析，實現(xiàn)局部晚期宮頸癌患者的新輔助療效精準預(yù)測。從過去不能從磁共振圖看出問題，到借助人工智能加磁共振的分析達到精準預(yù)測。

這個成果發(fā)表在醫(yī)學(xué)雜志Ebiomedicine上，國際同行法國教授Dimitris Visvikis認為該研究表明在多中心驗證影像組學(xué)模型是可行的，該工作將促進影像組學(xué)的臨床應(yīng)用轉(zhuǎn)化。

案例二：孕婦產(chǎn)后出血預(yù)測

這是與河南省人民醫(yī)院合作的案例：通過分析近300例胎盤增生孕婦產(chǎn)前MR影像、MR影像組學(xué)特征，對多中心T2WI序列進行智能分析實現(xiàn)孕婦剖腹產(chǎn)發(fā)生出血的精準預(yù)測。

案例三：肝硬化門脈高壓預(yù)測

前面是影像逼近病理，這是對肝靜脈壓梯度測量的預(yù)測，通過回顧性CT圖像數(shù)據(jù)進行學(xué)習(xí)預(yù)測，提取了特征再進行前瞻性AI預(yù)測，效果也不錯。

案例四：遠處轉(zhuǎn)移風(fēng)險評估

鼻咽癌遠處轉(zhuǎn)移風(fēng)險評估案例中，我們使用176例鼻咽癌患者MR影像進行數(shù)據(jù)定量分析，實現(xiàn)治療前對鼻咽癌患者遠處轉(zhuǎn)移風(fēng)險的精準預(yù)測。

案例五：腦膜瘤腦組織侵襲風(fēng)險評估

第五個案例是腦膜瘤腦組織侵襲風(fēng)險的預(yù)測。腦膜瘤患者會有術(shù)前評估不準確性，我們?nèi)?728例術(shù)前腦膜瘤患者多序列MR影像，分析定量影像組學(xué)特征與腦組織侵襲潛在關(guān)聯(lián)，實現(xiàn)了腦膜瘤患者腦組織侵襲風(fēng)險精準預(yù)測。

這些案例都是以問題為導(dǎo)向，說明人工智能解決臨床的特定問題，但問題一定是源于臨床，找到一個特定問題，高于臨床找到適合的方法，回歸臨床看效果。

對于AI找肺結(jié)節(jié)類問題在臨床上并不一定有實際意義，也許方法很炫，在特定數(shù)據(jù)集上也很有效，但距離實際的臨床問題和患者都太遠。

基于深度學(xué)習(xí)的影像智能診斷

影像組學(xué)還存在采用人工定義特征靈活性較低的問題，通過端到端的深度神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)中自動提取特征，能夠減少對人的依賴，但這樣的方法的可解釋性給我們帶來了挑戰(zhàn)。

深度學(xué)習(xí)可以減少對人的依賴，無需人工定義特征，但需要的數(shù)據(jù)量也就提高了，超聲就是很好的案例。

超聲圖像數(shù)據(jù)量大，類型多，沒有冠狀面和矢狀面，一般每個醫(yī)生之間無法達成共識，與醫(yī)生的操作手法有很大關(guān)系，恰恰適合深度學(xué)習(xí)。

超聲圖像大概有兩類：靜態(tài)和動態(tài)。靜態(tài)分為B超圖像、彈性成像；動態(tài)分為B超視頻、造影視頻。

我們在Medical Image Analysis上相繼發(fā)表兩篇文章，針對靜態(tài)圖像分割，建立深層局部注意金字塔神經(jīng)網(wǎng)絡(luò)模型，在多個超聲數(shù)據(jù)集中分割精度與專家手動分割近乎一致。

針對動態(tài)視頻追蹤，建立級聯(lián)單樣本可變形卷積神經(jīng)網(wǎng)絡(luò)模型，對超聲視頻中肝癌實現(xiàn)高精度實時自動追蹤。

基于深度學(xué)習(xí)的影像智能診斷方面，我也將重點分享六個案例：

案例1：超聲影像組學(xué)-預(yù)測肝癌TACE治療預(yù)后

肝癌患者TACE預(yù)后差異大，術(shù)前缺乏有效預(yù)測手段的問題。

我們和中山大學(xué)一附院合作，針對139例肝癌患者術(shù)前超聲造影動態(tài)視頻建立了3D CNN網(wǎng)絡(luò)，進行視頻數(shù)據(jù)特征自動學(xué)習(xí)，精準預(yù)測肝癌TACE治療預(yù)后情況，精度可以達到0.93。

左邊是超聲造影圖像，深度學(xué)習(xí)可以將超聲動態(tài)視頻轉(zhuǎn)化為更直觀的分類視頻，紅色代表預(yù)后貢獻值，紅色越多代表預(yù)后效果好，藍色代表預(yù)后效果不好，上面這個人預(yù)后效果更好，即使不是醫(yī)生也可以看懂。深度學(xué)習(xí)把數(shù)據(jù)變成知識，縮短了醫(yī)生的學(xué)習(xí)曲線。

案例2：卷積神經(jīng)網(wǎng)絡(luò)預(yù)后模型-肝癌治療方案的選擇-個性化診療

早期肝癌（5公分以下）選擇肝切還是消融這個問題，我們以兩百多例消融和肝切患者術(shù)前超聲造影視頻及預(yù)后隨訪數(shù)據(jù)為基礎(chǔ)，得到17%消融患者和25%肝切患者診療方式應(yīng)該互換，預(yù)后效果會更好，這就是個性化診療。

過去個性化診療憑大夫經(jīng)驗，根據(jù)化驗結(jié)果和醫(yī)學(xué)經(jīng)驗判斷該肝切還是消融，但每個人經(jīng)驗是有限的。

使用卷積神經(jīng)網(wǎng)絡(luò)挖掘多相位超聲視頻特征，學(xué)習(xí)動脈期、門脈期、靜脈期超聲視頻圖像，然后集合Cox比例風(fēng)險損失函數(shù)，就可以實現(xiàn)個性化診療，端到端進行預(yù)后預(yù)測。

通過AI計算，37位消融患者如果接受肝切治療，兩年P(guān)FS概率增加12%，56位肝切患者接受消融治療，2年后PFS概率增加15%。

通過大數(shù)據(jù)和回顧性數(shù)據(jù)，可以對預(yù)后效果進行前瞻性預(yù)測，借助人工智能實現(xiàn)治療方案的選擇和推薦。

案例3：遷移學(xué)習(xí)—肺癌EGFR基因突變預(yù)測

影像不僅能逼近病理，還能做基因預(yù)測。原來判斷肺癌有沒有EGFR基因突變，需要進行穿刺。但穿刺風(fēng)險很大，可能會激活腫瘤加快擴散，甚至穿刺可能帶動腫瘤轉(zhuǎn)移。

由于腫瘤異質(zhì)性影響，一針不一定穿到腫瘤核心位置或想穿的地方。如果拍個CT就可以知道基因類型，可以解決規(guī)避很多風(fēng)險，其中人工智能就可以發(fā)揮作用。

我們用遷移深度學(xué)習(xí)方法，對800余例肺腺癌患者多中心CT影像，進行基因突變預(yù)測。對EGFR突變給出預(yù)測，將其展現(xiàn)成可理解的知識。前面例子紅色代表貢獻值，是深度學(xué)習(xí)給出的腫瘤中EGFR基因突變高可疑區(qū)域。

對著高亮區(qū)域穿刺，效果會更好，也克服了前面的假陽性或假陽性結(jié)果，當(dāng)然我們更重要進行無創(chuàng)的預(yù)測。

該成果發(fā)表在臨床類頂刊-歐洲呼吸上，第一作者是一個工科學(xué)生，這個方法解決問題的效果好，實現(xiàn)了從影像+人工智能的基因預(yù)測。

案例4：半監(jiān)督深度學(xué)習(xí)—卵巢癌復(fù)發(fā)時間預(yù)測

在卵巢癌復(fù)發(fā)時間預(yù)測中，我們還構(gòu)建了基于Dense連接的卷積自編碼器網(wǎng)絡(luò)。

通過半監(jiān)督深度學(xué)習(xí)挖掘缺乏隨訪CT影像的數(shù)據(jù)，從大量無隨訪CT影像中學(xué)習(xí)腫瘤關(guān)鍵特征，少量隨訪數(shù)據(jù)和大量無隨訪CT影像得到復(fù)發(fā)風(fēng)險預(yù)測精度為C-Index=0.713；預(yù)測三年復(fù)發(fā)率AUC=0.772。

案例5：多模態(tài)特征融合—胃癌腹膜轉(zhuǎn)移預(yù)測

第五個案例是胃癌隱性腹膜轉(zhuǎn)移，這類疾病術(shù)前無法進行影像判斷，給外科大夫帶來很大困難。

外科大夫只有通過手術(shù)看到后才發(fā)現(xiàn)胃癌腹膜轉(zhuǎn)移，按照NCCN指南開刀手術(shù)已經(jīng)沒有價值。

以前，外科大夫根據(jù)經(jīng)驗不知道是否有隱性腹膜轉(zhuǎn)移，癌癥患者開刀是首選，而我們可以用人工智能深度學(xué)習(xí)進行精準預(yù)測，通過構(gòu)建融合影像組學(xué)特征和深度學(xué)習(xí)特征的分期預(yù)測方法，大幅提高腹膜轉(zhuǎn)移診斷精度，對臨床漏診患者檢出率達85%，這個文章發(fā)表在腫瘤權(quán)威的雜志上。

這個工作不僅發(fā)表了臨床類雜志文章，雜志同期還邀請臨床專家就深度學(xué)習(xí)述評，認為其可以做為一個有效的胃癌診斷工具，比現(xiàn)有臨床分析和臨床特征更加精確。這也證明人工智能發(fā)表在醫(yī)學(xué)類雜志上的意義。

這個工作當(dāng)年就寫入中國臨床腫瘤學(xué)會CSCO胃癌診療指南，讓更多病人避免白挨一刀，也讓更多醫(yī)生不用開一個沒有價值的刀。

案例6：全自動深度學(xué)習(xí)模型—新冠肺炎診斷

今年新冠疫情的影響下，我們對新冠肺炎的診斷進行研究，針對新冠肺炎與其他肺炎的鑒別，我們構(gòu)建端到端深度學(xué)習(xí)進行自動檢測。

深度學(xué)習(xí)模型自動關(guān)注肺內(nèi)結(jié)節(jié)和炎癥區(qū)域，實現(xiàn)全自動新冠肺炎診斷，在來自兩家中心獨立外部驗證集上AUC均大于0.87。

由于主要是鑒別新冠，研究采用了6家醫(yī)院1266例肺炎患者的CT影像（924例新冠，324例其他肺炎），還有另外兩家醫(yī)院做獨立外部驗證集，AUC達到0.87和0.88。

該工作是深度學(xué)習(xí)大數(shù)據(jù)回歸的結(jié)果，使模型關(guān)注肺內(nèi)結(jié)節(jié)和炎癥區(qū)域，讓判斷更加準確。

特異性新型卷積神經(jīng)網(wǎng)絡(luò)模型

特異性新型卷積神經(jīng)網(wǎng)絡(luò)模型這方面也有很多工作，針對醫(yī)學(xué)應(yīng)用，我們提出了多尺度池化方法，強化腫瘤內(nèi)部關(guān)鍵信息，把腫瘤瘤內(nèi)、瘤外、瘤周信息進行多尺度提取，實現(xiàn)肺癌早期診斷，文章發(fā)表在Pattern Recognition雜志上。

我們還提出中心池化卷積神經(jīng)網(wǎng)絡(luò)分層量化腫瘤空間信息概念，與傳統(tǒng)池化、均勻量化相比，通過非均勻中心池化窗約束對瘤內(nèi)、瘤周、瘤外區(qū)域分別使用不同大小的池化窗，實現(xiàn)基于空間信息的特征篩選，得到更多特征信息。

醫(yī)療人工智能的前沿?zé)狳c方向

第一，病理-影像大數(shù)據(jù)融合影像組學(xué)研究

前面是以影像為主進行挖掘，病理圖像也是圖像，也很適合人工智能，如果把影像挖掘跟病理挖掘合二為一，效果肯定會1+1>2。

案例：影像病理組學(xué)輔助直腸癌療效預(yù)測

這是第一個課題，從影像組學(xué)得到的結(jié)果，把影像組學(xué)+病理圖像結(jié)合，準確率提高15%以上，說明利用多組學(xué)分析能解決更多問題。

第二，構(gòu)建醫(yī)學(xué)影像大數(shù)據(jù)

醫(yī)工交叉和人工智能醫(yī)學(xué)領(lǐng)域應(yīng)用基礎(chǔ)就是數(shù)據(jù)庫，這是中國的一個優(yōu)勢，美國TCGA數(shù)據(jù)庫做了很多年才達到1萬例。中國數(shù)據(jù)比較多，我們團隊已經(jīng)積累了10萬多例腫瘤數(shù)據(jù)。

第三，研發(fā)醫(yī)學(xué)影像智能分析輔助診斷軟件

另外一個重要元素就是算法，把算法軟件集成在一起，形成算法庫，供醫(yī)生使用（開源），目前國內(nèi)外已經(jīng)有13萬人次下載。

我覺得未來AI還將進化到4.0時代，從數(shù)據(jù)直接獲得知識。從數(shù)據(jù)到圖像就是為了供人觀看，但生成圖像，會有很多噪聲，丟掉很多信息。

未來如果人工智能從數(shù)據(jù)到知識，對于整個醫(yī)學(xué)影像和放射科都將是一種顛覆，目前國內(nèi)外都在研究。

最后總結(jié)一下，今天強調(diào)的是問題導(dǎo)向：源于臨床，找到特定問題；高于臨床，找到適合的人工智能方法；回歸臨床，讓人工智能解決問題，讓患者獲益。

這個工作必須醫(yī)工交叉，互補合作。很高興這幾年影像和超聲醫(yī)生，一直在嘗試，發(fā)表了一系列學(xué)術(shù)頂刊，這些工作將使醫(yī)療人工智能持續(xù)發(fā)展的生命力。

原文標題：中科院田捷教授：重新審視醫(yī)學(xué)影像AI，哪些算法和研究最具生命力？ | 萬字長文

文章出處：【微信公眾號：IoT科技評論】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq