計(jì)算機(jī)視覺在醫(yī)療領(lǐng)域得到了廣泛應(yīng)用，如醫(yī)學(xué)影像處理等。

最近，來自 Salesforce AI 研究院、谷歌、斯坦福大學(xué)等機(jī)構(gòu)的研究人員合作撰寫了一篇文章，綜述了基于深度學(xué)習(xí)的計(jì)算機(jī)視覺技術(shù)在醫(yī)療領(lǐng)域中的現(xiàn)狀與應(yīng)用。該論文發(fā)表在 Nature 旗下期刊 npj Digital Medicine 上。

機(jī)器之心選取文章的部分內(nèi)容為大家展開介紹。

論文地址：https://www.nature.com/articles/s41746-020-00376-2#Sec6

摘要

十年來，人工智能取得了前所未有的進(jìn)展，包括醫(yī)學(xué)在內(nèi)的許多領(lǐng)域都有望從中受益。在該論文中，研究者調(diào)查了以深度學(xué)習(xí)為支撐的現(xiàn)代計(jì)算機(jī)視覺技術(shù)在醫(yī)學(xué)領(lǐng)域的最新進(jìn)展，重點(diǎn)包括醫(yī)學(xué)成像、醫(yī)療視頻和臨床部署。

該論文首先簡要概述了卷積神經(jīng)網(wǎng)絡(luò)的十年進(jìn)展，包括它們?cè)卺t(yī)療領(lǐng)域中實(shí)現(xiàn)的視覺任務(wù)。接下來，論文討論了一些有益的醫(yī)學(xué)成像應(yīng)用示例，涉及心臟病學(xué)、病理學(xué)、皮膚病學(xué)、眼科醫(yī)學(xué)，并為后續(xù)研究工作提出了新的方向。此外，研究者還介紹了醫(yī)療視頻，重點(diǎn)介紹了如何將臨床工作流程與計(jì)算機(jī)視覺結(jié)合來改善醫(yī)療效果。最后，論文討論了在現(xiàn)實(shí)世界中部署這些技術(shù)面臨的挑戰(zhàn)和障礙。

圖 1：醫(yī)療領(lǐng)域中的計(jì)算機(jī)視覺任務(wù)示例。

計(jì)算機(jī)視覺

目標(biāo)分類、定位和檢測分別是指識(shí)別圖像中的目標(biāo)類型、確定目標(biāo)所在位置，以及同時(shí)確定目標(biāo)的類型和位置。過去十年，ImageNet 大規(guī)模視覺識(shí)別挑戰(zhàn)賽（ILSVRC）是促成這些任務(wù)進(jìn)步的先鋒。它創(chuàng)建了一個(gè)由深度學(xué)習(xí)研究人員組成的大型社區(qū)，社區(qū)中的研究者相互競爭和合作以改進(jìn)各種 CV 任務(wù)的技術(shù)。

2012 年，首個(gè)使用 GPU 的現(xiàn)代 DL 方法成為該社區(qū)發(fā)展的拐點(diǎn)，它預(yù)示著該領(lǐng)域接下來幾年的顯著進(jìn)展，直到 2017 年 ILSVRC 競賽舉辦了最后一屆。值得注意的是，在此期間，分類準(zhǔn)確率已經(jīng)達(dá)到了人類級(jí)別。在醫(yī)學(xué)上，這些方法的細(xì)粒度版本已成功用于許多疾病的分類和檢測，如下圖 2 所示。

圖 2：醫(yī)師級(jí)別的診斷性能。

醫(yī)學(xué)成像

近年來，使用計(jì)算機(jī)視覺技術(shù)處理靜態(tài)醫(yī)學(xué)成像的論文從數(shù)百篇增長至幾千篇。其中，放射學(xué)、病理學(xué)、眼科醫(yī)學(xué)和皮膚病學(xué)等幾個(gè)領(lǐng)域受到了廣泛關(guān)注。

醫(yī)學(xué)影像的獨(dú)特特征給基于 DL 的計(jì)算機(jī)視覺提出了許多挑戰(zhàn)。例如，圖像可能非常龐大，數(shù)字化組織病理學(xué)圖像可以產(chǎn)生約 100000 x 100000 像素的千兆像素圖像，而典型的 CNN 圖像輸入約為 200 x 200 像素。

目前已有數(shù)十家公司獲得美國 FDA 和歐盟 CE 的醫(yī)學(xué)成像 AI 批準(zhǔn)。隨著可持續(xù)商業(yè)模式的建立，商業(yè)市場已經(jīng)開始形成。例如，印度和泰國等地歡迎部署糖尿病性視網(wǎng)膜病變篩查系統(tǒng)等技術(shù)。如今這種快速發(fā)展已經(jīng)達(dá)到了直接影響患者治療效果的地步。

心臟病學(xué)

心臟成像越來越廣泛地應(yīng)用于臨床診斷等流程中，深度學(xué)習(xí)的關(guān)鍵臨床應(yīng)用包括診斷和篩選。心血管醫(yī)學(xué)中最常見的成像方式是心臟超聲或超聲心動(dòng)圖。作為一種經(jīng)濟(jì)高效的無輻射技術(shù)，超聲心動(dòng)圖因其直接的數(shù)據(jù)采集和解釋功能而特別適合應(yīng)用 DL 技術(shù)，它常被用于急診住院設(shè)施、門診中心和急診室中。

病理學(xué)

病理學(xué)家在癌癥的檢測和治療中起著關(guān)鍵作用。病理分析（基于顯微鏡下組織樣本的目視檢查）本質(zhì)上是主觀的，視覺感知和臨床訓(xùn)練的差異可能導(dǎo)致診斷和預(yù)測意見不一致。

DL 可以支持很多重要的醫(yī)療任務(wù)，包括診斷、預(yù)測病情和治療效果、疾病監(jiān)測等。

近年來，醫(yī)療領(lǐng)域已經(jīng)采用了亞微米級(jí)分辨率的組織掃描儀，該儀器可以捕獲千兆像素的全視野數(shù)字切片（whole-slide images ，WSI）。這種發(fā)展和計(jì)算機(jī)視覺的進(jìn)步促成了 AI 驅(qū)動(dòng)的數(shù)字組織病理學(xué)的研究和商業(yè)化活動(dòng)。該領(lǐng)域具有以下潛力：

通過提高日常任務(wù)的效率和準(zhǔn)確性來克服人類視覺感知和認(rèn)知的局限性；

從人眼看不見的形態(tài)結(jié)構(gòu)中開發(fā)出疾病和治療的新特征；

將病理學(xué)與放射學(xué)、基因組學(xué)和蛋白質(zhì)組學(xué)測量結(jié)合起來，以改善診斷和預(yù)測效果。

皮膚病學(xué)

皮膚病學(xué)中 DL 的關(guān)鍵臨床任務(wù)包括特定于病灶的鑒別診斷、在良性病灶中發(fā)現(xiàn)與病灶有關(guān)的問題，以及幫助跟蹤病灶隨時(shí)間的增長。一系列研究表明，CNN 在歸類良性與惡性皮膚病變時(shí)的性能可以媲美皮膚科醫(yī)生。這些研究依次測試了越來越多的皮膚科醫(yī)生，并且始終展示出匹配甚至超過醫(yī)師水平的分類敏感性和特異性。但這些研究很大程度上局限于二分類任務(wù)，如鑒別良性與惡性皮膚病變。

最近，這些研究還包括了對(duì)數(shù)十種皮膚病的診斷，包括非贅生性皮膚?。ㄈ缙ふ睿?，其分類器輸入還囊括了非視覺元數(shù)據(jù)（如病人的人口統(tǒng)計(jì)特征）。

將這些算法集成到臨床工作流程可以使其支持其他關(guān)鍵任務(wù)，包括對(duì)具有多個(gè)病灶的病人進(jìn)行大規(guī)模惡性病變檢測等。這一領(lǐng)域仍待探索。

眼科學(xué)

近年來，眼科領(lǐng)域出現(xiàn)了很多 AI 研究，許多論文展示了其 AI 成果超出當(dāng)前人類的臨床診斷和分析能力。這帶來的潛在影響是巨大的，眼睛檢查儀器的便攜性意味著可以利用臨時(shí)診所和遠(yuǎn)程醫(yī)療為偏遠(yuǎn)地區(qū)帶去檢測點(diǎn)。該領(lǐng)域極大地依賴眼底成像和光學(xué)相干斷層掃描 (OCT) 來診斷和管理病人。

CNN 可以準(zhǔn)確診斷許多疾病。眼睛包含大量人類無法解釋的特征，包含有意義的醫(yī)療信息，而 CNN 可以獲取這些特征。CNN 還可以基于眼底成像分類多種心血管和糖尿病風(fēng)險(xiǎn)因素，包括年齡、性別、收縮壓等。這表明未來 AI 研究有可能基于眼部圖像預(yù)測非眼部信息，帶來醫(yī)療領(lǐng)域的范式轉(zhuǎn)變，即通過眼部檢查判斷眼部和非眼部疾病，而這是人類醫(yī)生目前無法做到的。

醫(yī)療視頻

手術(shù)應(yīng)用

計(jì)算機(jī)視覺可以在手術(shù)和內(nèi)窺鏡檢查等醫(yī)療步驟中提供極大的用途。深度學(xué)習(xí)在醫(yī)療方面的重要應(yīng)用包括通過實(shí)時(shí)環(huán)境感知、技能評(píng)估和訓(xùn)練來提升手術(shù)性能。早期研究主要在基于視頻的機(jī)器人手術(shù)和腹腔鏡手術(shù)中開展。另一個(gè)方向則是利用計(jì)算機(jī)視覺識(shí)別不同的手術(shù)階段，從而開發(fā)環(huán)境感知的計(jì)算機(jī)輔助系統(tǒng)。

此外，計(jì)算機(jī)視覺還開始出現(xiàn)在開放手術(shù)中。這里的挑戰(zhàn)在于視頻捕捉視角的多樣性（如頭戴式、側(cè)視和懸吊式攝影機(jī)）和手術(shù)類型的多樣化。對(duì)于所有類型的手術(shù)視頻，將 CV 分析轉(zhuǎn)換為可以提升治療效果的工具與應(yīng)用是下一個(gè)研究方向。

人類活動(dòng)

計(jì)算機(jī)視覺可以識(shí)別物理空間中的人類活動(dòng)，可用于大量「環(huán)境智能」應(yīng)用。環(huán)境智能指連續(xù)、非侵入式地感知物理空間中的活動(dòng)，從而為醫(yī)生、護(hù)士等醫(yī)療工作人員提供幫助，如病人監(jiān)測、自動(dòng)化文檔等，參見圖 3。

圖 3：環(huán)境智能。計(jì)算機(jī)視覺與傳感器和視頻流讓很多安全應(yīng)用在臨床和居家環(huán)境中變?yōu)榱丝赡埽瑸獒t(yī)護(hù)工作者擴(kuò)展了監(jiān)測病人的能力。這些應(yīng)用主要使用細(xì)粒度活動(dòng)識(shí)別模型構(gòu)建，可能包括 ICU 中的患者監(jiān)測、醫(yī)院和診所中的洗手動(dòng)作監(jiān)測、異常事件檢測等。

環(huán)境感知還可以在醫(yī)院之外應(yīng)用，幫助更多人及時(shí)獲取醫(yī)療服務(wù)。例如，它可以通過監(jiān)測日?；顒?dòng)中的異常情況來幫助獨(dú)居老人及時(shí)獲取醫(yī)療服務(wù)。此外，計(jì)算機(jī)視覺技術(shù)還有望成為遠(yuǎn)程生理指標(biāo)測量的工具，例如系統(tǒng)利用視頻來分析心率和呼吸頻率。

臨床部署

醫(yī)療 AI 的應(yīng)用可以給社會(huì)帶來福利，也有可能加劇長期存在的不平等。當(dāng)?shù)玫角‘?dāng)、符合倫理的使用時(shí)，醫(yī)療 AI 可以促成更公平的醫(yī)療環(huán)境。而其關(guān)鍵在于理解模型基于什么樣的數(shù)據(jù)構(gòu)建、在什么樣的環(huán)境中部署。該論文展示了將機(jī)器學(xué)習(xí)技術(shù)應(yīng)用于醫(yī)療領(lǐng)域時(shí)需要注意的四個(gè)要點(diǎn)：數(shù)據(jù)評(píng)估、模型局限性解決、社區(qū)參與和信任建立。

數(shù)據(jù)質(zhì)量很大程度上決定了模型質(zhì)量，發(fā)現(xiàn)數(shù)據(jù)中的不公平并解決將帶來更公平的醫(yī)療環(huán)境。目前有多種移除數(shù)據(jù)偏見的方法。個(gè)體層面上的偏見可以通過專家討論和標(biāo)注判定來解決，而群體層面偏見則需要缺失數(shù)據(jù)補(bǔ)足和分布漂移來解決。國際多機(jī)構(gòu)評(píng)估是確定模型在多種不同群體、醫(yī)療設(shè)備、資源設(shè)置和實(shí)踐模式間泛化性能的魯棒方法。此外，使用多任務(wù)學(xué)習(xí)訓(xùn)練模型執(zhí)行多種任務(wù)也會(huì)使模型更具普遍用途和魯棒性。

透明報(bào)告可以解決模型的潛在缺陷，幫助解決模型局限性。然而，僅僅報(bào)告，以及在通用數(shù)據(jù)集上實(shí)現(xiàn)強(qiáng)大性能并不足夠，我們還應(yīng)理解模型失敗的特定實(shí)例。一種解決方案是將評(píng)估人口統(tǒng)計(jì)性能與顯著圖結(jié)合起來，從而可視化模型關(guān)注的地方，發(fā)現(xiàn)潛在的偏差。下圖 4 展示了模型部署中的偏見。

圖 4：模型部署中的偏見。

從病人、醫(yī)生、計(jì)算機(jī)科學(xué)家和其他利益相關(guān)人的角度來看，社區(qū)參與對(duì)于模型的成功部署更為重要。它可以幫助識(shí)別醫(yī)療診斷中種族偏見的結(jié)構(gòu)化成因，具體表現(xiàn)是發(fā)現(xiàn)數(shù)據(jù)集中的偏見、確定導(dǎo)致模型失敗的人口統(tǒng)計(jì)特征。以用戶為中心的評(píng)估是確保模型可用性并使其適應(yīng)現(xiàn)實(shí)世界的重要工具。

另一個(gè)使醫(yī)生建立起對(duì) AI 信任的有效工具是 ML 模型與現(xiàn)有工作流的并行部署，參見圖 5：

圖 5：臨床部署。該示例工作流程展示了 AI 增強(qiáng)工作流的積極效果，以及可建立起的信任。人工智能的預(yù)測結(jié)果為醫(yī)生提供了直接價(jià)值，而隨著收集到的數(shù)據(jù)增加，這種能力還會(huì)不斷提升。

責(zé)任編輯：lq