醫(yī)學(xué)圖像是臨床診斷主要依據(jù)之一，對醫(yī)學(xué)圖像的處理分析具有十分重要的理論和臨床價值。本文詳細(xì)分析了醫(yī)學(xué)圖像處理面臨的挑戰(zhàn)，闡述了醫(yī)學(xué)圖像傳統(tǒng)處理流程以及GPU的作用，總結(jié)了人工智能醫(yī)學(xué)影像發(fā)展現(xiàn)狀、問題以及GPU算力加持下深度學(xué)習(xí)醫(yī)學(xué)圖像處理算法的演進(jìn)趨勢。

醫(yī)學(xué)圖像處理面臨的挑戰(zhàn)

自倫琴1895年開創(chuàng)X射線人體成像先河以來，計算機斷層掃描 (CT) 、磁共振成像 (MRI) 、正電子發(fā)射斷層成像 (PET) 等醫(yī)學(xué)影像技術(shù)已然成為臨床醫(yī)生最直接、最常用的方法手段，它在整個臨床應(yīng)用（包括疾病診斷、手術(shù)治療、預(yù)后評估等）中起著至關(guān)重要的作用。醫(yī)學(xué)圖像的處理分析是醫(yī)學(xué)影像技術(shù)的核心部分，包括圖像重建、增強、配準(zhǔn)、融合、跟蹤、分割、識別、可視化等技術(shù)，不僅可以輔助醫(yī)生閱片分析、自動化診療過程，還是手術(shù)機器人等圖像引導(dǎo)介入 (Image Guided Interventions，IGI) 手術(shù)的關(guān)鍵技術(shù)。

然而，醫(yī)學(xué)圖像處理面臨諸多挑戰(zhàn)。

1、隨著各類醫(yī)學(xué)影像設(shè)備的迅速發(fā)展和普及，醫(yī)學(xué)圖像數(shù)據(jù)正以前所未有的速度增加。據(jù)統(tǒng)計，美國的醫(yī)學(xué)圖像數(shù)據(jù)年增長率為63.1%，我國圖像數(shù)據(jù)年增長率也在30%左右。截止2020年，全球醫(yī)學(xué)圖像數(shù)據(jù)量已經(jīng)達(dá)到了驚人的40萬億GB[1]。

2、如圖1所示，不同類型的成像設(shè)備，由于成像原理不同，其生成的不同模態(tài)圖像在相同解剖結(jié)構(gòu)位置上并不存在簡單的線性對應(yīng)關(guān)系。在臨床應(yīng)用中，醫(yī)生往往需要結(jié)合多種模態(tài)圖像進(jìn)行融合分析、互為補充，以改善臨床診斷、病情監(jiān)測、外科手術(shù)引導(dǎo)、療效評估的水平。

圖1：不同模態(tài)的腦部圖像

來源：F. E.-Z. A. El-Gamal, M. Elmogy, A. Atwan. Current trends in medical image registration and fusion. Egyptian Informatics Journal, 2016

3、醫(yī)學(xué)圖像個體差異較大，即使是同一臺設(shè)備同一病人，由于成像系統(tǒng)的缺陷，不同成像參數(shù)條件和患者呼吸運動等多種原因，也容易造成醫(yī)學(xué)圖像出現(xiàn)不同程度的偽影和噪聲。

4、醫(yī)學(xué)圖像的解釋并沒有完全統(tǒng)一的標(biāo)準(zhǔn)。由于經(jīng)驗和環(huán)境條件不一樣，即使是同一醫(yī)生在不同時間段對同一張圖片都有可能出現(xiàn)不同的解釋和描述。

5、臨床診療對時間具有一定敏感性。對于一些實時性要求較高的臨床應(yīng)用，如手術(shù)導(dǎo)航，圖像處理速度要求至少達(dá)到 25-30幀/秒。

醫(yī)學(xué)圖像的這些特點，對醫(yī)學(xué)圖像處理的算法和算力都提出了較高的要求。近年來，隨著人工智能 (artificial intelligence，AI) 核心——深度學(xué)習(xí)在計算機視覺處理領(lǐng)域的巨大成功，AI技術(shù)通過替代或增強醫(yī)學(xué)圖像處理的部分或整體流程，可以顯著提高醫(yī)學(xué)圖像分析的精度和效率，提升健康與診療的效益及價值。GPU具有高效的并行計算能力，不僅適合計算密集型傳統(tǒng)圖像處理任務(wù)，而且是人工智能模型訓(xùn)練、預(yù)測的關(guān)鍵硬件。接下來，我們將分別對GPU的作用進(jìn)行闡述。

GPU提速醫(yī)學(xué)圖像處理全流程

醫(yī)療成像設(shè)備產(chǎn)生的醫(yī)學(xué)圖像具有多種維度，包括2D、3D、4D圖像，以及2D視頻圖像（內(nèi)窺鏡或顯微鏡視頻）。隨著圖像維度和算法復(fù)雜度的提高，醫(yī)學(xué)圖像處理的計算量也在大幅增加。對于大多數(shù)醫(yī)學(xué)圖像處理算法，圖像像素可以作為線程進(jìn)行獨立處理，具有數(shù)據(jù)并行計算的特點，這是GPU并行加速的基礎(chǔ)。GPU具有高并行、多線程、多流式處理器、高內(nèi)存帶寬的特點，可以實現(xiàn)醫(yī)學(xué)圖像處理全流程的高性能加速計算。圖2給出了醫(yī)學(xué)圖像處理的基本流程，下文將分別予以介紹。

圖2：醫(yī)學(xué)圖像處理基本流程

圖像重建

圖像重建是指利用傳感器或能量源測量人體數(shù)據(jù)，經(jīng)重建算法獲得人體三維結(jié)構(gòu)或功能信息。圖像重建是醫(yī)學(xué)圖像處理中較為耗時的過程，為了緩解計算壓力，研究者過去常使用較為簡單的成像模型進(jìn)行直接解析。例如，在CT重建中，F(xiàn)BP (Filtered back projection，濾波反投影) 是解析法中較為常見的算法。在FBP中，將投影數(shù)據(jù)進(jìn)行FFT濾波處理后，利用系統(tǒng)權(quán)重矩陣和投影數(shù)據(jù)的相乘沿投影方向重建三維圖像。CT投影重建模型如圖3所示，探測器接收的信號為X射線管源穿過人體的X射線投影數(shù)據(jù)。為獲得CT完整斷層圖像，需要X射線沿人體中心進(jìn)行至少180°的連續(xù)旋轉(zhuǎn)。

圖3：CT投影重建模型

盡管解析算法簡單、重建速度快，但由于未引入真實的成像過程，如未考慮噪聲等，其成像質(zhì)量較差，且要求較高信噪比的測量數(shù)據(jù)，但這往往受限于放射劑量或系統(tǒng)約束。近年來，迭代法被廣泛用于圖像重建過程中，可以顯著減少放射劑量、降低噪聲、提高成像質(zhì)量。表1總結(jié)了幾種常用醫(yī)學(xué)成像技術(shù)的重建原理及相關(guān)技術(shù)特點。

表1：幾種常用醫(yī)學(xué)成像技術(shù)對比

迭代重建算法的基本原理是估計初始三維圖像，對其進(jìn)行前向成像模擬，并與實際測量數(shù)據(jù)進(jìn)行比較，根據(jù)誤差結(jié)果校正三維圖像估計，重復(fù)該過程直至收斂。這一過程中，需要大量的數(shù)據(jù)計算。以往，圖像重建常使用ASIC (Application Specific Integrated Circuit，專用集成電路) 、FPGA (Field Programmable Gate Array，現(xiàn)場可編程門陣列) 、DSP (Digital Signal Processing，數(shù)字信號處理芯片) 等芯片進(jìn)行加速。相比這些芯片，GPU可以提供更好的編程靈活性和更合理的開發(fā)成本性能比。目前，在圖像重建領(lǐng)域有大量使用GPU加速的開源軟件和醫(yī)療設(shè)備廠商商用軟件。通過對重建過程任務(wù)并行化、內(nèi)存合并優(yōu)化以及減少線程發(fā)散和競爭等手段，GPU的加速性能可以顯著提高。表2給出了MRI重建CS迭代方法的各模塊的GPU加速比，在GPU的加持下，其總加速比可以達(dá)到53.9倍[2]。

表2：CS-MRI重建中兩種方法的GPU加速比較。

表中給出了執(zhí)行單次迭代的各模塊平均時間和加速比。

其中，Ns為采樣數(shù)，Np為投影數(shù)量，Ni為軌跡數(shù)。

來源：S. Nam, M. Ak?akaya, T. Basha, C. Stehning, W. J. Manning, V. Tarokh, et al. Compressed sensing reconstruction for whole‐heart imaging with 3D radial trajectories: a graphics processing unit implementation. Magnetic resonance in medicine, 2013, 69(1): 91-102

濾波增強

原始醫(yī)學(xué)圖像受成像設(shè)備和獲取條件等多種因素的影響，易受到噪聲的污染，會出現(xiàn)圖像質(zhì)量的退化或畸變。對醫(yī)學(xué)圖像進(jìn)行濾波增強，可以抑制噪聲、減少失真、增強圖像信息，以便后續(xù)圖像處理分析。傳統(tǒng)的圖像濾波增強技術(shù)分為空間域和頻域兩種，兩者都可以用來消除圖像噪聲，并且同時達(dá)到增強圖像特征的目的。常用中值濾波、高斯濾波、擴散濾波和雙邊濾波等方法進(jìn)行處理。這些濾波算法等價于圖像域的可分解卷積運算，或者傅里葉頻域空間的乘積運算，因此極其適合GPU并行加速計算。表3給出了對三維圖像（512x512x128）進(jìn)行不同參數(shù)非局部均值去噪加速效果比較，其GPU加速比平均可以達(dá)到30多倍[3]。

表3：不同參數(shù)三維非局部均值去噪加速效果比較

（執(zhí)行時間（s）/加速比）

來源：S. Cuomo, P. De Michele, F. Piccialli. 3D Data Denoising via Nonlocal Means Filter by Using Parallel GPU Strategies. Computational and Mathematical Methods in Medicine, 2014

圖像配準(zhǔn)

醫(yī)學(xué)圖像配準(zhǔn)是指對同一人的同一解剖部位，利用某些意義不同的成像手段形成的意義不同的兩幅影像，尋求一種（或一系列）空間變換，使這兩幅醫(yī)學(xué)影像的解剖結(jié)構(gòu)對應(yīng)點達(dá)到空間位置上的盡可能一致。這里的一致是指人體上同一解剖點或者至少是所有具有診斷意義的點以及手術(shù)感興趣點都達(dá)到匹配。醫(yī)學(xué)圖像配準(zhǔn)是圖像分割、圖像融合等后續(xù)圖像處理的基礎(chǔ)。

圖4：大腦 MRI和 DSA圖像配準(zhǔn)示意圖

如圖5所示，圖像配準(zhǔn)過程中，作為配準(zhǔn)目標(biāo)而不發(fā)生變化的待配準(zhǔn)圖像稱為參考圖像R，另一幅要進(jìn)行空間變換的待配準(zhǔn)圖像稱為浮動圖像M，整個配準(zhǔn)過程可以看作是對浮動圖像M進(jìn)行有限次幾何變換T后，使其變換后圖像同參考圖像R相似度無限接近的過程。

圖5：醫(yī)學(xué)圖像配準(zhǔn)框架示意圖

醫(yī)學(xué)圖像配準(zhǔn)方法的核心包括三個部分：空間變換、相似測度、優(yōu)化算法?？臻g變換主要涉及像素空間的矩陣和插值運算，GPU對矩陣和插值運算有內(nèi)置加速設(shè)置；相似性測度則是利用圖像灰度或特征信息，量化圖像間的匹配相似程度，利用并行、合并算法， 可以實現(xiàn)GPU的加速；而優(yōu)化算法主要為順序過程，較難實現(xiàn)相關(guān)GPU加速。表4給出了一種三維彈性配準(zhǔn)GPU加速情況，可以看出盡管優(yōu)化算法無法實現(xiàn)并行加速，GPU整體加速比仍能達(dá)到4.69倍[4]。

表4：一種三維彈性配準(zhǔn)的各模塊GPU加速情況

來源：S. Ekstr?m, M. Pilia, J. Kullberg, H. Ahlstr?m, R. Strand, F. J. J. o. M. I. Malmberg. Faster dense deformable image registration by utilizing both CPU and GPU. 2021

圖像匹配

圖像匹配和圖像配準(zhǔn)近似，目的是尋找與一幅圖相似的圖像，但無需對尋找到的圖像做空間矯正。根據(jù)匹配時利用的信息不同，可將匹配算法分為三個類別，分別是：基于特征描述符的匹配方法、基于空間位置信息的匹配方法和融合了特征信息和位置信息的匹配方法。根據(jù)得到的匹配數(shù)量的多少，又可將匹配算法分為稀疏匹配算法、準(zhǔn)稠密匹配算法和稠密匹配算法。圖像匹配在醫(yī)學(xué)圖像領(lǐng)域中被廣泛用于基于內(nèi)容的圖像檢索 (Content Based Image Retrieval，CBIR) ，通過從現(xiàn)有醫(yī)學(xué)圖像數(shù)據(jù)庫中快速查詢圖像相似的臨床醫(yī)學(xué)圖像，醫(yī)生可以參考病理相似病例的診斷方法以輔助其作出正確的臨床診斷。

圖6：基于內(nèi)容的圖像檢索系統(tǒng)基本流程

來源：L. R. Nair, K. Subramaniam, G. K. D. Prasannavenkatesan. A Review on Multiple Approaches to Medical Image Retrieval System. in: Intelligent Computing in Engineering. Singapore, 2020

如圖6所示，CBIR過程通常分為特征提取、特征索引、相似性度量等過程。這些過程都可以利用GPU進(jìn)行并行加速。一項研究表明[5]，利用GPU可以實現(xiàn)4~5倍的加速。

圖像融合

正如前文所述，不同類型的醫(yī)學(xué)影像設(shè)備為患者臨床診療提供了多層面、多角度、多節(jié)點的圖像數(shù)據(jù)，不同模態(tài)的數(shù)據(jù)間既存在冗余信息，又充斥著大量的互補信息。多模態(tài)醫(yī)學(xué)圖像融合充分利用不同模態(tài)圖像的互補性和冗余性，對同一病灶部位不同模態(tài)的醫(yī)學(xué)影像進(jìn)行融合，可以得到比原圖像信息更豐富、更精準(zhǔn)的融合圖像。通常，多模態(tài)醫(yī)學(xué)圖像融合首先需要對不同模態(tài)的圖像進(jìn)行配準(zhǔn)，使得同一解剖部位的像素位置在不同圖像下能夠一一對應(yīng)，之后根據(jù)設(shè)定的策略融合各模態(tài)中的有用信息，生成質(zhì)量更好的圖像。如圖7所示，根據(jù)圖像數(shù)據(jù)處理層次的不同，圖像融合主要分為像素級融合、特征級融合和決策級融合。

圖7：不同層次圖像融合系統(tǒng)示意圖

其中，像素級多尺度變換方法是目前圖像融合算法的主流，在圖像精確配準(zhǔn)前提下，對兩幅或多幅原圖像使用分解變換方法分別進(jìn)行分解，得到不同頻率層次的圖像，然后將兩幅圖像對應(yīng)的低頻系數(shù)和高頻系數(shù)分別進(jìn)行融合，獲得融合系數(shù)，最后將融合后的系數(shù)進(jìn)行傅里葉逆變換，得到最終的融合圖像。利用GPU可以加速傅里葉變換等過程，從而實現(xiàn)近10倍的加速[6]。

圖像分割

圖像分割，是指將圖像分成若干不相互重疊的子區(qū)域，使得同一個子區(qū)域內(nèi)的像素特征具有一定的相似性、不同子區(qū)域之間像素特征呈現(xiàn)較為明顯的差異，常用于分割腦部區(qū)域、血管、器官、腫瘤、骨骼等，是許多基于醫(yī)學(xué)圖像的診斷、治療和分析應(yīng)用的重要基礎(chǔ)步驟。

常用的傳統(tǒng)圖像分割方法包括閾值、聚類、馬爾科夫隨機場、區(qū)域增長、分裂合并、三維邊緣檢測、形態(tài)學(xué)、形變模型、水平集等方法。目前并沒有單一的方法能解決圖像分割的所有場景，全自動的分割方法通常針對特定器官和場景，當(dāng)先驗知識缺少時，全自動方法的效果會顯著下降。因此，半自動的方法被廣泛使用，該方法需要用戶提供初值如輪廓、初始點信息等，并交互結(jié)果。圖8給出了常用醫(yī)學(xué)圖像處理軟件Slicer對胸部CT圖像進(jìn)行半自動分割的標(biāo)注結(jié)果。GPU可以加速整個圖像分割和可視化過程，從而提高圖像分割的交互體驗，進(jìn)而實現(xiàn)更好的圖像分割效果。

圖8：利用軟件Slicer對圖像進(jìn)行半自動分割標(biāo)注

運動目標(biāo)檢測與跟蹤

運動目標(biāo)檢測與跟蹤通常分為兩個階段，首先是利用運動目標(biāo)檢測算法從視頻或圖像序列中把場景中的運動目標(biāo)從背景中區(qū)分并提取出來，然后應(yīng)用目標(biāo)跟蹤算法對該目標(biāo)的運動特性及目標(biāo)外觀特征等參數(shù)進(jìn)行分析和預(yù)測。除廣泛用于智能視頻監(jiān)控領(lǐng)域之外，運動目標(biāo)檢測與跟蹤在醫(yī)學(xué)圖像領(lǐng)域主要用于內(nèi)窺鏡視頻中對微創(chuàng)手術(shù) (Minimally Invasive Surgery) 器械進(jìn)行檢測與跟蹤[7, 8]、時空細(xì)胞顯微鏡成像 (Spatial-Temporal Cell microscopy Imaging) 中對細(xì)胞運動、增殖的跟蹤分析[9]、心臟磁共振成像 (Cine MRI) 或心動超聲 (echocardiography) 中對心臟運動跟蹤以檢測與量化心臟功能[10]以及放射治療4D-CT[11]中對腫瘤呼吸運動的跟蹤等。運動目標(biāo)檢測與跟蹤涉及大量2D或3D圖像序列的分析計算，極為耗時，利用GPU并行加速可以實現(xiàn)較大加速比。圖9展示了時空細(xì)胞顯微鏡成像分析中不同跟蹤算法的單幀圖像計算時長對比，可以看出隨著計算量的增加，經(jīng)過優(yōu)化的GPU并行算法可以實現(xiàn)近166倍的加速比[9]。

圖9：不同跟蹤算法的單幀圖像計算時長。

橫坐標(biāo)為幀間圖像的向量點數(shù)目，

縱坐標(biāo)為單幀圖像耗時；

GPU_H、CPU為傳統(tǒng)跟蹤算法的GPU、CPU版本，

GPU_P為并行張量加速算法，

Ours為文獻(xiàn)[9]中提到的經(jīng)優(yōu)化的GPU加速算法。

來源：M. Zhao, A. Jha, Q. Liu, B. A. Millis, A. Mahadevan-Jansen, L. Lu, et al. Faster Mean-shift: GPU-accelerated clustering for cosine embedding-based cell segmentation and tracking. 2021

圖像可視化

醫(yī)學(xué)圖像可視化是指利用醫(yī)學(xué)影像設(shè)備獲取的序列圖像信息，重建三維圖像模型，并將其轉(zhuǎn)換成圖形圖像在屏幕上顯示，為用戶提供具有真實感并進(jìn)行相互交互的三維醫(yī)學(xué)圖像。醫(yī)學(xué)圖像可視化廣泛應(yīng)用于臨床診斷、放射治療規(guī)劃、手術(shù)導(dǎo)航、醫(yī)學(xué)模擬仿真教學(xué)等方面，對臨床醫(yī)學(xué)具有很高的應(yīng)用價值與實踐意義。

根據(jù)繪制過程中數(shù)據(jù)描述方法的不同，醫(yī)學(xué)圖像可視化通常分為兩大類——面繪制和體繪制。面繪制是指對體表面重建，然后用傳統(tǒng)圖形學(xué)技術(shù)實現(xiàn)表面繪制。面繪制可以有效地繪制出物體表面，但缺乏對物體內(nèi)部信息的表達(dá)。由于面繪制技術(shù)的缺點和局限，體繪制（體渲染）技術(shù)應(yīng)用更為廣泛，其基本原理是利用光學(xué)模型模擬光線穿越半透明物質(zhì)時的能量累積變化。具體而言，首先對每個體素賦以不透明度 (a) 和顏色值 (R、G、B) ；再根據(jù)各個體素所在點的梯度以及光照模型計算相應(yīng)體素的光照強度；然后根據(jù)光照模型，將射線上投射到圖像平面中同一個像素點的各個體素的不透明度和顏色值組合在一起，生成最終結(jié)果圖像。

圖像可視化計算量極大，對時間較為敏感，利用GPU的并行加速和紋理內(nèi)存可以提高渲染速度。近年來隨著虛擬現(xiàn)實 (Virtual Reality，VR) 技術(shù)在醫(yī)學(xué)圖像領(lǐng)域的興起，圖像可視化要求至少60幀每秒的速度和1024的高分辨率，這對GPU的內(nèi)存和計算速度都提出了更高的要求。圖10展示了利用VR對三維醫(yī)學(xué)圖像進(jìn)行操作觀察的示例[12]。

圖10:醫(yī)學(xué)圖像VR操作示例

來源：J. Sutherland, J. Belec, A. Sheikh, L. Chepelev, W. Althobaity, B. J. Chow, et al. Applying modern virtual and augmented reality technologies to medical images and models. Journal of digital imaging, 2019

其他技術(shù)

醫(yī)學(xué)圖像處理還包括圖像分類與識別、目標(biāo)定位與檢測等高層圖像處理技術(shù)。其中，圖像分類與識別，用于輔助診斷圖像是否有病灶，并對病灶進(jìn)行量化分級；圖像目標(biāo)定位用于識別圖像特定目標(biāo)，并給出具體物理位置；圖像目標(biāo)檢測則需要把圖像中所有目標(biāo)識別出來，并確定其物理位置和類別。

這些處理技術(shù)傳統(tǒng)上通常需要經(jīng)過圖像預(yù)處理、圖像分割、特征提取、特征選擇、分類器訓(xùn)練等過程。傳統(tǒng)特征提取技術(shù)包括紋理、邊緣等全局特征和SIFT (Scale-Invariant Feature Transfor，尺度不變特征變換) 、SURF (Speeded Up Robust Features，加速魯棒性特征) 等局部特征。由于醫(yī)學(xué)圖像的多樣性和復(fù)雜性，根據(jù)先驗知識人工設(shè)計的特征往往只適合特定場景任務(wù)。傳統(tǒng)圖像分類、檢測等方法不僅耗時耗力，需要大量的參數(shù)調(diào)節(jié) (parameter hypertuning) 實驗，計算量大，借助GPU加速計算，可以加快特征提取計算和相關(guān)算法的調(diào)參訓(xùn)練過程。

GPU賦能臨床智能醫(yī)療

上文中，醫(yī)學(xué)圖像處理的各個任務(wù)流程都可以視作映射函數(shù)F的輸入輸出，即y=F(x)?。其中x為單個或多個圖像（數(shù)字信號），y為輸出，其定義取決于任務(wù)流程類型。例如，在圖像重建中，y為高分辨率重建圖像；在濾波增強中，y為圖像質(zhì)量增強圖像；在圖像配準(zhǔn)中，y為配準(zhǔn)參數(shù)；在圖像分割中，y為圖像蒙版mask。

在眾多映射函數(shù)F的估計方法中，深度學(xué)習(xí) (Deep Learning，DL)方法利用深度神經(jīng)網(wǎng)絡(luò) (Deep Neural Network，DNN) 的多層非線性變換能實現(xiàn)映射函數(shù)F的無限逼近、表征輸入數(shù)據(jù)分布，具有強大的自動特征提取和復(fù)雜模型構(gòu)建能力，在醫(yī)學(xué)圖像處理領(lǐng)域應(yīng)用十分廣泛。其中，GPU是深度學(xué)習(xí)模型訓(xùn)練的算力保障。而一旦模型訓(xùn)練完成，借助GPU的高效前向運算，在圖像重建、圖像識別與分類、圖像定位與檢測、圖像分割、圖像配準(zhǔn)和融合等方面，深度學(xué)習(xí)算法相比傳統(tǒng)算法可以更為準(zhǔn)確、高效地完成圖像處理任務(wù)，輔助醫(yī)生診斷治療和預(yù)后。圖11總結(jié)了深度學(xué)習(xí)在醫(yī)學(xué)圖像處理領(lǐng)域不同層次的分類。

圖11：基于深度學(xué)習(xí)的醫(yī)學(xué)圖像處理分類

深度學(xué)習(xí)在醫(yī)學(xué)圖像領(lǐng)域發(fā)展十分迅速，產(chǎn)生了許多性能優(yōu)異的臨床應(yīng)用。例如，研究人員利用10萬多幅惡性黑色素瘤（最致命的皮膚癌）和良性痣的圖像訓(xùn)練了卷積神經(jīng)網(wǎng)絡(luò)（CNN）來識別皮膚癌，表現(xiàn)優(yōu)于有經(jīng)驗的皮膚科醫(yī)生，其漏診率和誤診率都更低[13]。國內(nèi)聯(lián)影企業(yè)利用bi-c-GAN模型，從超低劑量的PET/MRI數(shù)據(jù)重建出高分辨率PET圖像[14]。2020年COVID-19爆發(fā)早期，由于檢測試劑的短缺，歐洲研究人員開發(fā)了CORADS-AI系統(tǒng)[15]，利用CT圖像篩查和評價COVID-19的感染情況，可以近實時（<2 s）得出結(jié)果。如圖12所示，第一行為胸部CT圖，第二行為利用CNN模型分割的肺結(jié)節(jié)解剖圖，第三行為利用3D U-Net模型分割的具有毛狀玻璃樣病變的肺部區(qū)域，最下圖為病變區(qū)域在正常結(jié)節(jié)部位的計算比例，左下圖為基于感染比例得出的COVID-19感染分級和概率。

圖12：CORADS-AI系統(tǒng)篩查COVID-19的結(jié)果示意圖

來源：S. K. Zhou, H. Greenspan, C. Davatzikos, J. S. Duncan, B. Van Ginneken, A. Madabhushi, et al. A review of deep learning in medical imaging: Imaging traits, technology trends, case studies with progress highlights, and future promises. Proceedings of the IEEE, 2021

雖然深度學(xué)習(xí)在醫(yī)學(xué)圖像處理領(lǐng)域取得了高速的發(fā)展，但仍存在很多挑戰(zhàn)和限制。除注冊審批、市場準(zhǔn)入等政策法規(guī)方面的挑戰(zhàn)外，最大的挑戰(zhàn)來自影像數(shù)據(jù)質(zhì)量問題。醫(yī)學(xué)影像數(shù)據(jù)的數(shù)量和質(zhì)量決定了Al模型學(xué)習(xí)的結(jié)果。盡管醫(yī)學(xué)圖像數(shù)據(jù)總量巨大，但針對不同病種的影像數(shù)據(jù)量和質(zhì)量參差不齊，有些病種的訓(xùn)練數(shù)據(jù)缺乏；健康大數(shù)據(jù)孤島問題（即醫(yī)院間醫(yī)療數(shù)據(jù)不能共享和聯(lián)通問題）、安全隱私問題仍然存在，雖然有所緩解，但仍未達(dá)到深度學(xué)習(xí)的要求。醫(yī)療影像數(shù)據(jù)針對細(xì)分場景的數(shù)據(jù)量和質(zhì)量仍無法滿足算法模型的訓(xùn)練需求。影像數(shù)據(jù)處理結(jié)果需要大量影像科專業(yè)醫(yī)師去標(biāo)注，成本、耗時巨大，而醫(yī)師的經(jīng)驗水平、學(xué)習(xí)數(shù)據(jù)的質(zhì)量和典型性都將影響數(shù)據(jù)的標(biāo)注質(zhì)量。針對這一問題，需要建立完善的醫(yī)學(xué)數(shù)據(jù)共享和隱私學(xué)習(xí)平臺，利用大數(shù)據(jù)技術(shù)從海量數(shù)據(jù)中篩選收集研究所需影像數(shù)據(jù)，并借助自動化技術(shù)輔助醫(yī)師標(biāo)注，其涉及的大量運算需要GPU進(jìn)行算力支持。而針對小樣本數(shù)據(jù)集，可以通過數(shù)據(jù)增強、遷移學(xué)習(xí) (Transfer Learning) 、生成對抗網(wǎng)絡(luò) (Generative Adversarial Network，GAN) 、域適應(yīng) (Domain Adaptation) 、自監(jiān)督學(xué)習(xí) (Self-supervised Learning) 、弱監(jiān)督學(xué)習(xí) (Weakly Supervised Learning) 等方法在一定程度上緩解訓(xùn)練樣本不足的問題。

目前深度學(xué)習(xí)算法普遍存在魯棒性和泛化性不足的問題，其研發(fā)的模型很有可能僅對訓(xùn)練數(shù)據(jù)表現(xiàn)良好。而由于成像角度、成像噪聲、重建算法等因素的影響造成測試數(shù)據(jù)集和訓(xùn)練數(shù)據(jù)集具有不同的特點，訓(xùn)練模型對這類數(shù)據(jù)預(yù)測完全失效。針對該問題，除擴大訓(xùn)練數(shù)據(jù)的代表性外，還可以探索模型結(jié)構(gòu)，提高模型深度，引入對抗學(xué)習(xí)、注意力、多任務(wù)等機制，以提升模型泛化能力。這些復(fù)雜模型的訓(xùn)練和預(yù)測都依賴更高的GPU算力和顯存。

此外，深度學(xué)習(xí)模型是一個黑盒子，可解釋性較差。即使經(jīng)過訓(xùn)練的模型在測試數(shù)據(jù)集顯示出很高的準(zhǔn)確性，臨床醫(yī)生仍會對定期使用它們分析患者數(shù)據(jù)持謹(jǐn)慎懷疑態(tài)度。因此，模型的解釋和不確定性量化研究十分必要。深度學(xué)習(xí)模型的可解釋性主要包括模型結(jié)構(gòu)的可解釋性、特征權(quán)重的統(tǒng)計分析以及利用可解釋模型如決策樹近似模擬深度學(xué)習(xí)模型等[16]。而模型的不確定性量化，則是將多種不確定性來源和個體差異性融入模型預(yù)測中，給出模型預(yù)測準(zhǔn)確程度的置信區(qū)間。模型的解釋和不確定性量化，有助于增強深度學(xué)習(xí)結(jié)果的可信度，從而加速人工智能在醫(yī)學(xué)圖像臨床應(yīng)用的落地。

總結(jié)

醫(yī)學(xué)圖像在疾病診斷、手術(shù)治療、預(yù)后評估等臨床應(yīng)用中起著舉足輕重的作用，超過70%的診斷都依賴醫(yī)學(xué)圖像。對醫(yī)學(xué)圖像的處理分析，有助于促進(jìn)自動化診療過程，是推動精準(zhǔn)醫(yī)療和個性化醫(yī)療的重要工具。由于醫(yī)學(xué)圖像處理任務(wù)的復(fù)雜性和多樣性，以及圖像分辨率的提高，醫(yī)學(xué)圖像處理的算法復(fù)雜且運算量巨大，利用GPU可以實現(xiàn)高性能并行計算。

近年來，人工智能逐漸成為醫(yī)學(xué)影像發(fā)展的主流方向，相比傳統(tǒng)方法，可以提供更為準(zhǔn)確、高效的處理結(jié)果。但由于圖像數(shù)據(jù)質(zhì)量的問題以及模型泛化性的要求，深度學(xué)習(xí)模型的結(jié)構(gòu)和訓(xùn)練也愈發(fā)復(fù)雜，這對GPU的算力和顯存都提出了更高的要求。

我們預(yù)計，隨著成像設(shè)備的升級、醫(yī)學(xué)圖像標(biāo)記數(shù)據(jù)的不斷累積以及深度學(xué)習(xí)算法的不斷完善，人工智能和GPU的結(jié)合將在醫(yī)學(xué)圖像處理領(lǐng)域展現(xiàn)更為廣闊的未來。

參考資料

[1] J. Wu. The Next Era: Flourish of National Health Care & Medicine with the World Leading Artificial Intelligence. Chinese Medical Sciences Journal, 2019, 34(2): 69-70

[2] S. Nam, M. Ak?akaya, T. Basha, C. Stehning, W. J. Manning, V. Tarokh, et al. Compressed sensing reconstruction for whole‐heart imaging with 3D radial trajectories: a graphics processing unit implementation. Magnetic resonance in medicine, 2013, 69(1): 91-102

[3] S. Cuomo, P. De Michele, F. Piccialli. 3D Data Denoising via Nonlocal Means Filter by Using Parallel GPU Strategies. Computational and Mathematical Methods in Medicine, 2014, 2014: 523862

[4] S. Ekstr?m, M. Pilia, J. Kullberg, H. Ahlstr?m, R. Strand, F. J. J. o. M. I. Malmberg. Faster dense deformable image registration by utilizing both CPU and GPU. 2021, 8(1): 014002

[5] S. A. Mahmoudi, M. A. Belarbi, E. W. Dadi, S. Mahmoudi, M. J. C. Benjelloun. Cloud-based image retrieval using GPU platforms. 2019, 8(2): 48

[6] 曹強. 多模醫(yī)學(xué)圖像融合算法及其在放療中的應(yīng)用研究[博士]. 東南大學(xué), 2021

[7] Y. Jin, Y. Yu, C. Chen, Z. Zhao, P.-A. Heng, D. J. I. T. o. M. I. Stoyanov. Exploring Intra-and Inter-Video Relation for Surgical Semantic Scene Segmentation. 2022,

[8] D. Bouget, M. Allan, D. Stoyanov, P. Jannin. Vision-based and marker-less surgical tool detection and tracking: a review of the literature. Medical image analysis, 2017, 35: 633-654

[9] M. Zhao, A. Jha, Q. Liu, B. A. Millis, A. Mahadevan-Jansen, L. Lu, et al. Faster Mean-shift: GPU-accelerated clustering for cosine embedding-based cell segmentation and tracking. 2021, 71: 102048

[10] E. Ferdian, A. Suinesiaputra, K. Fung, N. Aung, E. Lukaschuk, A. Barutcu, et al. Fully Automated Myocardial Strain Estimation from Cardiovascular MRI–tagged Images Using a Deep Learning Framework in the UK Biobank. Radiology: Cardiothoracic Imaging, 2020, 2(1): e190032

[11] P. Jafari, S. Dempsey, D. A. Hoover, E. Karami, S. Gaede, A. Sadeghi-Naini, et al. In-vivo lung biomechanical modeling for effective tumor motion tracking in external beam radiation therapy. Computers in Biology and Medicine, 2021, 130: 104231

[12] J. Sutherland, J. Belec, A. Sheikh, L. Chepelev, W. Althobaity, B. J. Chow, et al. Applying modern virtual and augmented reality technologies to medical images and models. Journal of digital imaging, 2019, 32(1): 38-53

[13] H. A. Haenssle, C. Fink, R. Schneiderbauer, F. Toberer, T. Buhl, A. Blum, et al. Man against machine: diagnostic performance of a deep learning convolutional neural network for dermoscopic melanoma recognition in comparison to 58 dermatologists. Annals of oncology, 2018, 29(8): 1836-1842

[14] H. Sun, Y. Jiang, J. Yuan, H. Wang, D. Liang, W. Fan, et al. High-quality PET image synthesis from ultra-low-dose PET/MRI using bi-task deep learning. Quantitative Imaging in Medicine Surgery, 2022, 12(12): 5326-5342

[15] M. Prokop, W. Van Everdingen, T. van Rees Vellinga, H. Quarles van Ufford, L. St?ger, L. Beenen, et al. CO-RADS: a categorical CT assessment scheme for patients suspected of having COVID-19—definition and evaluation. Radiology, 2020, 296(2): E97-E104

[16] 化盈盈, 張岱墀, 葛仕明. 深度學(xué)習(xí)模型可解釋性的研究進(jìn)展. Journal of Cyber Security 信息安全學(xué)報, 2020, 5(3)

編輯：黃飛