U-Net 在醫(yī)學圖像分割方面已經(jīng)取得了最先進的表現(xiàn)，但是需要大量手動注釋的圖像來進行訓練。半監(jiān)督學習（SSL）方法可以減少注釋的需求，但是當數(shù)據(jù)集和注釋圖像數(shù)量較小時，其性能仍然受到限制。利用具有相似解剖結構的現(xiàn)有標注數(shù)據(jù)集來輔助訓練可以提高模型性能。但是，這個方法面臨的挑戰(zhàn)是由于目標結構的外觀和成像模式與現(xiàn)有標注數(shù)據(jù)集不同，導致解剖跨域差異。為了解決這個問題，這篇論文提出了跨解剖域自適應對比半監(jiān)督學習（Contrastive Semi-supervised learning for Cross Anatomy Domain Adaptation，CS-CADA）方法，通過利用源域中一組類似結構的現(xiàn)有標注圖像來適應目標域的模型分割類似結構，只需要在目標域中進行少量標注。

有一些細節(jié)的方法我們先簡單概述下，CS-CADA 使用領域特定批歸一化（Domain Specific Batch Normalization ，DSBN）來分別歸一化兩個解剖域的特征圖，并提出跨域?qū)Ρ葘W習策略來鼓勵提取領域不變性特征。它們被整合到自我集成平均教師（Self-Ensembling Mean-Teacher，SE-MT）框架中，以利用具有預測一致性約束的未標注目標域圖像。實驗證明 CS-CADA 能夠解決具有挑戰(zhàn)性的解剖跨域差異問題，只給出目標域中少量的標注，就能夠在 X 光血管造影圖像分割中使用視網(wǎng)膜血管圖像，在心臟 MR 圖像分割中使用眼底圖像，如下圖所示。

前置知識

Semi-supervised Learning

在半監(jiān)督學習中，一個典型的例子是 Mean-Teacher。與對抗網(wǎng)絡類似，其整體架構包含了兩個網(wǎng)絡：teacher 網(wǎng)絡和 student 網(wǎng)絡。不過與對抗網(wǎng)絡不同的是，這兩個網(wǎng)絡結構是相同的，teacher 網(wǎng)絡參數(shù)通過 student 網(wǎng)絡計算得到，student 網(wǎng)絡參數(shù)通過損失函數(shù)梯度下降更新得到。

（1）teacher 網(wǎng)絡參數(shù)更新：整個訓練過程中 teacher 網(wǎng)絡的參數(shù)通過 student 網(wǎng)絡參數(shù)的 moving Average 更新：

（2）student 網(wǎng)絡參數(shù)更新：通過梯度下降更新參數(shù)得到損失函數(shù)包含兩部分：第一部分是有監(jiān)督損失函數(shù)，主要是保證有標簽訓練數(shù)據(jù)擬合；第二部分是無監(jiān)督損失函數(shù)，主要保證 teacher 網(wǎng)絡的預測結果與 student 網(wǎng)絡的預測標簽盡量的相似。由于teacher 的參數(shù)是 student 網(wǎng)絡參數(shù)的 moving Average，因此要求不管什么樣本預測標簽都不應該有太大的抖動，類似于對標簽做了平滑，保證其輸出結果更具有穩(wěn)定性，無標簽數(shù)據(jù)也可以構造該損失函數(shù)。

假設有一批訓練樣本 x1，x2，其中 x1 是有標簽數(shù)據(jù)，x2 是無標簽數(shù)據(jù)。具體訓練過程如下：步驟一，把這一批樣本作為 student 網(wǎng)絡輸入，然后分別得到輸出標簽 ys1 和 ys2；步驟二，損失函數(shù) L1，對于有標簽樣本 X1，構造分類損失函數(shù)；步驟三，損失函數(shù) L2，通過 student 網(wǎng)絡參數(shù)，更新計算 teacher 網(wǎng)絡參數(shù)，并把樣本 x1，x2 輸入 teacher 網(wǎng)絡，得到預測標簽 yt1，yt2，然后構造防標簽抖動，連續(xù)性損失函數(shù)（直接采用 MSE 損失函數(shù)）；步驟四，根據(jù) L=L1+L2 進行梯度下降，求解更新 student 網(wǎng)絡參數(shù)。

Domain Adaptation

在這一部分我們只做思路介紹，不做論文中具體例子的講解。其目標就是將原數(shù)據(jù)域（source domain）盡可能好的遷移到目標域（target domain），Domain Adaptation 任務中往往源域和目標域?qū)儆谕活惾蝿?，即源于為訓練樣本域（有標簽），目標域為測集域，其測試集域無標簽或只有少量標簽，但是分布不同或數(shù)據(jù)差異大，具體根據(jù)這兩點可以劃分為：

homogeneous 同質(zhì)：target 與 source domain 特征空間相似，但數(shù)據(jù)分布存在 distribution shift。

heterogeneous 異構：target 與 source domain 特征空間不同。

non-equal：空間不同且數(shù)據(jù)偏移，這種就屬于差異很大的情況了，可借助中間輔助 data 來 bridge the gap，用 multi-step / transitive DA 來解決。

這也是與 Pre-traning 不一樣的地方，現(xiàn)在流行的 Pre-traning 技術也需要后期的很多數(shù)據(jù)才行。但由于 DA 的目標域是沒有標簽的，那么如何使在源于訓練得到的模型也能夠被目標域使用呢？很自然的想法是將源域和目標域映射到一個特征空間中，使其在該空間中的距離盡可能近。于是產(chǎn)生了三大類方法：

樣本自適應，對源域樣本進行加權重采樣，使得重采樣后的源域樣本和目標域樣本分布基本一致，然后在重采樣的樣本集合上重新學習分類器，即把源域和目標域相似的數(shù)據(jù)直接加權然后再訓練。這種方法雖然簡單但太過依賴于設計和經(jīng)驗。

特征層面自適應，將源域和目標域投影到公共特征子空間，在子空間中兩者的數(shù)據(jù)分布一致。

模型層面自適應，對源域誤差函數(shù)進行修改，考慮目標域的誤差。主要有兩種方式，一是直接建模模型，但是在模型中加入“domain 間距離近”的約束，二是采用迭代的方法，漸進的對目標域的樣本進行分類，將信度高的樣本加入訓練集，并更新模型。

技術手段主要分為 Discrepancy-based（空間距離近）和 Adversarial-based（混淆空間）。

Contrastive Learning

對比學習是一種自監(jiān)督的學習方法，旨在通過學習相似和不相似的樣本之間的差異，從而為后續(xù)的下游任務提供有用的特征。在這篇論文中，使用對比學習方法進行跨解剖域自適應，旨在訓練一個能夠提取具有域不變性的特征的模型。這種方法與以往的對比學習方法不同之處在于，它是用于解決跨域問題的，并且它特別強調(diào)了模型應該在相似的解剖結構之間提取全面的特征。通過這種方法，可以訓練出一個能夠在不同解剖域上具有較好性能的模型。

CS-CADA 方法介紹

在這一部分，主要介紹 CS-CADA 方法的實現(xiàn)流程，主要由三部分組成，分別是 DSBN、SE-MT 和跨域?qū)Ρ葘W習模塊。橙色圓圈和藍色圓圈分別表示源域和目標域經(jīng)過 DBSN 處理后的特征，因為 DBSN 的設計，每個域上會輸出兩種特征。

Joint Learning with Domain-Specific Batch Normalization(DSBN)

源域和目標域之間存在差異，如果直接使用來自這兩個域的數(shù)據(jù)進行訓練，則會受到域間統(tǒng)計變化的影響，從而無法學習到通用的特征表示。為了解決這個問題，提出了一種稱為 DSBN 的方法，在網(wǎng)絡中引入了兩種不同的批歸一化，分別用于處理兩個域中的數(shù)據(jù)。通過采用這種方法，可以更好地處理源域和目標域之間的差異，并從中學習到更通用的特征表示。DSBN 會對每個域中的特征進行歸一化，并使用特定于該域的參數(shù)來對其進行仿射變換。同時，卷積核在兩個域之間是共享的，以學習到更通用的表示。

編輯：黃飛

?