簡(jiǎn)介

管狀結(jié)構(gòu)（例如血管、道路）是臨床、自然界等各領(lǐng)域場(chǎng)景中十分重要的一種結(jié)構(gòu)，其的精確分割可以保證下游任務(wù)的準(zhǔn)確性與效率。然而這并不是一個(gè)簡(jiǎn)單的任務(wù)，主要的挑戰(zhàn)源于細(xì)長(zhǎng)微弱的局部結(jié)構(gòu)特征與復(fù)雜多變的全局形態(tài)特征。

本文關(guān)注到管狀結(jié)構(gòu)細(xì)長(zhǎng)連續(xù)的特點(diǎn)，并利用這一信息在神經(jīng)網(wǎng)絡(luò)以下三個(gè)階段同時(shí)增強(qiáng)感知：特征提取、特征融合和損失約束。分別設(shè)計(jì)了動(dòng)態(tài)蛇形卷積（Dynamic Snake Convolution），多視角特征融合策略與連續(xù)性拓?fù)浼s束損失。我們同時(shí)給出了基于 2D 和 3D 的方法設(shè)計(jì)，通過(guò)實(shí)驗(yàn)證明了本文所提出的 DSCNet 在管狀結(jié)構(gòu)分割任務(wù)上提供了更好的精度和連續(xù)性。

思考

在開(kāi)始介紹工作之前，我想和讀者討論下在大模型時(shí)代下，專(zhuān)用分割方法的價(jià)值。

隨著 SAM（Segment Anything）[1]、Universal Model [2]等一眾非常優(yōu)秀的分割基礎(chǔ)模型的提出，越來(lái)越多的分割目標(biāo)只需要在大模型的基礎(chǔ)上，直接測(cè)試或簡(jiǎn)單微調(diào)，就能夠得到讓人十分滿(mǎn)意的結(jié)果。這不免讓人感到迷茫，繼續(xù)做專(zhuān)用分割工作是否還有價(jià)值？后續(xù)的研究方向是否是要去拼大模型？或者站在前人的肩膀上去研究如何將大模型微調(diào)到專(zhuān)用領(lǐng)域？

值得注意的是，仍存在一些復(fù)雜的領(lǐng)域，大模型還未能夠很好的覆蓋（也許只是時(shí)間問(wèn)題）。例如偽裝目標(biāo)、非顯著性目標(biāo)，以及本文所關(guān)注的特殊管狀結(jié)構(gòu)（占比小、特征弱且分布廣）等等。同時(shí)，當(dāng)分割的對(duì)象上升到 3D 乃至 4D 的數(shù)據(jù)時(shí)，一些復(fù)雜的結(jié)構(gòu)（3D 的血管、氣管等）也困擾著大模型。當(dāng)然，一些特殊的場(chǎng)景，需要非常高的精度，例如臨床，1% 的誤差對(duì)于診斷都有著非常大的危險(xiǎn)。

因此，將專(zhuān)用模型與大模型相結(jié)合，會(huì)促進(jìn)研究發(fā)展地更快、更好。大模型關(guān)注更多的是普適性，通用性和便捷性，在此基礎(chǔ)上，大模型針對(duì)性地補(bǔ)充領(lǐng)域?qū)Ｓ械奶卣餍畔ⅲ軌蚋涌旖莸孬@得更高的精度。

挑戰(zhàn)

管狀結(jié)構(gòu)的精確提取仍然具有挑戰(zhàn)：

細(xì)長(zhǎng)且脆弱的局部結(jié)構(gòu)。如圖 1 所示，細(xì)長(zhǎng)的結(jié)構(gòu)僅占整個(gè)圖像的一小部分，像素的組成有限。此外，這些結(jié)構(gòu)容易受到復(fù)雜背景的干擾，因此模型很難精確分辨目標(biāo)的細(xì)微變化，從而導(dǎo)致分割出現(xiàn)破碎與斷裂。

復(fù)雜且多變的全局形態(tài)。圖 1 顯示了細(xì)長(zhǎng)管狀結(jié)構(gòu)復(fù)雜多變的形態(tài)，即使在同一張圖像中也是如此。位于不同區(qū)域的目標(biāo)的形態(tài)變化取決于分支的數(shù)量、分叉的位置，路徑長(zhǎng)度以及其在圖像中的位置。因此當(dāng)數(shù)據(jù)表現(xiàn)出未曾見(jiàn)過(guò)的形態(tài)特征時(shí)，模型傾向于過(guò)擬合到已見(jiàn)過(guò)的特征，無(wú)法識(shí)別未見(jiàn)過(guò)的特征形態(tài)，從而導(dǎo)致泛化性較弱。

動(dòng)機(jī)

受到 Deformable Convolution [3] 的啟發(fā)，我們希望模型在學(xué)習(xí)特征的過(guò)程中，改變卷積核的形狀，從而關(guān)注管狀結(jié)構(gòu)的核心結(jié)構(gòu)特點(diǎn)。由此衍生出很多工作[4][5]，并在視網(wǎng)膜血管的分割工作中得到了應(yīng)用。然而在我們的初期實(shí)驗(yàn)中發(fā)現(xiàn)，由于管狀結(jié)構(gòu)所占比例較小，模型不可避免地失去對(duì)相應(yīng)結(jié)構(gòu)的感知，卷積核完全游離在目標(biāo)以外。因此我們希望根據(jù)管狀結(jié)構(gòu)的特點(diǎn)來(lái)設(shè)計(jì)特定的網(wǎng)絡(luò)結(jié)構(gòu)，從而指導(dǎo)模型關(guān)注關(guān)鍵特征。

動(dòng)態(tài)蛇形卷積核（DynamicSnakeConvolution,DSConv）

我們希望卷積核一方面能夠自由地貼合結(jié)構(gòu)學(xué)習(xí)特征，另一方面能夠在約束條件下不偏離目標(biāo)結(jié)構(gòu)太遠(yuǎn)。在觀(guān)察管狀結(jié)構(gòu)的細(xì)長(zhǎng)連續(xù)的特征后，腦海里想到了一個(gè)動(dòng)物——蛇。我們希望卷積核能夠像蛇一樣動(dòng)態(tài)地扭動(dòng)，來(lái)貼合目標(biāo)的結(jié)構(gòu)。

我們觀(guān)察一下形變卷積的操作核心 [3]：

▲ 圖3. 可形變卷積中的偏置學(xué)習(xí)

我們會(huì)發(fā)現(xiàn)，操控單個(gè)卷積核形變的所有偏置（offset），是在網(wǎng)絡(luò)中一次性全部學(xué)到的，并且閱讀其核心代碼會(huì)發(fā)現(xiàn)，對(duì)于這一個(gè)偏置只有一個(gè)范圍的約束，即感受野范圍（extend）?？刂扑械木矸e發(fā)生形變，是依賴(lài)于整個(gè)網(wǎng)絡(luò)最終的損失約束回傳，這個(gè)變化過(guò)程是相當(dāng)自由的。

完全的自由，容易讓模型丟失占比小的細(xì)小結(jié)構(gòu)特征，這對(duì)于細(xì)長(zhǎng)管狀結(jié)構(gòu)分割任務(wù)來(lái)說(shuō)，是一個(gè)巨大挑戰(zhàn)。因此，如圖 4 所示，我們以蛇來(lái)舉例，蛇的連續(xù)移動(dòng)，是其頭帶動(dòng)身體，一節(jié)一節(jié)如同波浪一般。因此，我們將連續(xù)性約束加入卷積核的設(shè)計(jì)中。每一個(gè)卷積位置都由其前一個(gè)位置作為基準(zhǔn)，自由選擇擺動(dòng)方向，從而在自由選擇的同時(shí)確保感受的連續(xù)性。（具體的公式可以參考論文與代碼）

這樣的設(shè)計(jì)是否真的有用？我們進(jìn)行了可視化驗(yàn)證：

以 2D 的視網(wǎng)膜數(shù)據(jù)為例，無(wú)論血管的走向、粗細(xì)等，我們的蛇形卷積核確實(shí)能夠更好地自適應(yīng)到管狀結(jié)構(gòu)的細(xì)長(zhǎng)結(jié)構(gòu)，并且關(guān)注到核心特征。

多視角特征融合

我們考慮到管狀結(jié)構(gòu)的走向與視角從來(lái)不是單一的，因此在設(shè)計(jì)中融合多視角特征也是必然的選擇。然而，融合更多的特征帶來(lái)的必然結(jié)果，就是更大的網(wǎng)絡(luò)負(fù)載，且如此多的特征難免會(huì)出現(xiàn)冗余，因此我們?cè)谔卣魅诤系挠?xùn)練過(guò)程中加入了分組與隨機(jī)丟棄的策略，一定程度上緩解了網(wǎng)絡(luò)內(nèi)內(nèi)存的壓力并避免模型陷入過(guò)擬合。

基于持續(xù)同調(diào)的拓?fù)溥B續(xù)損失（TCLoss）

▲ 圖7. 基于持續(xù)同調(diào)的連續(xù)性拓?fù)浼s束

我們的目標(biāo)是構(gòu)建數(shù)據(jù)的拓?fù)浣Y(jié)構(gòu)，并提取復(fù)雜管狀結(jié)構(gòu)中的高維關(guān)系，也就是持續(xù)同源性（Persistence Homology, PH）?；?PH 所設(shè)計(jì)的拓?fù)鋼p失函數(shù)也有很多優(yōu)秀的工作 [6][7] 已經(jīng)采用，拓?fù)浼s束確實(shí)針對(duì)這類(lèi)細(xì)長(zhǎng)且占比小的結(jié)構(gòu)非常有效，設(shè)計(jì)中所采用的推土機(jī)距離（Wasserstein Distance, WD）用來(lái)衡量點(diǎn)集的差異。簡(jiǎn)單描述，WD 用來(lái)衡量的是從一種離散分布，轉(zhuǎn)變?yōu)榱硪环N離散分布需要的代價(jià)。在 [6][7] 的方法中，利用這一算法來(lái)計(jì)算點(diǎn)與點(diǎn)的最佳匹配，點(diǎn)集中的離散點(diǎn)會(huì)被匹配到對(duì)角線(xiàn)（剛出現(xiàn)就消失的點(diǎn)聚集在對(duì)角線(xiàn)上），因此這些離散的點(diǎn)不會(huì)參與損失函數(shù)的計(jì)算與約束。

假設(shè) PO 的上端存在著一個(gè)異常的離散點(diǎn)（橫坐標(biāo)表示出現(xiàn)的時(shí)間，縱坐標(biāo)表示消失的時(shí)間），這表明存在一個(gè)構(gòu)件直到最后才與其他構(gòu)件獲得連接從而消失。因此我們?cè)诒疚闹胁捎玫氖?strong>豪斯多夫距離（Hausdorff Distance, HD），HD 也是用于衡量點(diǎn)集相似度的一個(gè)重要算法，對(duì)離散點(diǎn)也非常敏感。

實(shí)驗(yàn)

文中，我們使用了三個(gè)數(shù)據(jù)集，包含兩個(gè)公共數(shù)據(jù)集和一個(gè)內(nèi)部數(shù)據(jù)來(lái)驗(yàn)證我們的方法。在 2D 中，我們?cè)u(píng)估了 DRIVE 視網(wǎng)膜數(shù)據(jù)集和 Massachusetts Roads 數(shù)據(jù)集。在 3D 中，我們使用了一個(gè)名為心臟 CCTA 數(shù)據(jù)的數(shù)據(jù)集（私有數(shù)據(jù)）。后續(xù)，我們也在 3D KIPA 公開(kāi)數(shù)據(jù)上做了驗(yàn)證，并且正在致力于用該方法測(cè)試多組公開(kāi)挑戰(zhàn)賽數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果會(huì)在后續(xù)逐步公布。

▲圖8. 可視化結(jié)果

從可視化結(jié)果可以發(fā)現(xiàn)，我們的方法確實(shí)對(duì)管狀結(jié)構(gòu)數(shù)據(jù)有著很好的分割效果，尤其是在遙感道路數(shù)據(jù)以及冠脈血管數(shù)據(jù)上。

▲ 圖9. 量化結(jié)果

總結(jié)

我們提出的框架針對(duì)細(xì)長(zhǎng)管狀結(jié)構(gòu)進(jìn)行了相應(yīng)設(shè)計(jì)，并成功地將形態(tài)學(xué)特征與拓?fù)鋵W(xué)知識(shí)融為一體，以共同指導(dǎo)模型自適應(yīng)的分割。然而，其他形態(tài)學(xué)結(jié)構(gòu)的目標(biāo)是否也有類(lèi)似的范式，并能夠通過(guò)這一方法獲得更好的性能仍然是一個(gè)有趣的話(huà)題。同時(shí)，我們也正在嘗試將其進(jìn)一步優(yōu)化，能夠作為基礎(chǔ)大模型中的一個(gè)通用框架，為這類(lèi)特征難以鑒別的結(jié)構(gòu)提供一種可行的范式。