一個(gè)經(jīng)歷了 39 場(chǎng) Kaggle 比賽的團(tuán)隊(duì)在 reddit 上發(fā)帖表示，他們整理了一份結(jié)構(gòu)化的圖像分割技巧列表，涵蓋數(shù)據(jù)增強(qiáng)、建模、損失函數(shù)、訓(xùn)練技巧等多個(gè)方面，不失為一份可以參考的圖像分割技巧資料。

圖像分割是圖像處理和計(jì)算機(jī)視覺(jué)的熱點(diǎn)之一，是根據(jù)圖像內(nèi)容對(duì)指定區(qū)域進(jìn)行標(biāo)記的計(jì)算機(jī)視覺(jué)任務(wù)。它基于某些標(biāo)準(zhǔn)將輸入圖像劃分為多個(gè)相同的類(lèi)別，簡(jiǎn)言之就是「這張圖片里有什么，其在圖片中的位置是什么？」以便提取人們感興趣的區(qū)域。圖像分割是圖像分析和圖像特征提取及識(shí)別的基礎(chǔ)。

圖像分割也是 Kaggle 中的一類(lèi)常見(jiàn)賽題，比如衛(wèi)星圖像分割與識(shí)別、氣胸疾病圖像分割等。除了密切的團(tuán)隊(duì)配合、給力的 GPU 配置等條件，技巧在這類(lèi)比賽中也發(fā)揮了很大的作用。但這些技巧去哪里找呢？Medium、大牛博客、參賽經(jīng)驗(yàn)帖中都散落著各種技巧分享，但這些資源往往比較零散，于是就有人想到，為什么不把它們集中到一起呢？ Derrick Mwiti 就帶頭做了這么一件事，他和他所在的團(tuán)隊(duì)將過(guò)去 39 場(chǎng) Kaggle 比賽中討論過(guò)的圖像分割技巧、資料都匯總到了一起，希望可以幫到在圖像分割任務(wù)中遇到困難的同學(xué)。 這份列表分為十大板塊，包括外部數(shù)據(jù)、預(yù)處理、數(shù)據(jù)增強(qiáng)、建模、硬件配置、損失函數(shù)、訓(xùn)練技巧、評(píng)估和交叉驗(yàn)證、集成方法以及后處理。

每個(gè)版塊的具體內(nèi)容以條目的形式呈現(xiàn)，每個(gè)條目又都嵌入了一些鏈接，點(diǎn)開(kāi)可以看到一些優(yōu)秀的 Kaggle 解決方案分享、Medium 博客教程、高贊的 GitHub 項(xiàng)目等，讀者可以根據(jù)自己的具體問(wèn)題和需要進(jìn)行查找。 本文選取了其中一部分內(nèi)容進(jìn)行介紹，具體細(xì)節(jié)及鏈接請(qǐng)參見(jiàn)原文。 接下來(lái)，我們來(lái)看每個(gè)步驟都有哪些技巧吧。 預(yù)處理 這一部分包含眾多常見(jiàn)的有效圖像預(yù)處理方法，例如：

使用高斯差分方法進(jìn)行斑點(diǎn)檢測(cè)；

使用基于圖像塊的輸入進(jìn)行訓(xùn)練，以減少訓(xùn)練時(shí)間；

加載數(shù)據(jù)時(shí)，用 cudf 替換 Pandas；

確保所有圖像保持相同的方向；

使用 OpenCV 對(duì)所有常規(guī)圖像進(jìn)行預(yù)處理；

采用自主學(xué)習(xí)并手動(dòng)添加注釋?zhuān)?/p>

將所有圖像調(diào)整成相同的分辨率，以便將相同的模型用于不同厚度的掃描等。

數(shù)據(jù)增強(qiáng) 數(shù)據(jù)增強(qiáng)能夠使網(wǎng)絡(luò)具有更復(fù)雜的表征能力，從而減小網(wǎng)絡(luò)性能在驗(yàn)證集和訓(xùn)練集以及最終測(cè)試集上的差距，讓網(wǎng)絡(luò)更好地學(xué)習(xí)遷移數(shù)據(jù)集上的數(shù)據(jù)分布。這部分介紹了一些常用的數(shù)據(jù)增強(qiáng)方法：

用 albumentations 包進(jìn)行數(shù)據(jù)增強(qiáng)；

使用 90 度隨機(jī)旋轉(zhuǎn)；

使用水平、垂直翻轉(zhuǎn)或這兩個(gè)方向都做翻轉(zhuǎn)；

嘗試進(jìn)行復(fù)雜的幾何變換，包括彈性變換、透視變換、分段仿射變換、枕形失真；

應(yīng)用隨機(jī) HSV；

使用損失較小的增強(qiáng)數(shù)據(jù)進(jìn)行泛化，以防止有用圖像信息丟失；

應(yīng)用通道 shuffle；

根據(jù)類(lèi)別頻率進(jìn)行數(shù)據(jù)擴(kuò)充；

應(yīng)用高斯噪聲等。

建模網(wǎng)絡(luò)架構(gòu) 這一部分介紹了一些可用在圖像分割上的常用網(wǎng)絡(luò)框架，例如：

使用基于 U-net 的架構(gòu)；

用 inception-ResNet v2 架構(gòu)得到具備不同感受野的訓(xùn)練特征；

經(jīng)過(guò)對(duì)抗訓(xùn)練的 Siamese 網(wǎng)絡(luò)；

以密集（FC）層作為最后一層的 ResNet50、Xception、Inception ResNet v2 x 5；

使用全局最大池化層，無(wú)論輸入尺寸如何，該層都將返回固定長(zhǎng)度的輸出；

使用堆疊的膨脹卷積；

VoxelNet；

用 concat 和 conv1x1 替換 LinkNet 跳躍連接中的加號(hào)；

廣義平均池化；

用 3D 卷積網(wǎng)絡(luò)在圖像上滑動(dòng)；

使用在 Imagenet 數(shù)據(jù)集上預(yù)訓(xùn)練的 ResNet152 作為特征提取器等。

以及下列經(jīng)典網(wǎng)絡(luò)框架：

損失函數(shù) 損失函數(shù)常用來(lái)估計(jì)模型預(yù)測(cè)結(jié)果與真值之間的差距。選擇合適的損失函數(shù)，對(duì)模型效果很重要。 這部分介紹了一系列損失函數(shù)和使用場(chǎng)景，例如：

dice 系數(shù)：能夠很好地處理不平衡數(shù)據(jù)；

加權(quán)邊界損失：減少預(yù)測(cè)分割與真值之間的距離；

MultiLabelSoftMarginLoss：基于最大熵優(yōu)化多標(biāo)簽一對(duì)多損失的標(biāo)準(zhǔn)；

具備 logit 損失的平衡交叉熵（Balanced cross entropy，BCE）：以特定系數(shù)權(quán)衡正例和負(fù)例；

……

此外，作者還介紹了 Arc margin 損失、BCE 和 dice 系數(shù)的組合等等，更多詳情參見(jiàn)原文。

訓(xùn)練技巧 這部分介紹了常用的模型訓(xùn)練技巧，如：

嘗試不同的學(xué)習(xí)率；

嘗試不同批大??；

使用帶有動(dòng)量項(xiàng)的 SDG，并且手動(dòng)設(shè)置學(xué)習(xí)率衰減；

數(shù)據(jù)增強(qiáng)過(guò)多會(huì)降低準(zhǔn)確率；

使用裁剪后的圖像訓(xùn)練，并在完整的圖像上做預(yù)測(cè)；

在學(xué)習(xí)速率調(diào)整上使用 Keras 中的 ReduceLROnPlateau() 方法；

凍結(jié)除了最后一層以外所有的網(wǎng)絡(luò)層，并使用 Stage1 中的 1000 張圖片進(jìn)行模型微調(diào)；

開(kāi)發(fā)一個(gè)能使標(biāo)簽更加均勻的采樣器；

使用類(lèi)別感知采樣（class aware sampling）等。

評(píng)估和交叉驗(yàn)證 這部分介紹了 k 折交叉驗(yàn)證、對(duì)抗驗(yàn)證和權(quán)衡等方法，以及在調(diào)整模型最后一層時(shí)使用交叉驗(yàn)證方法以有效避免過(guò)擬合。

集成方法 許多機(jī)器學(xué)習(xí)競(jìng)賽（包括 Kaggle）中最優(yōu)秀的解決方案所采用的集成方法都建立在一個(gè)這樣的假設(shè)上：將多個(gè)模型組合在一起通?？梢援a(chǎn)生更強(qiáng)大的模型。 這部分介紹了多種集成方法，如多數(shù)投票法、XGBoost、LightGBM、CatBoost 等方法，以及集成 ResNet50、InceptionV3 和 InceptionResNetV2 的方法。

后處理 這部分介紹了多種后處理方法：

測(cè)試時(shí)增強(qiáng)（Test Time Augmentation，TTA）：向模型多次展示經(jīng)過(guò)不同隨機(jī)變換的圖像，取預(yù)測(cè)平均值；

均衡使用測(cè)試預(yù)測(cè)概率，而不是僅使用預(yù)測(cè)類(lèi)；

將幾何平均數(shù)應(yīng)用于預(yù)測(cè)；

在推理過(guò)程中將圖塊重疊，使每個(gè)邊緣像素至少覆蓋 3 次，因?yàn)?UNET 在邊緣區(qū)域范圍的預(yù)測(cè)往往較差；

非極大抑制和邊界框收縮；

分水嶺后處理：在實(shí)例分割問(wèn)題中分離對(duì)象。

最后需要注意的是，這份列表給出的某些技巧可能有一定的適用范圍，具體能不能用還要視數(shù)據(jù)而定。

原文標(biāo)題：圖像分割的實(shí)用技巧

文章出處：【微信公眾號(hào)：新機(jī)器視覺(jué)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯:haq