語義分割是計算機視覺中的任務(wù)，語義分割讓我們對圖像的理解比圖像分類和目標(biāo)物體檢測更詳細。這種對細節(jié)的理解在很多領(lǐng)域都非常重要，包括自動駕駛、機器人和圖片搜索引擎。來自斯坦福大學(xué)的Andy Chen和Chaitanya Asawa為我們詳細介紹了進行精確語義分割都需要哪些條件。本文將重點講解利用深度學(xué)習(xí)模型實現(xiàn)監(jiān)督式語義分割。

人類如何描述一個場景？我們可能會說“窗戶下面有一張桌子”或者“沙發(fā)右邊有一盞臺燈”。將場景分割成獨立的實體是理解一張圖像的關(guān)鍵，它讓我們了解目標(biāo)物體的行為。

當(dāng)然，目標(biāo)檢測方法可以幫我們在特定實體周圍畫出邊界框。但是要想像人類一樣對場景有所了解還需要對每個實體的邊界框進行監(jiān)測和標(biāo)記，并精確到像素級。這項任務(wù)變得越來越重要，因為我們開始創(chuàng)建自動駕駛汽車和智能機器人，它們都需要對周圍環(huán)境有著精確的理解。來自斯坦福大學(xué)的Andy Chen和Chaitanya Asawa就為我們詳細介紹了進行精確語義分割都需要哪些條件。以下是論智的編譯。

什么是語義分割

語義分割是計算機視覺中的任務(wù)，在這一過程中，我們將視覺輸入中的不同部分按照語義分到不同類別中。通過“語義理解”，各類別有一定的現(xiàn)實意義。例如，我們可能想提取圖中所有關(guān)于“汽車”的像素，然后把顏色涂成藍色。

雖然例如聚類等無監(jiān)督的方法可以用于分割，但是這樣的結(jié)果并不是按照語義分類的。這些方法并非按照訓(xùn)練方法進行分割，而是按照更通用的方法。

語義分割讓我們對圖像的理解比圖像分類和目標(biāo)物體檢測更詳細。這種對細節(jié)的理解在很多領(lǐng)域都非常重要，包括自動駕駛、機器人和圖片搜索引擎。這篇文章將重點講解利用深度學(xué)習(xí)模型實現(xiàn)監(jiān)督式語義分割。

數(shù)據(jù)集和標(biāo)準(zhǔn)

經(jīng)常用于訓(xùn)練語義分割模型的數(shù)據(jù)集有：

Pascal VOC 2012：其中有20個類別，包括人物、交通工具等等。目的是為了分割目標(biāo)物體類別或背景。

Cityscapes：從50個城市收集的景觀數(shù)據(jù)集。

Pascal Context：有超過400種室內(nèi)和室外場景。

Stanford Background Dataset：該數(shù)據(jù)集全部由室外場景組成，但每張圖片都有至少一個前景。

用來評估語義分割算法性能的標(biāo)準(zhǔn)是平均IoU（Intersection Over Union），這里IoU被定義為：

這一標(biāo)準(zhǔn)能保證我們不僅能捕捉到每個目標(biāo)對象，還能非常精確地完成這一任務(wù)。

語義分割過程（Pipeline）

在高級過程中，通常應(yīng)用語義分割模型的過程如下：

輸入→分類器→后處理→最終結(jié)果

之后我們將詳細討論分類器和后處理的過程。

結(jié)構(gòu)和分割方法

用卷積神經(jīng)網(wǎng)絡(luò)進行分類

最近進行語義分割的結(jié)構(gòu)大多用的是卷積神經(jīng)網(wǎng)絡(luò)（CNN），它首先會給每個像素分配最初的類別標(biāo)簽。卷積層可以有效地捕捉圖像的局部特征，同時將這樣的圖層分層嵌入，CNN嘗試提取更寬廣的結(jié)構(gòu)。隨著越來越多的卷積層捕捉到越來越復(fù)雜的圖像特征，一個卷積神經(jīng)網(wǎng)絡(luò)可以將圖像中的內(nèi)容編碼成緊湊的表示。

但是想要將單獨的像素映射到標(biāo)簽，我們需要在一個編碼-解碼器設(shè)置中增強標(biāo)準(zhǔn)的CNN編碼器。在這個設(shè)置中，編碼器用卷積層和池化層減少圖像的寬度和高度，達到一個更低維的表示。之后將其輸入到解碼器中，通過上采樣“恢復(fù)”空間維度，在每個解碼器的步驟上擴大表示的尺寸。在一些情況中，編碼器中間的步驟是用來幫助解碼器的步驟的。最終，解碼器生成了一群表示原始圖像的標(biāo)簽。

SCNet的編碼-解碼設(shè)置

在許多語義分割結(jié)構(gòu)中，CNN想要最小化的損失函數(shù)是交叉熵損失。這一目標(biāo)函數(shù)測量每個像素的預(yù)測概率分布與它實際概率分布的距離。

然而，交叉熵損失對語義分割并不理想，因為一張圖像的最終損失僅僅是每個像素損失的總和，而交叉熵損失不是并行的。由于交叉熵損失無法在像素間添加更高級的架構(gòu)，所以最小化交叉熵的標(biāo)簽會經(jīng)常變得不完整或者失真，這時候就需要后處理了。

用條件隨機場進行改進

CNN中的原始標(biāo)簽經(jīng)常是經(jīng)過補綴的圖像，其中可能有一些地方是錯誤的標(biāo)簽，與周圍的像素標(biāo)簽不一致。為了解決這一不連貫的問題，我們可以應(yīng)用一種令其變光滑的技術(shù)。我們想保證目標(biāo)物體所在圖像區(qū)域是連貫的，同時任何像素都與其周圍有著相同的標(biāo)簽。

為了解決這一問題，一些架構(gòu)用到了條件隨機場（CRFs），它利用原始圖像中像素的相似性調(diào)整CNN的標(biāo)簽。

條件隨機場的示例

一個條件隨機場是由隨機變量組成的圖形。在這一語境中，每個節(jié)點代表：

特定像素的CNN標(biāo)簽（綠色）

特定像素的實際物體標(biāo)簽（黃色）

每個連接線中編碼了兩個類型的信息：

藍色：兩像素中實際標(biāo)簽之間的相關(guān)性

紅色：CNN原始預(yù)測和給定像素的實際標(biāo)簽之間的依賴關(guān)系

每種依賴關(guān)系都與潛力有關(guān)，它是由兩個相關(guān)隨機變量表示的函數(shù)。例如，當(dāng)相鄰像素的實際標(biāo)簽相同時，第一種依賴關(guān)系的可能性更高。更直接地說，對象標(biāo)簽起到隱藏變量的作用，可以根據(jù)某些概率分布生成可觀察的CNN像素標(biāo)簽。

要用CRF調(diào)整標(biāo)簽，我們首先用訓(xùn)練數(shù)據(jù)學(xué)習(xí)圖像模型的參數(shù)。然后，我們再調(diào)整參數(shù)使概率最大化。CRF推斷的輸出就是原始圖像像素的最終目標(biāo)標(biāo)簽。

在實際中，CRF圖形是完全連接的，這意味著即使與節(jié)點相對的像素距離很遠，仍然可以在一條連接線上。這樣的圖形有幾十億條連接線，在計算實際的推斷時非常耗費計算力。CRF架構(gòu)將用高效的估算技術(shù)進行推斷。

分類器結(jié)構(gòu)

CNN分類之后的CRF調(diào)整只是語義分割過程的一個示例。許多研究論文都討論過這一過程的變體：

U-Net通過生成原始訓(xùn)練數(shù)據(jù)的變形版本增強其訓(xùn)練數(shù)據(jù)。這一步驟讓CNN的編碼-解碼器在應(yīng)對這樣的變形時更加穩(wěn)定，同時能在更少的訓(xùn)練圖像中學(xué)習(xí)。當(dāng)在一個不到40張的醫(yī)學(xué)圖像集中訓(xùn)練時，模型的IoU分?jǐn)?shù)依然達到了92%。

DeepLab結(jié)合了CNN編碼-解碼器和CRF調(diào)整，生成了它的對象標(biāo)簽（作者強調(diào)了解碼過程中的上采樣）?？斩淳矸e使用每層不同尺寸的過濾器，讓每個圖層捕捉到不同規(guī)模大小的特征。在Pascal VOC 2012測試集上，這一結(jié)構(gòu)的平均IoU分?jǐn)?shù)為70.3%。

Dilation10是空洞卷積的替代方法。在Pascal VOC 2012測試集上，它的平均IoU分?jǐn)?shù)為75.3%。

其他訓(xùn)練過程

現(xiàn)在我們關(guān)注一下最近的訓(xùn)練案例，與含有各種元素、優(yōu)化不同的是，這些方法都是端到端的。

完全差分條件隨機場

Zheng等人提出的CRF-RNN模型介紹了一種將分類和后處理結(jié)合到一種端到端模型的方法，同時優(yōu)化兩個階段。因此，例如CRF高斯核的權(quán)重參數(shù)就可以自動學(xué)習(xí)。它們浮現(xiàn)了推理近似算法作為卷積而達到這一目的，同時使用循環(huán)神經(jīng)網(wǎng)絡(luò)模擬推理算法的完全迭代本性。

分別用FCN-8s、DeepLab和CRF-RNN生成的兩張圖片的分割

對抗訓(xùn)練

最近，還有人研究了利用對抗訓(xùn)練幫助開發(fā)更高程度的一致性。受到生成對抗網(wǎng)絡(luò)的啟發(fā)，Luc等人訓(xùn)練了一個標(biāo)準(zhǔn)的CNN用來做語義分割，同時還有一個對抗網(wǎng)絡(luò)，試著學(xué)習(xí)標(biāo)準(zhǔn)分割與預(yù)測分割之間的區(qū)別。分割網(wǎng)絡(luò)的目的是生成對抗網(wǎng)絡(luò)無法分辨的語義分割。

這里的中心思想是，我們想讓我們的分割看起來盡可能真實。如果其他網(wǎng)絡(luò)可以輕易識破，那么我們做出的分割預(yù)測就不夠好。

隨時間進行分割

我們?nèi)绾晤A(yù)測目標(biāo)物體在未來會如何呢？我們可以對某一場景中的分割動作建模。這可以應(yīng)用到機器人或自動交通工具中，這些產(chǎn)品需要對物體的移動進行建模，從而做計劃。

Luc等人在2017年討論了這一問題，在論文中他們表示直接預(yù)測未來的語義分割會生成比預(yù)測未來框架然后再分割更好的性能。

他們用了自動回歸模型，用過去的分割預(yù)測下一個分割，以此類推。

最終發(fā)現(xiàn)這種方法長期的性能不太好，中短期來看效果不錯。

結(jié)語

在這之中的很多方法，例如U-Net，都遵循了一個基礎(chǔ)結(jié)構(gòu)：我們引用深度學(xué)習(xí)（或卷積網(wǎng)絡(luò)），之后用傳統(tǒng)概率的方法進行后處理。雖然卷積網(wǎng)絡(luò)的原始輸出不太完美，后處理能將分割的標(biāo)簽調(diào)整到接近人類的水平。

其他方法，例如對抗學(xué)習(xí)，可以看作是分割的強大端到端解決方案。與之前的CRF步驟不同，端到端技術(shù)無需人類建模調(diào)整原始預(yù)測。由于這些技術(shù)目前的性能比多步驟的方案都好，未來將有更多關(guān)于端到端算法的研究。