來(lái)源：AI公園，作者：Trapti Kalra

編譯：ronghuaiyang

導(dǎo)讀這是前一篇文章的繼續(xù)，在這篇文章中，我們將討論紋理分析在圖像分類(lèi)中的重要性，以及如何在深度學(xué)習(xí)中使用紋理分析。

在這篇文章中，我們將討論紋理分析在圖像分類(lèi)中的重要性，以及如何在深度學(xué)習(xí)中使用紋理分析。我們還將討論一些常用的紋理提取技術(shù)，這些技術(shù)用于預(yù)先訓(xùn)練的模型，以更有效地解決分類(lèi)任務(wù)。

為了更好地理解本文中解釋的主題，我們假設(shè)讀者對(duì)紋理提取技術(shù)、遷移學(xué)習(xí)和預(yù)訓(xùn)練的模型(如ResNet、InceptionNet等)有基本的了解。

在過(guò)去的幾年里，深度學(xué)習(xí)在分類(lèi)、分割和識(shí)別任務(wù)中顯示出了巨大的意義和有效性。然而，在許多情況下，傳統(tǒng)的基于cnn的架構(gòu)在基于紋理的分類(lèi)任務(wù)中表現(xiàn)不佳。為了解決這個(gè)問(wèn)題，最近有人提出了一些新的架構(gòu)。

以往的紋理分類(lèi)工作大多使用預(yù)訓(xùn)練的模型，如ResNet、InceptionNet等，并將紋理特征提取技術(shù)之一應(yīng)用于預(yù)訓(xùn)練模型的激活輸出。

如果圖像數(shù)據(jù)集具有豐富的基于紋理的特征，如果將額外的紋理特征提取技術(shù)作為端到端體系結(jié)構(gòu)的一部分，則深度學(xué)習(xí)技術(shù)會(huì)更有效。

預(yù)訓(xùn)練模型的問(wèn)題是，由于模型的復(fù)雜性，最后一層捕獲圖像的復(fù)雜特征。這些特征提供了關(guān)于物體形狀的信息，但不適合基于圖像中的重復(fù)模式來(lái)識(shí)別紋理細(xì)節(jié)。為了以一種優(yōu)雅的方式解決這個(gè)問(wèn)題，研究人員提出了將紋理提取技術(shù)與CNN結(jié)合起來(lái)的概念。這樣紋理就能被更準(zhǔn)確地捕捉和分類(lèi)。

在基于紋理的分類(lèi)任務(wù)重，紋理分析對(duì)于深度學(xué)習(xí)的重要性

由于紋理基于局部模式，而傳統(tǒng)的深度學(xué)習(xí)方法強(qiáng)調(diào)復(fù)雜的特征，對(duì)紋理分類(lèi)沒(méi)有幫助，因此，傳統(tǒng)的CNN架構(gòu)不能很好地執(zhí)行基于紋理特征的分類(lèi)任務(wù)。為了讓深度學(xué)習(xí)在基于紋理的數(shù)據(jù)上更好地工作，需要有一種方法，可以從圖像中提取紋理特定的特征，并將其傳遞給全連接層，同時(shí)保留全局特征。這樣的架構(gòu)設(shè)置將使全連接的層具有信息紋理特征，并有助于更有效地估計(jì)類(lèi)邊界。

圖1，局部特征提取

我們可以在圖1中看到，織物顯微圖像中提取的局部特征如何顯示幾乎相似的特征，這些提取的局部特征足以呈現(xiàn)織物的紋理類(lèi)型。從給定的織物紋理中，假設(shè)使用紋理分析技術(shù)提取給定圖像的局部特征(LF)。相同的局部模式在整個(gè)圖像中重復(fù)。在這張織物圖像中，三個(gè)提取的局部特征的特征幾乎是相同的。與全局特征相比，提取這些局部特征將更有幫助，因?yàn)榫植刻卣髟诙x給定織物中存在的紋理類(lèi)型時(shí)更有希望，從而更好地區(qū)分“紋理類(lèi)型”類(lèi)。

在紋理分析中，我們重點(diǎn)研究了紋理的識(shí)別和提取方法。更好地理解紋理分析方法有助于我們確定最適合特定紋理類(lèi)型的技術(shù)，以及如何將該方法應(yīng)用于給定的圖像，以提取紋理特征。

利用紋理分析的知識(shí)，我們可以開(kāi)發(fā)基于紋理的技術(shù)，并在神經(jīng)網(wǎng)絡(luò)架構(gòu)中以“層”的形式實(shí)現(xiàn)它們。這使得紋理分析方法可以與基于cnn的骨干架構(gòu)相結(jié)合。

如何在深度學(xué)習(xí)結(jié)構(gòu)中提取紋理特征？

在典型的CNN體系結(jié)構(gòu)中，沒(méi)有規(guī)定性的方法來(lái)強(qiáng)制在傳遞給全連接層的激活中存在紋理特征。假設(shè)，我們必須根據(jù)紋理類(lèi)型對(duì)一些圖像進(jìn)行分類(lèi)。如果以某種方式，我們可以強(qiáng)制模型來(lái)解釋圖像中的紋理特征，那么模型的性能就會(huì)大大提高。

在最近的研究中，很少有紋理特征提取技術(shù)能夠以“專門(mén)的”可微網(wǎng)絡(luò)層的形式與CNN體系結(jié)構(gòu)集成。將紋理提取層與傳統(tǒng)CNN體系結(jié)構(gòu)集成后，其主要優(yōu)點(diǎn)是將局部特征與全局特征一起傳遞給全連通層，有助于更顯著地估計(jì)類(lèi)邊界。

每種紋理提取技術(shù)能夠提取的紋理特征類(lèi)型不同，因此沒(méi)有一種“通用的”紋理提取方法。

由于紋理是圖像的局部屬性，因此這些技術(shù)的工作原理是突出給定圖像的局部特征。

在下一節(jié)中，我們將討論最近開(kāi)發(fā)的紋理提取技術(shù)以及它們?cè)谑褂肅NN架構(gòu)時(shí)應(yīng)用的紋理任務(wù)類(lèi)型。

深入紋理提取技術(shù)、方法以及在預(yù)訓(xùn)練激活輸出上的應(yīng)用

DeepTen

DeepTen網(wǎng)絡(luò)是一種利用損失函數(shù)在端到端學(xué)習(xí)框架上學(xué)習(xí)視覺(jué)詞匯的技術(shù)。編碼層被利用在卷積層之上。DeepTen的獨(dú)特之處在于字典、特征、分類(lèi)器和編碼表示都是同時(shí)學(xué)習(xí)的。這里的字典指的是輸入數(shù)據(jù)的稀疏表示。

為什么它有助于紋理分析

在一般的計(jì)算機(jī)視覺(jué)任務(wù)中，使用SIFT(尺度不變特征變換)或者濾波器組提取手工設(shè)計(jì)的特征。但在DeepTen中，每個(gè)部分都針對(duì)給定的端到端模式/紋理/材料識(shí)別任務(wù)進(jìn)行了調(diào)優(yōu)。整個(gè)管道被訓(xùn)練在一起，這些特征為識(shí)別任務(wù)提供了一個(gè)無(wú)順序的編碼。

如何使用它進(jìn)行基于紋理的分類(lèi)

在DeepTen中使用了一個(gè)可學(xué)習(xí)的殘差編碼層，它將殘差學(xué)習(xí)和整個(gè)字典移植到CNN的一個(gè)單層中。DeepTen的編碼層有3個(gè)主要屬性:

• 廣義魯棒殘差編碼器，描述特征分布。
• 作為卷積層之上的池化層，增加了深度學(xué)習(xí)模型的靈活性。
• 它使模型適合于傳輸預(yù)訓(xùn)練的特征，因?yàn)樗鼘W(xué)習(xí)了一個(gè)包含領(lǐng)域特定信息的固有字典。

圖2，固有字典由編碼層學(xué)習(xí)

這里在圖2中，字典的碼字和輸入視覺(jué)描述符被用來(lái)計(jì)算殘差。利用兩者之間的距離來(lái)獲取賦值權(quán)值，最后對(duì)殘差向量和賦值權(quán)值進(jìn)行聚合。

DeepTen還使用了端到端學(xué)習(xí)技術(shù)，因?yàn)榫幋a層是一個(gè)有向無(wú)環(huán)圖(圖2)，它是可微的，可以使用使用反向傳播的隨機(jī)梯度下降來(lái)訓(xùn)練它。

用例

DeepTen縮小了CNN和經(jīng)典計(jì)算機(jī)視覺(jué)任務(wù)之間的差距，使其在紋理和材料識(shí)別任務(wù)中非常高效。要了解更多關(guān)于編碼層是如何實(shí)現(xiàn)的以及它是如何集成到CNN的，請(qǐng)參考：https://openaccess.thecvf.com/content_cvpr_2017/papers/Zhang_Deep_TEN_Texture_CVPR_2017_paper.pdf

DEPNet

深度編碼池(Deep Encoding Pooling, DEP)是一種將局部空間信息與無(wú)序紋理細(xì)節(jié)相結(jié)合的技術(shù)。這里我們用一個(gè)有監(jiān)督的參數(shù)分布來(lái)找出類(lèi)的邊界，并建立類(lèi)之間的關(guān)系。

在經(jīng)典的方法中，使用定制的濾波器組過(guò)濾紋理圖像，然后使用基于直方圖或詞袋的方法對(duì)這些輸出進(jìn)行分組。特征提取是通過(guò)將直方圖或詞袋的輸出發(fā)送到預(yù)訓(xùn)練的卷積層來(lái)完成的。然而，在DEPNet中，紋理圖像被發(fā)送到卷積層，從那里的輸出被發(fā)送到編碼層和全局平均池化層。

為什么它有助于紋理分析:

DEPNet更關(guān)注局部空間信息和無(wú)序表示。

在這里，編碼層捕獲紋理外觀細(xì)節(jié)(即“無(wú)序紋理”：意思是不考慮圖像中局部特征的空間順序)，而全局平均池化層捕獲空間信息。這兩層都用雙線性模型處理。

圖3，DEPNet結(jié)構(gòu)

DEPNet雙線性模型使用全連接層的輸出。這些全連接層的輸出是向量，對(duì)兩個(gè)向量的外積沒(méi)有限制，也不涉及計(jì)算特征向量外積的計(jì)算復(fù)雜度。

在深度編碼池網(wǎng)絡(luò)中，

• 紋理編碼層將整個(gè)字典學(xué)習(xí)和視覺(jué)編碼管道集成到一個(gè)單一的CNN層，這為紋理建模提供了一個(gè)無(wú)序的表示。
• 雙線性模型是雙因素模型，如果一個(gè)因素不變，則另一個(gè)因素的輸出是線性的。這些因素平衡了兩個(gè)組成部分的貢獻(xiàn)。
• DEPNet的卷積層與基于ImageNet的預(yù)訓(xùn)練cnn的非線性層相結(jié)合，用于特征提取。

如何使用它進(jìn)行基于紋理的分類(lèi)：

在很多情況下，數(shù)據(jù)集的兩個(gè)類(lèi)彼此非常相似，經(jīng)常分類(lèi)錯(cuò)誤。例如，瀝青和石頭瀝青或樹(shù)葉和草(樹(shù)葉是背景)。在這種情況下，有必要為該圖像找到類(lèi)標(biāo)簽和最近的類(lèi)。為了解決這個(gè)問(wèn)題，在尋找圖像與各種類(lèi)之間的關(guān)系時(shí)使用了DEP-manifold。

從非參數(shù)算法來(lái)看，DEP-manifold采用了一個(gè)積分分布。深度神經(jīng)網(wǎng)絡(luò)利用這種分布直接預(yù)測(cè)紋理圖像的流形坐標(biāo)?；诓牧项?lèi)的相似性，建立了材料識(shí)別算法的混淆矩陣。分類(lèi)錯(cuò)誤的元素在對(duì)角線附近有一個(gè)接近的相關(guān)性，這些圖像可以被歸類(lèi)為密切相關(guān)的類(lèi)。

圖4，從超過(guò)1000張隨機(jī)圖像的GTOS訓(xùn)練集中提取特征，在分類(lèi)層之前執(zhí)行

在圖4中，混淆矩陣中的深藍(lán)色代表高相關(guān)性，淺藍(lán)色代表低相關(guān)性。有些類(lèi)分類(lèi)錯(cuò)誤，但它們可以被認(rèn)為是最接近的類(lèi)?？梢钥吹蕉鄠€(gè)深藍(lán)色點(diǎn)的列是類(lèi)之間關(guān)系密切的類(lèi)。

用例

DEPNet的整個(gè)體系結(jié)構(gòu)就像一個(gè)有向無(wú)環(huán)圖，所有的參數(shù)都可以通過(guò)反向傳播來(lái)訓(xùn)練。DEPNet就是一種專門(mén)用于地面地形識(shí)別的算法。論文：https://openaccess.thecvf.com/content_cvpr_2018/papers/Xue_Deep_Texture_Manifold_CVPR_2018_paper.pdf。

DSRNet

紋理技術(shù)通常側(cè)重于提取紋理的無(wú)序空間排列，但也重視紋理的內(nèi)在結(jié)構(gòu)特性。深度結(jié)構(gòu)顯示網(wǎng)絡(luò)(DSR-Net)側(cè)重于結(jié)構(gòu)表示，因?yàn)榧y理分析是通過(guò)捕捉紋理之間的空間關(guān)系來(lái)完成的。

為什么它有助于紋理分析

DSRNet背后的主要思想是，紋理的空間排列在其空間布局中可以有多種感知，但這些紋理之間存在空間依賴性，這種依賴性不會(huì)因空間布局而變化，并告訴我們紋理的結(jié)構(gòu)屬性。見(jiàn)下圖(圖5)，一個(gè)紋理有多個(gè)感知。

圖5，A：不同的紋理帶有移動(dòng)的紋理元素，B：可移動(dòng)紋理元素之間的空間依賴性如何使用它進(jìn)行基于紋理的分類(lèi)

在DSRNet中捕捉紋理之間的結(jié)構(gòu)關(guān)系使用了兩個(gè)模塊 —— 原始捕獲模塊(PCM)和依賴學(xué)習(xí)模塊(DLM)

如圖6所示，DSR-Net有兩個(gè)分支 —— 結(jié)構(gòu)顯示分支和空間有序分支。首先以resnet50為骨干進(jìn)行特征提取，然后將特征串聯(lián)在一起形成特征池以獲取局部空間特征。將結(jié)構(gòu)顯示分支的輸出與空間有序分支的輸出相加，最后發(fā)送到全連接層。

圖6，a) DSR-Net的完整架構(gòu) b) structure - reveal模塊的詳細(xì)架構(gòu)

在PCM空間上下文中，對(duì)紋理給出約束，這些約束在八個(gè)方向上給出。如圖7所示，方向映射用于從給定輸入捕獲主要模式。

圖7，原語(yǔ)捕獲模塊(PCM)示意圖，for each position指的是PCM計(jì)算的每一步

如圖8所示，PCM捕獲的模式被傳遞給DLM, DLM使用兩種協(xié)作策略在本地生成多個(gè)候選原語(yǔ)之間的依賴關(guān)系。

圖8所示。依賴學(xué)習(xí)模塊(DLM)的說(shuō)明

用例

由于DSRNet基于紋理的結(jié)構(gòu)特性，它對(duì)亮度變化和空間變形具有很強(qiáng)的魯棒性。除了紋理分類(lèi)，它還可以用于其他視覺(jué)任務(wù)。然而，DSRNet已被證明適合于場(chǎng)景解析和細(xì)粒度識(shí)別任務(wù)。有關(guān)DSRNet及其功能的更多信息，請(qǐng)參考//openaccess.thecvf.com/content_CVPR_2020/papers/Zhai_Deep_Structure-Revealed_Network_for_Texture_Recognition_CVPR_2020_paper.pdf

CLASSNet

它是一個(gè)使用CLASS (Cross-Layer Aggregation of Statistical Self-similarity)技術(shù)構(gòu)建的神經(jīng)網(wǎng)絡(luò)。這是通過(guò)在不同層間改變CNN的結(jié)構(gòu)來(lái)實(shí)現(xiàn)的，方法是向其添加統(tǒng)計(jì)自相似性(SSS)，這是紋理的一個(gè)眾所周知的屬性。

紋理包含許多相互矛盾的特性，這些特性是由具有統(tǒng)計(jì)平穩(wěn)性的隨機(jī)過(guò)程捕獲的。

Statistical stationery是指兩個(gè)或兩個(gè)以上的區(qū)域在某些統(tǒng)計(jì)方面具有相似的值。紋理中的各種模式都由這些相同的統(tǒng)計(jì)數(shù)據(jù)表示。圖9是一個(gè)例子，其中圖像中的三片葉子形狀相似，在統(tǒng)計(jì)上是一致的。

圖9，自相似的圖例

為什么它有助于紋理分析

將小波變換與SSS結(jié)合形成跨層SSS，以便更好地提取特征圖進(jìn)行分類(lèi)。同時(shí)將SSS與CNN結(jié)合使用，可以得到空間紋理信息。

如何使用它進(jìn)行基于紋理的分類(lèi)

如圖10所示，從不同CNN層中選取的特征映射被疊加為特征張量。其中一個(gè)沿著通道維度的張量是跨層SSS。使用滑動(dòng)窗口通過(guò)通道對(duì)局部特征進(jìn)行采樣，然后在每個(gè)采樣塊上計(jì)算差分盒計(jì)數(shù)(DBC)維數(shù)。最后，將所有塊上DBC維度的直方圖用作描述符。

圖10，CLASS的說(shuō)明。來(lái)自CNN的堆疊特征圖是在滑動(dòng)窗口的幫助下采樣的。計(jì)算每個(gè)DBC塊的DBC維數(shù)，得到每個(gè)DBC塊的直方圖

采用跨層方式的特征聚合是在Resnet各層內(nèi)的卷積層內(nèi)完成的，Resnet是CLASSNet的主干。由于DBC的計(jì)算是基于SSS的，因此可以方便地轉(zhuǎn)移到ResNet骨干;SSS在改進(jìn)特征聚合方面也很有用。

圖11，CLASSNet的體系結(jié)構(gòu)說(shuō)明

圖11簡(jiǎn)要描述了ResNet骨干網(wǎng)的連續(xù)殘塊(RB)如何與FC層和GAP層連接。殘差塊由幾個(gè)卷積層和跳過(guò)連接組成。CLASS模塊集成在所有RBs之上。

CLASS模塊有4個(gè)階段:

• 尺寸歸一化：通過(guò)對(duì)每個(gè)特征向量進(jìn)行1x1卷積，然后向上采樣到一個(gè)固定的尺寸來(lái)歸一化。
• 跨層分組：所有特性映射都堆疊在另一個(gè)之上。
• DBC Pooling：在每個(gè)采樣路徑上計(jì)算DBC獲得本地補(bǔ)丁。
• 聚合：聚合前，對(duì)feature map(從上一步獲得)進(jìn)行1x1卷積。對(duì)殘差向量應(yīng)用softmax計(jì)算軟直方圖。然后在此基礎(chǔ)上計(jì)算軟直方圖并共享bin中心。

用例

CLASSNet模塊沒(méi)有引入很多新的參數(shù)，除了可學(xué)習(xí)的bin中心、用于軟直方圖的縮放因子和卷積層的權(quán)重 —— 用于大小歸一化，以及用于在DBC池化后生成軟直方圖。

所有這些參數(shù)都與ResNet一起訓(xùn)練。CLASS模塊適用于較輕量級(jí)的主干和首選輕量級(jí)模型的地方。CLASSNet是一種經(jīng)過(guò)驗(yàn)證的紋理識(shí)別模型，對(duì)各種數(shù)據(jù)集的紋理識(shí)別效果良好。有關(guān)CLASSNet及其性能的進(jìn)一步了解，請(qǐng)參閱//openaccess.thecvf.com/content/CVPR2021/papers/Chen_Deep_Texture_Recognition_via_Exploiting_Cross-Layer_Statistical_Self-Similarity_CVPR_2021_paper.pdf。

FENet

通常，CNN經(jīng)常使用全局平均池(GAP)來(lái)捕獲紋理的空間特征，但GAP無(wú)法描述來(lái)自紋理的復(fù)雜分布模式。為此，F(xiàn)ENet引入了分形編碼(Fractal Encoding, FE)的概念，利用局部全局層次分形分析，找出紋理在空間排列中的模式。

為什么它有助于紋理分析

分形幾何是一種通常用于紋理合成和紋理分析的方法。許多自然紋理都具有分形維數(shù)信息，這些信息告訴我們紋理圖像中圖案的規(guī)律性。如圖12所示，有兩種不同類(lèi)型的紋理。計(jì)算這些圖像的分形維數(shù)將有助于輕松區(qū)分兩種類(lèi)型的紋理。

圖12，圖像和對(duì)應(yīng)圖像的分形維數(shù)

這里，在圖12中，在特定區(qū)域的黑白像素值可以是相同的，但紋理的類(lèi)型是非常不同的。

這些基于分形維數(shù)的統(tǒng)計(jì)信息被FE (fractal Encoding)用來(lái)描述紋理的空間布局，以便更好地提取特征。

如何使用它進(jìn)行基于紋理的分類(lèi)

FE使用全局特征編碼模塊，通過(guò)特征圖找到特征的空間模式。FE模塊利用分形分析池(FAP)根據(jù)圖像的局部分形維數(shù)對(duì)紋理的點(diǎn)進(jìn)行分組。圖13是FE模塊完整的深度架構(gòu)。

圖13，F(xiàn)E模塊完整示意圖。FE模塊從CNN骨干接收輸入，并通過(guò)兩條路徑發(fā)送。在第一個(gè)路徑中，輸入通過(guò)GAP和FC層，而在第二個(gè)路徑中，輸入通過(guò)上采樣層和FAP層。最后，兩者使用雙線性池化層(BLP)[4]進(jìn)行組合

FAP由三個(gè)子部分組成:

• 局部維數(shù)估計(jì)塊(LDEB):從輸入特征片創(chuàng)建一個(gè)按點(diǎn)的局部分形維數(shù)圖。
• 點(diǎn)分組塊(PGB):從LDEB獲取輸入，根據(jù)分形維數(shù)圖對(duì)特征切片進(jìn)行分類(lèi)，即生成一系列軟隸屬度圖。
• GDCB (Global Dimension Calculation Block)：接受PGB的輸入，計(jì)算分形維數(shù)

當(dāng)FE模塊在ResNet的最后一層之前使用時(shí)，它的有效性得到了提高。

用例

FENet已經(jīng)產(chǎn)生了一些令人印象深刻的結(jié)果，它可以用于紋理識(shí)別，也可以用于問(wèn)題分割，分類(lèi)，并在數(shù)字圖像中用于紋理的一般建模。要深入了解FE模塊的工作、架構(gòu)以及計(jì)算的分形是如何與ResNet一起使用的，請(qǐng)查看：https://proceedings.neurips.cc/paper/2021/file/c04c19c2c2474dbf5f7ac4372c5b9af1-Paper.pdf。

Histogram

引入了直方圖層，主要利用直方圖捕獲局部空間特征的分布。它使用反向傳播來(lái)估計(jì)層的參數(shù)。直方圖層的合并帶來(lái)了兩個(gè)優(yōu)點(diǎn)，即仔細(xì)組合過(guò)的特征和通過(guò)深度學(xué)習(xí)放大的紋理特征。

直觀的想法

直方圖是處理紋理數(shù)據(jù)的一種成功而熟練的方法。bin中心和寬度的確定對(duì)特征提取具有重要意義。這些邊界不是由人工決定的，而是通過(guò)反向傳播來(lái)評(píng)估的。

為什么它有助于紋理分析?

特性工程是一個(gè)廣泛的過(guò)程，需要大量的人力、計(jì)算能力和時(shí)間。傳統(tǒng)上，人們依靠手工技術(shù)，如局部二元模式(LBP)和梯度直方圖來(lái)區(qū)分基于空間分布的特征。后來(lái)，深度學(xué)習(xí)出現(xiàn)了，并開(kāi)始通過(guò)產(chǎn)生更好的結(jié)果取代這些技術(shù)，但這里的問(wèn)題是，深度學(xué)習(xí)需要很多層來(lái)提取最好的特征。為了解決這一問(wèn)題，引入了直方圖層，將深度學(xué)習(xí)和手工特征的優(yōu)點(diǎn)結(jié)合起來(lái)并加以利用。

如何使用它進(jìn)行基于紋理的分類(lèi)?

通常，在使用直方圖時(shí)，我們手動(dòng)輸入直方圖的特征(bin center和width)，但在這個(gè)直方圖層，我們使用徑向基函數(shù)(RBF) 作為直方圖bin的操作。

直方圖參數(shù)的精確值是通過(guò)反向傳播來(lái)估計(jì)的。如圖14所示，直方圖的參數(shù)將作為局部化的直方圖層，它將維護(hù)紋理分析的空間內(nèi)容。

圖14，圖像包含了其他紋理，而不僅僅是草。局部直方圖可以區(qū)分圖像中包含純草(上兩個(gè)直方圖)或混合其他紋理(下兩個(gè)直方圖)的部分

直方圖層主要有兩部分:

軟bin操作：這里使用RBF為直方圖提供平滑估計(jì)。當(dāng)容器中心與特征值相等時(shí)，RBF的最大值為1，隨著特征值遠(yuǎn)離容器中心，RBF值趨于0。圖像的直方圖特征圖計(jì)算如圖15所示，其中M x N為輸入圖像的空間維度，S × T為創(chuàng)建大小為R × c的直方圖的滑動(dòng)窗口。B為bin的總數(shù)。

1. 反向傳播：對(duì)于更新，bin中心和寬度直方圖層通過(guò)反向傳播使用端到端學(xué)習(xí)。利用徑向基函數(shù)(RBF)計(jì)算直方圖層的梯度，并根據(jù)特征圖值與bin中心之間的距離更新參數(shù)。

圖15，局部直方圖操作的可視化。對(duì)于一個(gè)給定的圖像，總共生成了B個(gè)大小為R x C的直方圖特征圖(B為箱子總數(shù))。輸入圖像的大小是M x N, S x T是滑動(dòng)窗口的大小

最后在模型中，將輸入圖像傳遞到卷積層提取卷積特征，然后將輸出圖像傳遞到全局平均池化(GAP)，最后傳遞到直方圖層，獲取紋理、空間和低階卷積特征。然后，這些特征被連接在一起，然后被輸入一個(gè)全連接的層進(jìn)行分類(lèi)。直方圖層的位置從1到5不等。在這個(gè)圖16中，來(lái)自最后一個(gè)卷積層(位置5)的特征映射被傳遞到直方圖層。

圖16，ResNet直方圖層。卷積層的輸出被傳遞到GAP層和直方圖層。直方圖層的位置可以從1到5不等

用例

一旦從直方圖和CNN層中提取出圖像中的信息，然后將兩者一起進(jìn)行微調(diào)。直方圖層可以合并到任何人工神經(jīng)網(wǎng)絡(luò)中，可以用于任何紋理分析任務(wù)，而不是分類(lèi)任務(wù)，如紋理合成、分割和紋理形狀。

有關(guān)直方圖層的更多信息，請(qǐng)查看研究：https://arxiv.org/pdf/2001.00215v9.pdf。

總結(jié)

上述討論的方法通常用于各種紋理分類(lèi)任務(wù)。在為基于紋理的分類(lèi)任務(wù)實(shí)現(xiàn)深度學(xué)習(xí)模型時(shí)，你可以使用這些技術(shù)或從這些技術(shù)中獲得見(jiàn)解，并將它們與你的自定義或預(yù)訓(xùn)練的模型一起使用。根據(jù)手頭的數(shù)據(jù)集和任務(wù)，明智地使用這些技術(shù)將提高模型的準(zhǔn)確性。

英文原文：https://medium.com/@trapti.kalra_ibm/how-to-leverage-textural-features-in-deep-learning-architectures-fd817759d5e8