給定目標(biāo)硬件，如何確定最優(yōu)的速度-精度折衷邊界？換言之：給定推斷延時(shí)的限制，模型能達(dá)到的最高精度是多少？給定精度要求，模型所需的最短延時(shí)是多少？

為此，馭勢(shì)科技AI研究院聯(lián)合新加坡國(guó)立大學(xué)提出了偏序關(guān)系剪枝（Partial Order Pruning）方法，直接考慮模型在目標(biāo)硬件上的延時(shí)，利用偏序關(guān)系假設(shè)對(duì)搜索空間進(jìn)行剪枝，平衡模型的寬度與深度，以提高速度-精度折衷的邊界。應(yīng)用該方法所得的東風(fēng)（DF）骨干網(wǎng)絡(luò)，取得了目標(biāo)硬件（TX2）上的最優(yōu)速度-精度折衷。應(yīng)用該方法于語(yǔ)義分割網(wǎng)絡(luò)Decoder的結(jié)構(gòu)搜索，所得的東風(fēng)分割網(wǎng)絡(luò)（DF-Seg）也取得了TX2/1080Ti上最優(yōu)的速度-精度折衷。

在實(shí)際運(yùn)用當(dāng)中，具備多重實(shí)用價(jià)值，主要體現(xiàn)在以下幾個(gè)方面：

（一）DF/DF-Seg網(wǎng)絡(luò)的實(shí)用價(jià)值

（1）DF網(wǎng)絡(luò)取得了目標(biāo)硬件（TX2）上最優(yōu)的速度-精度折衷。

（2）DF網(wǎng)絡(luò)節(jié)約顯存。以DF2A網(wǎng)絡(luò)為例，其精度介于ResNet50/101之間，而僅需1/3至1/2的顯存（以BVLC Caffe測(cè)試）。

（3）DF網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，僅使用基本的殘差模塊，相當(dāng)于更“精耕細(xì)作”的ResNet。

（4）DF-Seg網(wǎng)絡(luò)是TX2/1080Ti/Titan X(Maxwell)上速度-精度折衷最好的分割網(wǎng)絡(luò)。

省時(shí)間、省顯存、結(jié)構(gòu)簡(jiǎn)單，使得DF/DF-Seg網(wǎng)絡(luò)有助于在嵌入式設(shè)備TX2上部署高精度、低延時(shí)、多路圖像并行處理的CNN模型；有助于高端GPU上的視頻處理、大規(guī)模圖像數(shù)據(jù)處理等任務(wù)的部署；有助于科研人員，尤其是計(jì)算資源不足的科研人員，節(jié)省計(jì)算資源，實(shí)現(xiàn)更復(fù)雜的算法。

（二）偏序關(guān)系剪枝算法的實(shí)用價(jià)值

DF網(wǎng)絡(luò)更適合GPU平臺(tái)，我們也利用偏序關(guān)系剪枝算法，在驍龍845 CPU平臺(tái)上進(jìn)行了骨干網(wǎng)絡(luò)結(jié)構(gòu)與分割網(wǎng)絡(luò)Decoder結(jié)構(gòu)的搜索，所得語(yǔ)義分割網(wǎng)絡(luò)得到了目前CPU平臺(tái)上最好速度-精度折衷。

以下為該論文內(nèi)容翻譯：

一、偏序關(guān)系剪枝算法

（一）搜索空間設(shè)計(jì)與模型結(jié)構(gòu)編碼

圖2(a)為本文的模型搜索空間，圖2(b)為本文使用的殘差模塊結(jié)構(gòu)。網(wǎng)絡(luò)由6個(gè)Stage構(gòu)成，Stage1~5均通過(guò)設(shè)步長(zhǎng)為2降低輸入特征的分辨率，Stage6通過(guò)全局池化與全連接層產(chǎn)生分類結(jié)果。本文的模型搜索不搜索基本模塊的結(jié)構(gòu)，而是在基本殘差模塊的基礎(chǔ)上，對(duì)網(wǎng)絡(luò)整體的寬度與深度進(jìn)行平衡。在Stage3~5，模型分別包含L/M/N個(gè)殘差模塊，Stage s中的第i個(gè)殘差模塊的寬度記為，因此本文將一個(gè)結(jié)構(gòu)表示為：

（二）模型延時(shí)估計(jì)與子搜索空間

圖2(a)所表達(dá)的搜索空間記為s，實(shí)踐中我們僅關(guān)心延時(shí)在中的子集，即。為估計(jì)各網(wǎng)絡(luò)的延時(shí)，我們使用TensorRT提供的性能分析工具，在目標(biāo)硬件TX2上，測(cè)量了不同的殘差模塊所需的延時(shí)，并建立一個(gè)查找表

。這里，分別是輸入輸出特征的通道數(shù)，而

是相應(yīng)的空間尺寸。利用該查找表將各殘差模塊延時(shí)進(jìn)行加和記為對(duì)一個(gè)網(wǎng)絡(luò)延時(shí)的估計(jì)。在圖3(a)中，我們對(duì)若干網(wǎng)絡(luò)的估計(jì)延時(shí)與實(shí)際延時(shí)進(jìn)行了比較，可見(jiàn)估計(jì)延時(shí)與實(shí)際延時(shí)基本一致。

（三）偏序關(guān)系假設(shè)

我們借用集合論中的偏序（Partial Order）關(guān)系來(lái)描述模型結(jié)構(gòu)之間的聯(lián)系：集合中的元素為不同的模型結(jié)構(gòu)（見(jiàn)圖2（a）），集合中的二元關(guān)系定義為：若x比y更淺且更窄，則稱x是y的前序，記為。如此，整個(gè)搜索空間中的模型結(jié)構(gòu)就滿足了嚴(yán)格偏序關(guān)系，包括反自反性、反對(duì)稱行、傳遞性。圖4給出了若干模型結(jié)構(gòu)間偏序關(guān)系的示意圖。偏序關(guān)系假設(shè)為：若x是y的前序（意味著x比y更淺且更窄），則x的速度更快，精度更低。這可以寫為：

在圖3(b)中，我們基于已訓(xùn)練的模型，對(duì)偏序關(guān)系假設(shè)的合理性進(jìn)行了驗(yàn)證，其中，

，

?？梢?jiàn)，在本實(shí)驗(yàn)所關(guān)心的模型子空間中，偏序關(guān)系假設(shè)是合理的。

（四）偏序關(guān)系剪枝

基于偏序關(guān)系假設(shè)，我們可以在模型搜索中對(duì)搜索空間進(jìn)行剪枝。圖5是該剪枝過(guò)程的一個(gè)示意圖。集合為已訓(xùn)練的模型結(jié)構(gòu)，集合中的模型代表了當(dāng)前迭代中所能達(dá)到的最優(yōu)速度-精度折衷邊界。對(duì)于一個(gè)非邊界模型

，其任意前序模型

，應(yīng)有：

而我們已有速度-精度折衷更好的邊界點(diǎn)：

因此w的部分前序元素，延時(shí)將比高，而精度將比低，也即處于圖5的陰影部分。這些中的模型結(jié)構(gòu)無(wú)法提供更好的速度-精度折衷，可以據(jù)此對(duì)搜索空間進(jìn)行剪枝：。如此反復(fù)迭代，在迭代中不斷對(duì)搜索空間進(jìn)行剪枝，直至速度-精度折衷的邊界趨于穩(wěn)定，如算法1所描述。

（五）語(yǔ)義分割網(wǎng)絡(luò)的Decoder設(shè)計(jì)

本文中語(yǔ)義分割網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)如圖6所示，在Stage 5中加入了pyramid pooling module，使用圖6(b)所示的Fusion node融合不同分辨率的特征，其中Channel Controller(CC)為1x1卷積，用以控制Decoder在不同分辨率下的寬度。不同的，構(gòu)成了不同復(fù)雜度的Decoder結(jié)構(gòu)。這些Decoder結(jié)構(gòu)之間也存在著偏序關(guān)系假設(shè)，因此也可以使用偏序關(guān)系剪枝算法對(duì)搜索空間進(jìn)行剪枝。

二、實(shí)驗(yàn)數(shù)據(jù)

（一）TX2上的骨干網(wǎng)絡(luò)搜索

我們?cè)赥X2上進(jìn)行骨干網(wǎng)絡(luò)的搜索，最終選取3個(gè)最有代表性的網(wǎng)絡(luò)，記為3個(gè)東風(fēng)（DF）骨干網(wǎng)絡(luò)。如圖7與表1所示，DF網(wǎng)絡(luò)取得了TX2上最好的速度-精度折衷。

DF1網(wǎng)絡(luò)FLOPs明顯高于MobileNet于ShuffleNet等，但在TX2上實(shí)際延時(shí)更低。這是因?yàn)镕LOPs作為間接指標(biāo)，僅考慮了浮點(diǎn)計(jì)算量而沒(méi)有考慮內(nèi)存訪問(wèn)的延時(shí)。以ShuffleNetV2與DF1為例，其內(nèi)存訪問(wèn)代價(jià)（也即中間層的特征），分別為4.9M與2.9M。

NASNet與PNASNet在網(wǎng)絡(luò)結(jié)構(gòu)搜索中均未考慮模型延時(shí)，所得模型結(jié)構(gòu)復(fù)雜，內(nèi)存訪問(wèn)量大，實(shí)際延時(shí)較高。有一些同期工作（ProxylessNAS/FBNet）也在模型搜索中考慮了模型延時(shí)，DF網(wǎng)絡(luò)在速度-精度折衷上也優(yōu)于這些模型。這是因?yàn)椋阂?、這些模型未針對(duì)TX2平臺(tái)進(jìn)行模型搜索；二、這些網(wǎng)絡(luò)均基于MobileNetV2的inverted bottleneck模塊，相比本文使用的殘差模塊，內(nèi)存訪問(wèn)量更高。

（二）TX2/1080Ti上的Decoder網(wǎng)絡(luò)結(jié)構(gòu)搜索

基于TX2上搜索的東風(fēng)骨干網(wǎng)絡(luò)，我們也在TX2/1080Ti上分別進(jìn)行了Decoder結(jié)構(gòu)搜索。如表3所示，東風(fēng)分割網(wǎng)絡(luò)（DF-Seg）是目前1080Ti上速度-精度折衷最好的語(yǔ)義分割網(wǎng)絡(luò)。DF-Seg網(wǎng)絡(luò)的速度（FPS）與精度（mIoU）均在1024x2048的分辨率下，使用TensorRT提供的性能分析工具在1080Ti上進(jìn)行測(cè)試。為與ICNet公平對(duì)比，在FPS(Caffe)欄中使用“Caffe Time”工具，在Titan X(Maxwell)上進(jìn)行速度測(cè)試。表4與表5分別為Titan X(Maxwell)/TX2上的速度測(cè)試，DF-Seg的速度大幅優(yōu)于現(xiàn)有結(jié)果，能夠在TX2上實(shí)現(xiàn)對(duì)720P分辨率圖像的30FPS的語(yǔ)義分割。