2018 年 6 月 28 日，由電子自動(dòng)化設(shè)計(jì)頂級(jí)會(huì)議DAC' 2018主辦的「低功耗目標(biāo)檢測(cè)系統(tǒng)設(shè)計(jì)挑戰(zhàn)賽」于加州舊金山于落下帷幕。來自中科院計(jì)算所的 ICT-CAS 團(tuán)隊(duì)和來自清華大學(xué)的 TGIIF 團(tuán)隊(duì)在全球 114 支參賽隊(duì)伍中脫穎而出，分獲 GPU 組和 FPGA 組的冠軍。本屆比賽旨在為無人機(jī)設(shè)計(jì)高精度且高能效的物體檢測(cè)系統(tǒng)，以滿足實(shí)際復(fù)雜場(chǎng)景的需要。比賽任務(wù)極具挑戰(zhàn)性，參賽設(shè)計(jì)需要考慮小物體及被遮蔽物體檢測(cè)，需要區(qū)分同場(chǎng)景多個(gè)相似目標(biāo)，也需要考慮檢測(cè)速度及功耗等多方面因素。參賽隊(duì)伍來自清華大學(xué)、北京大學(xué)、中科院、UIUC、CMU、IBM、Cadence 等全球多個(gè)優(yōu)秀科研機(jī)構(gòu)。

轉(zhuǎn)自機(jī)器之心

無人機(jī)在工業(yè)、農(nóng)業(yè)、軍事及消費(fèi)級(jí)市場(chǎng)均有如土地測(cè)繪、巡檢監(jiān)測(cè)、物資配送、災(zāi)后救援等重要作用。其中，實(shí)現(xiàn)高精度且高能效物體檢測(cè)是開展所有無人機(jī)任務(wù)的基本要素，也是本領(lǐng)域急需提高的方向。由于航拍數(shù)據(jù)集（無人機(jī)視角）的缺失，進(jìn)一步提升無人機(jī)物體檢測(cè)系統(tǒng)變得更加困難。

在這樣的背景下，圣母大學(xué)的史弋宇教授，匹茲堡大學(xué)的胡京通教授，香港城市大學(xué)的余備教授和 Cognite Ventures 公司的 CEO Christopher Rowen 發(fā)起「低功耗目標(biāo)檢測(cè)系統(tǒng)設(shè)計(jì)挑戰(zhàn)賽」，并在 DAC' 2018 成功舉辦。該比賽由 Nvidia、Xilinx 和 DJI 大疆創(chuàng)新贊助，由圣母大學(xué)博士后徐小維和匹茲堡大學(xué)博士生張?chǎng)螤D進(jìn)行評(píng)測(cè)。Nvidia 和 Xilinx 分別為 GPU 和 FPGA 組的參賽隊(duì)伍提供免費(fèi)的嵌入式計(jì)算設(shè)備 TX2 GPU 和 PYNQ Z-1 FPGA。大疆創(chuàng)新為比賽提供了高達(dá) 150k 份由無人機(jī)在實(shí)際環(huán)境中采集的數(shù)據(jù)并提供了準(zhǔn)確標(biāo)注。

比賽中使用到的兩種硬件平臺(tái)： TX2 GPU（左）和 PYNQ Z-1 FPGA（右）

比賽從 2017 年 10 月 16 日正式開始，于 2018 年 5 月 28 日結(jié)束，共吸引 114 支來自全球多個(gè)科研機(jī)構(gòu)的隊(duì)伍參加。其中，53 支隊(duì)伍參與 GPU 組比賽，61 支隊(duì)伍參與 FPGA 組比賽。最終，兩個(gè)組別前三名的隊(duì)伍將被邀請(qǐng)至舊金山，在DAC'2018 上接受頒獎(jiǎng)。同時(shí)，獲獎(jiǎng)隊(duì)伍將能在大會(huì)上分享他們的設(shè)計(jì)并進(jìn)行現(xiàn)場(chǎng)展示。

挑戰(zhàn) 1: 小物體及遮蔽物檢測(cè)

由于所有圖片均在無人機(jī)視角下拍攝，大量圖片中的待檢測(cè)物體都非常小，且有很大的概率被樹木和建筑物遮擋。這些物體本身的特征在如此小的尺度下會(huì)大大提升檢測(cè)的難度。

小物體檢測(cè)：綠色框?qū)?yīng)行駛中的汽車為檢測(cè)目標(biāo)

挑戰(zhàn) 2: 同一物體檢測(cè)

與傳統(tǒng)的物體檢測(cè)不一樣，本次比賽需要參賽隊(duì)伍檢測(cè)同一個(gè)物體。在無人機(jī)跟隨應(yīng)用中，無人機(jī)需要準(zhǔn)確地檢測(cè)出指定物體（如無人機(jī)操控者、車輛、動(dòng)物等）并進(jìn)行跟隨飛行。當(dāng)場(chǎng)景出現(xiàn)多個(gè)相似物體時(shí)，無人機(jī)也不能跟丟或跟錯(cuò)對(duì)象。此應(yīng)用給物體檢測(cè)帶來了新的挑戰(zhàn)。

特定行人檢測(cè)：綠色框?qū)?yīng)的是正確的檢測(cè)目標(biāo)，藍(lán)色和紅色狂均對(duì)應(yīng)錯(cuò)誤的行人。

挑戰(zhàn) 3：高精度 vs 低功耗

比賽采用的評(píng)價(jià)指標(biāo)是精度，速度和能耗的結(jié)合（評(píng)分細(xì)則詳見 1）?？紤]到 GPU 組及 FPGA 組使用了不同的計(jì)算能力硬件設(shè)備，比賽對(duì)檢測(cè)速度提出了不同的要求。其中 GPU 設(shè)計(jì)需運(yùn)行至 20 FPS，F(xiàn)PGA 設(shè)計(jì)需達(dá)到 5 FPS。

GPU 組前三強(qiáng)

GPU 組的前三名分別是中科院計(jì)算所的 ICT-CAS 團(tuán)隊(duì)，浙江大學(xué)的 DeepZ 團(tuán)隊(duì)和山東大學(xué)的 SDU-Legend 團(tuán)隊(duì)。三個(gè)隊(duì)伍均采用了深度學(xué)習(xí)完成比賽，也都采用 Yolo 神經(jīng)網(wǎng)絡(luò)作為他們的基礎(chǔ)設(shè)計(jì)。

GPU 組第一名： ICT-CAS

ICT-CAS 團(tuán)隊(duì)使用了 feature extractor, tucker decomposition and precision scaling 相關(guān)技術(shù)。在每一種具體的方案中嘗試了多種技術(shù)記憶組合以減少計(jì)算和內(nèi)存消耗。在計(jì)算中采用了半精度（16bits）進(jìn)行計(jì)算并使用 TensorRT 來提高計(jì)算速度。

GPU 組第二名： DeepZ

DeepZ 團(tuán)隊(duì)使用 Yolo-v2 作為骨干網(wǎng)絡(luò)進(jìn)行特征提取和檢測(cè)。為了應(yīng)對(duì)較小物體檢測(cè)的問題，該團(tuán)隊(duì)使用了 Feature Pyramid Network 來獲得上下文相關(guān)的特征。同時(shí)，focal loss function 的引入來緩解單一物體檢測(cè)與多個(gè)候選框的不平衡問題。該團(tuán)隊(duì) 對(duì) Yolo-v2 網(wǎng)絡(luò)進(jìn)行了一定的改進(jìn)，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。

GPU 組第三名： SDU-Legend

SDU-Legend 團(tuán)隊(duì)基于 Yolo v-2 進(jìn)行優(yōu)化。首先，該團(tuán)隊(duì)將 Yolo v-2 網(wǎng)絡(luò)由 32 層刪減為 27 層。其次，為了滿足檢測(cè)小目標(biāo)的要求，該團(tuán)隊(duì)降低了下采樣率。在體系層次，該團(tuán)隊(duì)也做了一些優(yōu)化：將網(wǎng)絡(luò)最后兩層的計(jì)算放在 CPU 上進(jìn)行。該團(tuán)隊(duì)實(shí)現(xiàn)了 16bits 的半精度計(jì)算來進(jìn)一步提升計(jì)算速度。

FPGA 組前三強(qiáng)

FPGA 組的冠軍是來自清華大學(xué)的 TGIIF 團(tuán)隊(duì)，亞軍是蘇黎世聯(lián)邦理工大學(xué)的 SystemsETHZ，季軍來自 UIUC 的 iSmart2 團(tuán)隊(duì)。這三支參賽隊(duì)伍分別在 FPGA 上部署了 SSD，SqueezeNet 和 MobileNet 神經(jīng)網(wǎng)絡(luò)，完成了比賽要求的物體檢測(cè)任務(wù)。

FPGA 組第一名： TGIIF

TGIIF 團(tuán)隊(duì)在采用了深鑒科技的硬件加速器架構(gòu) DPU、全棧式工具鏈 DNNDK 和深度壓縮技術(shù)的基礎(chǔ)上，從算法、軟件和硬件對(duì)整個(gè)目標(biāo)檢測(cè)系統(tǒng)進(jìn)行了全棧式的協(xié)同優(yōu)化。通過采用硬件友好的 SSD 網(wǎng)絡(luò)和多線程優(yōu)化技術(shù)，結(jié)合深度壓縮和定點(diǎn)訓(xùn)練，在保證識(shí)別精度的前提下，滿足了低功耗和實(shí)時(shí)性的要求。

FPGA 組第二名： SystemsETHZ

SystemsETHZ 團(tuán)隊(duì)使用低量化網(wǎng)絡(luò)進(jìn)行物體檢測(cè)。特別的該團(tuán)隊(duì)采用 squeezenet 為基礎(chǔ)進(jìn)行設(shè)計(jì)，并將網(wǎng)絡(luò)層數(shù)修改為 18 層。在具體的實(shí)現(xiàn)中，該團(tuán)隊(duì)采用了 folded computing 的方式來配置多路復(fù)用器和多路輸出選擇器進(jìn)而實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)不同階段的計(jì)算。該團(tuán)隊(duì)使用一個(gè) DMA 引擎實(shí)現(xiàn) CPU 和 FPGA 間的數(shù)據(jù)傳輸。

FPGA 組第三名： iSmart2

iSmart2 組采用以 Mobilenet 為基礎(chǔ)的輕量化網(wǎng)絡(luò)設(shè)計(jì)，共 12 層。網(wǎng)絡(luò)包含 depth-wise 3x3 卷積層，傳統(tǒng) 1x1 卷積層和 max pooling 層，并采用簡化的 Yolo 后端進(jìn)行物體檢測(cè)。在硬件實(shí)現(xiàn)上，該團(tuán)隊(duì)采用基于模塊（IP）復(fù)用的結(jié)構(gòu)，讓相同種類的網(wǎng)絡(luò)層復(fù)用同一個(gè)模塊以節(jié)約硬件資源。此外，該團(tuán)隊(duì)將每層特征圖分割成大小相同的數(shù)據(jù)塊，以數(shù)據(jù)塊為單位進(jìn)行計(jì)算，實(shí)現(xiàn)了數(shù)據(jù)塊之間的細(xì)粒度流水線結(jié)構(gòu)，以縮短圖片的處理延時(shí)。