在 AI 領(lǐng)域，圖像理解是一個重要分支，而圖像語義分割，是計算機(jī)視覺技術(shù)中關(guān)于圖像理解的重要環(huán)節(jié)?！队糜谡Z義分割的雙重超分辨率學(xué)習(xí)》這篇論文針對的就是計算機(jī)視覺中的語義分割算法進(jìn)行的創(chuàng)新研究。此次研究中的工作主要集中在語義分割領(lǐng)域，我們希望通過提出新的算法思路，促進(jìn)語義分割領(lǐng)域的研究發(fā)展，啟發(fā)語義分割乃至其他領(lǐng)域的后續(xù)研究。

在6月14日-19日舉行的 2020 年 CVPR 年度大會上，賽靈思人工智能研發(fā)團(tuán)隊的一篇名為《Dual Super-Resolution Learning for Semantic Segmentation（用于語義分割的雙重超分辨率學(xué)習(xí)）》的學(xué)術(shù)論文成功入選 Oral Paper！此次“語義分割” 研究成果獲得 CVPR 這樣頂會的支持，再次證明了賽靈思 AI 研發(fā)團(tuán)隊在全球計算機(jī)視覺與人工智能研究領(lǐng)域的前沿地位。

為更好地理解此次論文發(fā)布的背景，并了解賽靈思通過該論文提供了什么樣前沿的研究和觀點(diǎn)，本期“AI 觀察室項目”特意安排了對話第一作者 – 賽靈思資深 AI 算法工程師王莉，同時該訪問也獲得了 AI 研發(fā)高級總監(jiān)單羿博士的支持。

局限

探尋新算法打破語義分割局限

在 AI 領(lǐng)域，圖像理解是一個重要分支，而圖像語義分割，是計算機(jī)視覺技術(shù)中關(guān)于圖像理解的重要環(huán)節(jié)。《用于語義分割的雙重超分辨率學(xué)習(xí)》這篇論文針對的就是計算機(jī)視覺中的語義分割算法進(jìn)行的創(chuàng)新研究。

王莉表示：我們的團(tuán)隊在賽靈思主要從事算法相關(guān)工作。日前我們在對基于深度學(xué)習(xí)的語義分割算法進(jìn)行分析時，發(fā)現(xiàn)其中存在一些問題。目前 State-of-the-art 的語義分割算法通常依賴大網(wǎng)絡(luò)來提取特征圖進(jìn)行語義預(yù)測，這些高性能的算法往往需要較大的算力，限制了其在資源受限的硬件上的應(yīng)用（比如手機(jī)和 FPGA）。另外，有一些已有工作通過設(shè)計輕量級的網(wǎng)絡(luò)結(jié)構(gòu)來減少算力，但是這類方法在降低計算量的同時，精度往往也損失嚴(yán)重。我們研究發(fā)現(xiàn)，對于基于大網(wǎng)絡(luò)高性能的方法以及基于輕量級網(wǎng)絡(luò)的方法都需要高分辨率的輸入來提取同樣高分辨的特征圖來保障精度。然而，如果使用高分辨率輸入，就不可避免地會帶來巨大的算力需求，其結(jié)果就是限制了算法在資源受限的硬件平臺上的應(yīng)用；另一方面，一旦減少輸入分辨率，語義分割的精度就會嚴(yán)重受損。

為了有效緩解大網(wǎng)絡(luò)高性能算法和輕量級網(wǎng)絡(luò)算法的局限性，我們團(tuán)隊從特征分辨率的角度來探究其對不同語義分割算法精度和算力的影響，希望能夠?qū)崿F(xiàn)一個新的學(xué)習(xí)算法框架，使其既能有效提高分割精度，又不增加額外的推斷計算成本。

誕生

雙重超分辨率學(xué)習(xí)算法的誕生

算法研究不同于軟硬件研究。軟硬件研究可以借助軟件或硬件本身的優(yōu)勢，開發(fā)針對于特定操作或模型的優(yōu)化策略，進(jìn)而提升模型的硬件性能（例如減少FPGA 延遲，提高并行度等），而算法研究側(cè)重于在算法層面提出創(chuàng)新方案，例如通過優(yōu)化訓(xùn)練算法提高模型的精度，優(yōu)化模型算子或設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)減少模型算力。

王莉介紹說，在正式進(jìn)行研究之前，團(tuán)隊的小伙伴們做了大量的文獻(xiàn)調(diào)研和算法分析工作；研究過程中，不斷進(jìn)行算法思路的頭腦風(fēng)暴，并結(jié)合充分的實(shí)驗(yàn)，我們不斷思考、調(diào)整、驗(yàn)證。最終成型算法不僅涉及語義分割任務(wù)本身的方法和框架，同時也涉及超分辨率學(xué)習(xí)領(lǐng)域的算法知識。如何借助超分辨率學(xué)習(xí)的任務(wù)來提升語義分割性能，如何讓二者有效結(jié)合，相輔相成，成為了王莉及相關(guān)團(tuán)隊成員面臨的最大挑戰(zhàn)。經(jīng)過不斷的探索和實(shí)驗(yàn)，王莉最終提出了一個簡單且靈活的雙流框架，稱為雙重超分辨率學(xué)習(xí)（Dual Super Resolution Learning， DSRL）的算法思路。

具體來說，所提出的方法包括三個算法模塊：語義分割超分辨率（SSSR），單圖像超分辨率（SISR）和特征相似性（FA）模塊。語義分割超分辨率（SSSR）分支模塊目的在于學(xué)習(xí)超分辨率的特征表示進(jìn)行語義分割預(yù)測，也就是相對于輸入分辨率來說，最終學(xué)習(xí)到特征圖具有更高分辨率的特征表示。單圖像超分辨率（SISR）分支模塊用來提取圖像精細(xì)的結(jié)構(gòu)信息，輔助另一分支的語義分割任務(wù)，SISR模塊另一個特點(diǎn)是不需要額外的數(shù)據(jù)標(biāo)注。特征相似性（FA）模塊旨在學(xué)習(xí) SSSR 和 SISR 模塊之間的相似性，通過約束二者對齊以達(dá)到更好的知識遷移目的。我們所提出的 DSRL 算法可以保持低分辨率圖像輸入下學(xué)習(xí)得到的高分辨率特征表示，在相同計算復(fù)雜度下提升模型精度。而且，該算法可以很容易地推廣到其他同樣依賴高分辨率特征表示的任務(wù)，如人體姿態(tài)估計（Human Pose Estimation）。我們的實(shí)驗(yàn)體現(xiàn)這種簡單而有效的算法在語義分割和人體姿勢估計方面都有良好的表現(xiàn)，具有良好的代表性和通用性，對于不同算法框架和不同分辨率情況下都能獲得性能提升。比如，對于在 CityScapes benchmark 上的語義分割任務(wù)，可以在不增加算力情況下將 mIoU 提高至少 2 個點(diǎn)，或者只消耗 70% 的算力就能達(dá)到和基線方法相似的精度。對于人體姿勢估計任務(wù)，我們同樣可以在相同 FLOPs 情況下獲得不少于 2 個點(diǎn)的 mAP 提升，或者在保持 mAP 精度不損失情況下減少 30％ 的 FLOPs。

論文核心思想

介紹這種雙重超分辨率學(xué)習(xí)算法，及其如何提升語義分割和其他相關(guān)任務(wù)的性能。

其帶來的價值優(yōu)勢顯而易見：在不增加推斷算力的情況下，以不同的輸入分辨率為不同的基線方法帶來可觀的精度提升。

強(qiáng)大

獲選 CVPR 背后的賽靈思 AI 研發(fā)團(tuán)隊

CVPR 是計算機(jī)視覺領(lǐng)域的頂級學(xué)術(shù)會議。對于所有從事計算機(jī)視覺領(lǐng)域的工程師來說，能夠入圍 CVPR 無疑是一項巨大的肯定。

CVPR 論文評審團(tuán)會從投稿論文的創(chuàng)新性、實(shí)驗(yàn)效果及論文表述等維度進(jìn)行評判。我們的研究的主要創(chuàng)新點(diǎn)在于，提出一種雙重超分辨率學(xué)習(xí)算法，學(xué)習(xí)高分辨率的特征表示以提升語義分割的性能，特別對于低分辨率輸入情況有明顯改善。我們的算法思路簡單，超分學(xué)習(xí)不需要額外的數(shù)據(jù)標(biāo)注，且具有一定的通用性，對于人體姿態(tài)估計任務(wù)同樣有效。也正是由于我們的團(tuán)隊在圖像視覺算法及語義分割領(lǐng)域提出了獨(dú)立、創(chuàng)新的觀點(diǎn)，我們才能最終入圍 CVPR。

成功投稿 CVPR 的背后蘊(yùn)藏著團(tuán)隊的不懈努力和對研發(fā)方向的合理把握。團(tuán)隊負(fù)責(zé)人單羿博士為此次獲選 Oral Paper 感到高興。他介紹說，賽靈思 AI 團(tuán)隊基于深鑒科技研發(fā)部門原班人馬打造，圍繞賽靈思 FPGA 芯片，形成從 AI 算法、軟件工具鏈到硬件 DSA 的完整解決方案。在近兩年的時間里，深鑒研發(fā)團(tuán)隊高效地整合到賽靈思研發(fā)體系當(dāng)中，從創(chuàng)業(yè)公司時為客戶定制設(shè)計、轉(zhuǎn)為通用的產(chǎn)品研發(fā)思路，打造了 Vitis AI 工具鏈，覆蓋云端到嵌入式等不同規(guī)格 FPGA 芯片，已經(jīng)服務(wù)于國內(nèi)外眾多數(shù)據(jù)中心、輔助駕駛、智能安防等領(lǐng)域的重要客戶。作為一家靈活可編程的 FPGA 芯片公司，我們始終認(rèn)為對客戶應(yīng)用的理解、敏捷高效地適配客戶需求至關(guān)重要，在 AI 領(lǐng)域我們擁有 20 余位算法工程師，他們不僅關(guān)注模型量化及 DSA 的映射，更關(guān)心面對客戶產(chǎn)品規(guī)劃如何開發(fā)真正高效、硬件友好的算法模型。學(xué)術(shù)文章的發(fā)表并不是我們主要的工作內(nèi)容，我們更在意基于賽靈思 FPGA 的 Vitis AI model zoo，它針對視覺、語言等領(lǐng)域的不同任務(wù)發(fā)布了優(yōu)化的深度學(xué)習(xí)模型，以加快賽靈思 FPGA 平臺上深度學(xué)習(xí)推理的部署。通過采用量化、剪枝、多任務(wù)學(xué)習(xí)、自動網(wǎng)絡(luò)搜索等技術(shù)，我們面向醫(yī)療、安防和駕駛等領(lǐng)域發(fā)布接近實(shí)際應(yīng)用的深度學(xué)習(xí)模型，歡迎大家下載試用。

圖：賽靈思 AI 研發(fā)高級總監(jiān)單羿博士

這篇論文已經(jīng)正式在CVPR 平臺發(fā)布，感興趣的朋友可以點(diǎn)擊“閱讀原文”下載論文。另外，歡迎有實(shí)習(xí)意向的同學(xué)，通過 webmarketing_apac@xilinx.com 投遞深度學(xué)習(xí)/機(jī)器學(xué)習(xí)算法實(shí)習(xí)生崗位