深度學(xué)習(xí)算法正被用于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（CNN），以實(shí)現(xiàn)更智能的移動(dòng)設(shè)備，這很可能需要一種新的方法來處理架構(gòu)。但與此同時(shí)，巧妙地利用當(dāng)前的技術(shù)可能有助于我們進(jìn)一步走上真正的認(rèn)知設(shè)備之路，這些設(shè)備能夠完全重新定義用戶體驗(yàn)。

英偉達(dá)將在三月份的GPU技術(shù)大會(huì)上使用汽車和高級(jí)駕駛員輔助系統(tǒng)（ADAS）作為應(yīng)用程序的焦點(diǎn)，并完成了埃隆·馬斯克（Elon Musk）的討論和評(píng)論，以表明自動(dòng)駕駛汽車幾乎是一個(gè)已解決的問題。然而，隨著時(shí)間的流逝，以及一些調(diào)整和改進(jìn) - 著眼于超低功耗 - 我看到了許多技術(shù)和應(yīng)用，從無處不在的3D傳感，3D跟蹤，甚至視覺搜索，迅速進(jìn)入智能手機(jī)以及供電和電池驅(qū)動(dòng)的嵌入式系統(tǒng)。

再加上用于運(yùn)動(dòng)和音頻的傳感器、快速的內(nèi)存訪問以及高能效的數(shù)據(jù)處理方法，這些系統(tǒng)可以真正實(shí)現(xiàn)“認(rèn)知”，甚至可能在不久的將來為支持人工智能的移動(dòng)設(shè)備形成一個(gè)平臺(tái)。與此同時(shí)，重要的是要優(yōu)化當(dāng)前的架構(gòu)，以實(shí)現(xiàn)“智能視覺”功能，如3D深度映射和感知、對(duì)象識(shí)別和增強(qiáng)現(xiàn)實(shí)，以及核心計(jì)算攝影功能，如變焦、HDR、圖像重新聚焦和低光圖像增強(qiáng)。

后一種功能模糊了計(jì)算機(jī)視覺和圖像處理之間的區(qū)別，因?yàn)樵S多成像和圖像增強(qiáng)功能都使用計(jì)算機(jī)視覺技術(shù)。最簡(jiǎn)單的例子是多幀圖像增強(qiáng)功能，如HDR，變焦和重新對(duì)焦，您可以在其中拍攝多個(gè)連續(xù)圖像，然后將它們?nèi)诤显谝黄鹨垣@得更高質(zhì)量的圖像。

雖然我們稱之為“圖像增強(qiáng)”，但涉及許多計(jì)算機(jī)視覺來“注冊(cè)”圖像，這涉及將兩個(gè)或三個(gè)幀相互匹配。該基本功能現(xiàn)在被認(rèn)為是理所當(dāng)然的，但需要大量的處理馬力。而這種對(duì)集中、密集的數(shù)字信號(hào)處理（DSP）的要求只會(huì)增加。

高通公司在Uplinq 2013上發(fā)表的一篇論文中很好地繪制了各種視覺處理功能的像素功率和時(shí)間關(guān)系。如圖所示，這些圖基于三個(gè)處理器：一個(gè)運(yùn)行頻率為 1.2 GHz 的單核 CPU、一個(gè)四核 CPU 和一個(gè)運(yùn)行頻率為 690 MHz 的 DSP。

圖 1：繪制各種處理器的每像素能量與每像素時(shí)間的關(guān)系圖顯示了 DSP 與 CPU 一起進(jìn)行視覺處理的優(yōu)勢(shì)。為了優(yōu)化功耗和功能，CPU、DSP 和 GPU 的組合可能是最佳的整體方法。（單擊以縮放）

該圖顯示，以略高于CPU時(shí)鐘頻率的一半運(yùn)行的DSP可以在圖像上獲得相同的結(jié)果，從而獲得潛在的性能增益，同時(shí)進(jìn)一步節(jié)省功耗（功率=電容x電壓）2x 頻率，或 P=CV2斷續(xù)器）。

然而，隨著我們?cè)谝苿?dòng)平臺(tái)上執(zhí)行類似人類的視覺、人工智能和增強(qiáng)現(xiàn)實(shí)應(yīng)用，可能需要重新思考處理架構(gòu)。結(jié)合傳感器融合和先進(jìn)的深度學(xué)習(xí)算法（如CNN），這些高度先進(jìn)和數(shù)學(xué)密集型應(yīng)用程序?qū)⑻峁└攮h(huán)境和上下文感知的用戶體驗(yàn)，但將迫使在電池壽命方面進(jìn)行權(quán)衡。

設(shè)計(jì)人員面臨的挑戰(zhàn)是啟用這個(gè)認(rèn)知設(shè)備的新世界，同時(shí)保持可接受的電池壽命。有幾種方法可以實(shí)現(xiàn)此目的。例如，CPU可以由高通或英偉達(dá)的GPU支持。這已經(jīng)在許多智能手機(jī)中實(shí)施。然而，對(duì)越來越低功耗的不妥協(xié)需求表明，可以將特定的處理密集型功能分配給視覺優(yōu)化的DSP內(nèi)核。采用這種方法可以放棄功耗 9 倍的改進(jìn)與當(dāng)今的高級(jí) GPU 集群相比，同時(shí)運(yùn)行對(duì)象識(shí)別和跟蹤。

即使有這種程度的節(jié)能，移動(dòng)設(shè)備也不太可能很快使用面部識(shí)別執(zhí)行人群搜索，因?yàn)樗奶幚沓杀咎?。但是，低功耗處理?nèi)核和優(yōu)化架構(gòu)的可用性增加了樂觀情緒，并且正在取得扎實(shí)的進(jìn)展。這種進(jìn)步是《麻省理工學(xué)院技術(shù)評(píng)論》將深度學(xué)習(xí)列為2013年10項(xiàng)技術(shù)突破之一的原因之一。并在GTC上進(jìn)行了演示，并在微軟，百度和Cognivue等公司的其他研究中進(jìn)行了演示，從那時(shí)起發(fā)生了很多事情。

雖然處理架構(gòu)和低功耗處理至關(guān)重要，但可以合理地假設(shè)，隨著云連接變得越來越普遍和更快，我們應(yīng)該為云分配盡可能多的處理開銷。同樣，它歸結(jié)為智能分區(qū)。在云中做最好在云中做的事，然后在移動(dòng)設(shè)備上，盡可能高效地構(gòu)建功能分配，例如使用CPU在GPU和DSP之間分配負(fù)載?；蛘哒绺咄ü舅f，利用正確的引擎來完成正確的任務(wù)。

審核編輯：郭婷