技術(shù)的進(jìn)化階段是一個(gè)熟悉的地方，近年來(lái)的主要技術(shù)人工智能也不例外。在人工智能中 - 新一代添加更多的MAC，多層量化，這個(gè)功能，那個(gè)功能 - 所有這些都是為了追求改進(jìn)的TOPS/Watt。

在這種環(huán)境下，我們已經(jīng)通過(guò)我們的CEVA NeuPro平臺(tái)成功地將AI邊緣解決方案引入各個(gè)市場(chǎng)。現(xiàn)在，用戶想要更多，但有時(shí)僅靠進(jìn)化是不夠的。

起初，用戶強(qiáng)調(diào)易用性，以幫助他們引入這種新的邊緣人工智能技術(shù)。但隨著他們?cè)谙冗M(jìn)人工智能技術(shù)方面的專業(yè)知識(shí)不斷深入，他們希望獲得所有可能的方法，將差異化融入到他們的產(chǎn)品中，并超越當(dāng)前最先進(jìn)的方法一個(gè)數(shù)量級(jí)。通過(guò)進(jìn)化不可能快速到達(dá)那里;革命性的改進(jìn)是必要的。他們想要的已經(jīng)從易用性轉(zhuǎn)變?yōu)橐宰畲笸掏铝亢妥钚」β蕦?shí)現(xiàn)最大的算法靈活性。

向上測(cè)量

TOPS/W 是一個(gè)很好的營(yíng)銷數(shù)字，但它太粗糙了，在實(shí)際應(yīng)用中沒(méi)有用處。例如，在視覺(jué)推理中，每秒幀/瓦特 （FPS/W） 是一個(gè)更有意義的指標(biāo)。在這種情況下，好分?jǐn)?shù)的價(jià)值很容易理解。檢測(cè)前方的行人或汽車或從后面經(jīng)過(guò)的汽車需要快速響應(yīng)。幾乎沒(méi)有時(shí)間剎車或轉(zhuǎn)向，而且這兩個(gè)動(dòng)作都不是瞬間的。推理引擎必須能夠以盡可能低的功率管理至少 100 FPS，因?yàn)檫@只是汽車周圍的眾多傳感器/AI 系統(tǒng)之一。這需要更高的 fps/W 才能獲得競(jìng)爭(zhēng)力。

市場(chǎng)機(jī)會(huì)是毋庸置疑的。汽車和電信應(yīng)用預(yù)計(jì)將成為這一增長(zhǎng)的最大貢獻(xiàn)者，而在汽車領(lǐng)域，智能成像繼續(xù)保持強(qiáng)勁。順便說(shuō)一下，手機(jī)中的“多攝像頭”趨勢(shì)也是如此。事實(shí)上，此類相機(jī)中的成像管道已經(jīng)開始用神經(jīng)網(wǎng)絡(luò)取代傳統(tǒng)算法，用于降噪、圖像穩(wěn)定、超分辨率和其他新穎功能，所有這些都在非常有限的能量包絡(luò)內(nèi)以 60fps 的速度運(yùn)行。

重大進(jìn)步需要什么

圍繞模擬人工智能和峰值神經(jīng)網(wǎng)絡(luò)發(fā)生了一些有趣的事情，但產(chǎn)品制造商不想離他們今天可以擴(kuò)展到數(shù)量的東西太遠(yuǎn)。這種限制仍然留下了很多算法潛力，但現(xiàn)在產(chǎn)品構(gòu)建者希望以更大的靈活性訪問(wèn)所有這些算法，以最小的功耗擠出最大的性能。

優(yōu)化可能性的列表很長(zhǎng)：廣泛的量化選項(xiàng)、winograd 支持、跳過(guò)乘以零的稀疏性優(yōu)化、各種位大小的激活和權(quán)重的數(shù)據(jù)類型多樣性、與神經(jīng)乘法并行的矢量處理能力、數(shù)據(jù)壓縮以減少權(quán)重和激活的加載時(shí)間、矩陣分解支持，通過(guò)參考網(wǎng)絡(luò)提供高達(dá) 50：1 的加速度， 以及下一代 NN 架構(gòu)，如變壓器和 3D 卷積支持。

行動(dòng)呼吁

產(chǎn)品構(gòu)建者現(xiàn)在在人工智能方面擁有更多經(jīng)驗(yàn)，知道他們想要構(gòu)建什么以及如何構(gòu)建它。他們需要的是一個(gè)平臺(tái)，提供他們已經(jīng)理解的所有神經(jīng)網(wǎng)絡(luò)組件算法，為他們的產(chǎn)品構(gòu)建最佳解決方案。

這是一份夢(mèng)寐以求的算法和優(yōu)化清單，可提供高級(jí)邊緣 AI 所需的真正突破性功能、吞吐量和低功耗。但為什么只是一個(gè)夢(mèng)想？高級(jí)產(chǎn)品構(gòu)建者不再滿足于人工智能的漸進(jìn)式改進(jìn)。他們現(xiàn)在希望平臺(tái)能夠與他們對(duì)可能性的大幅提高的理解保持一致。

審核編輯：郭婷