具有高AI性能和效率的最新SoC系統(tǒng)助力本地處理大型語言模型

隨著 AI 技術(shù)的不斷進(jìn)步，十年前還只能在書本和科幻電影中看到的功能，如今隨處可見。然而，迄今為止，對性能有著高要求的最新生成式 AI 技術(shù)應(yīng)用通常只能運(yùn)行在云端。

直到最近，生成式 AI 的主要應(yīng)用還是倚靠耗電量巨大的服務(wù)器，這些服務(wù)器的任務(wù)本是開發(fā)和訓(xùn)練大型語言模型（LLM）。LLM 的出現(xiàn)本身就是一項突破，它只是邁出了一系列重要變革中的第一步。

目前，人們非常關(guān)注并推動著端側(cè)大模型技術(shù)的廣泛發(fā)展，因為該技術(shù)將使生成式 AI 能夠部署到更多應(yīng)用中，獲益良多。具體來說，這些用例將大大增加生成式 AI 在智能城市、工業(yè)自動化、機(jī)器人和智能駕駛等市場的端側(cè)設(shè)備中的廣泛應(yīng)用。

生成式 AI 要在前端領(lǐng)域取得成功，需要注意四要素：AI 的隱私、性能，能效和高生產(chǎn)率，這些因素決定了市場轉(zhuǎn)化的速度。

前端集成也有能源效率、設(shè)備微調(diào)和可靠性方面的技術(shù)挑戰(zhàn)。這些問題本身就很棘手，因此向開發(fā)人員提供的解決方案須兼顧性能和成本，才能克服這些障礙。

為了應(yīng)對這些相互沖突的挑戰(zhàn)，定制化的芯片成為首選解決方案。

生成式AI的高能效SoC

安霸觀察到前端應(yīng)用對高能效 AI 處理器的需求，因此推出了一系列 AI SoC，適用于各種前端的生成式 AI 應(yīng)用。

在大多數(shù)用于前端應(yīng)用的高性能多模式分析用例中，第一步通常是在所有照明條件下捕獲高質(zhì)量視頻。為此，需要一個即使在低光照條件下也能提供出色圖像質(zhì)量的圖像信號處理器（ISP）。同樣，高對比度場景的捕捉也必須使用具有先進(jìn)的高動態(tài)范圍（HDR）能力的處理器，這樣才能捕捉到非常清晰的細(xì)節(jié)，為安防視頻分析、自主移動機(jī)器人（AMR）和智能駕駛感知算法提供高品質(zhì)的圖像輸入，從而得到通用的解決方案。此外，通過高效的視頻編碼技術(shù)，安霸的 SoC 還能以極低的碼率傳輸高分辨率的視頻流。

安霸 SoC 中的專有 CVflow AI 引擎，除了支持 LLM 處理外，還支持同時運(yùn)行多個神經(jīng)網(wǎng)絡(luò)（NN），在運(yùn)行各類計算機(jī)視覺算法時維持低功耗。安霸的 Cooper 開發(fā)者平臺包含一套功能豐富的工具，使得客戶很方便地把在PC上開發(fā)的神經(jīng)網(wǎng)絡(luò)移植到安霸芯片平臺。

安霸的生成式 AI 芯片解決方案在模型的參數(shù)上具備高擴(kuò)展性，從支持多達(dá) 340 億個參數(shù)的多模態(tài) LLM 的 N1 系列，到支持多達(dá) 30 億個參數(shù)的較小視覺語言模型 (VLM) 的 CV7 系列。

如果你的應(yīng)用需要超強(qiáng)的前端處理能力，那么安霸的旗艦款 N1 系列 SoC 是最佳選擇之一。N1 可以接收多個高分辨率攝像頭數(shù)據(jù)流輸入，同時運(yùn)行多達(dá) 340 億個參數(shù)的多模態(tài) LLM，并且支持連接更多的外圍設(shè)備。N1 芯片集成了神經(jīng)向量處理器 (NVP)、高級圖像信號處理器(ISP)、16 個 Arm Cortex-A78AE CPU， 以及用于 3D 用戶界面的 GPU，單顆芯片可提供高性能神經(jīng)網(wǎng)絡(luò)計算。不僅性能卓越，N1 芯片的每次推理功耗僅為業(yè)界領(lǐng)先 GPU 解決方案的一小部分。

N1 芯片非常適合為多種應(yīng)用提供生成式 AI，包括工業(yè)機(jī)器人、智慧城市、智能醫(yī)療成像和診斷、多攝像頭 AI 處理中心、運(yùn)行多模態(tài) LLM 的終端 AI 服務(wù)器以及智駕車隊遠(yuǎn)程信息處理等。設(shè)備端通過運(yùn)行多模態(tài) LLM 促進(jìn)了 生成式 AI 功能的實現(xiàn)，例如對視頻和圖像輸入進(jìn)行智能上下文搜索；使用自然語言命令控制機(jī)器人；以及多才多藝的 AI 助手，比如代碼、文本和圖像的生成等。

雖然這些系統(tǒng)多種多樣，但它們在很大程度上都依賴于攝像頭和自然語言理解的結(jié)合。在這種情況下，設(shè)備端的生成式 AI 處理可提高運(yùn)行速度和增強(qiáng)隱私保護(hù)，同時降低總成本。本地處理也是特定應(yīng)用大語言模型處理的理想選擇，這些大語言模型通常在前端針對每個用例進(jìn)行微調(diào)，而不是采用服務(wù)器方法，即使用更大、功耗更高的大語言模型來覆蓋所有用例。

N1 系列芯片基于安霸功能強(qiáng)大的第三代 CVFlow 架構(gòu)設(shè)計，因此具有出色的網(wǎng)絡(luò)推理性能，廣泛兼容各類神經(jīng)網(wǎng)絡(luò)，包括多模態(tài)大模型。例如，N1 SoC 在單流模式下以低于 50 瓦的功耗運(yùn)行 Llama2-13B，每秒可推理 25 個 token。結(jié)合預(yù)移植模型的易集成性，這一新型解決方案可幫助設(shè)備制造商快速將生成式 AI 部署到任何對功耗敏感的應(yīng)用中，如 AI 智能盒子、送貨機(jī)器人等產(chǎn)品。

第四要素-生產(chǎn)率

Cooper 是安霸自研的開發(fā)者平臺，提供靈活的模塊化開發(fā)環(huán)境，可與安霸任何 AI SoC（包括 CV2，CV5， CV7 系列和 N1 系列）配合使用。它因強(qiáng)調(diào)合作而得名，適用于各種應(yīng)用，包括機(jī)器人、AIoT、汽車和消費(fèi)類視頻設(shè)備。

是圍繞一個名為 Cooper Foundry 的軟件平臺構(gòu)建的，該開發(fā)平臺由以下四個軟件模塊組成：

Cooper Core 核心組件：包含基于 Linux 的操作系統(tǒng)、編譯器和 SDK。

Cooper Foundation AI 應(yīng)用組件：用于在前端構(gòu)建和部署 ML 應(yīng)用程序

Cooper Vision 視覺感知組件：包含多模態(tài)傳感器處理和融合的構(gòu)建模塊

Cooper UX 應(yīng)用交互組件：用于分析和開發(fā)

全面的 Cooper 開發(fā)平臺加快了產(chǎn)品上市速度

該開發(fā)平臺在 Cooper Metal 上運(yùn)行。Cooper Metal 是一套硬件參考板，包括高能效 AI SoC、開發(fā)套件和模塊，它還集成了常見的第三方開源軟件工具。

為了展示這些功能，安霸利用其最新的 AI SoC 在 Cooper 上開發(fā)了一個演示系統(tǒng)。其中，安霸將業(yè)界領(lǐng)先的具有 AI 功能的 ISP 與多模態(tài)視覺語言模型相融合，后者還考慮到了視頻幀中的圖像數(shù)據(jù)。

作為向開發(fā)人員提供的單獨(dú)演示的一部分，安霸使用 N1 SoC 建立了一個系統(tǒng)，支持處理多達(dá) 16 個視頻流。它允許用戶使用自然語言搜索任何異?；虿粚こＪ录纳舷挛模踔了阉魈囟ǖ膬?nèi)容，如特定品牌或型號的汽車。

在 CV7 系列 SoC 的基礎(chǔ)上，可以更低功耗構(gòu)建具有 1-4 個視頻流小型系統(tǒng)。這些系統(tǒng)可運(yùn)行“CLIP”等視覺語言模型，整個系統(tǒng)的功耗低于 5W。

總結(jié)

生成式 AI 是一項變革性技術(shù)，由于其處理過程通常在 GPU 上，消耗大量電能，它曾一度被局限于成本高昂的服務(wù)器中。基于安霸高效的 AI SoC 搭建的端側(cè) LLM 推理設(shè)備，其每次AI推理所需的功耗極低，領(lǐng)先行業(yè)。安霸 N1 SoC 將生成式 AI 引入終端設(shè)備和可內(nèi)部部署的硬件，應(yīng)用范圍更加廣泛，例如安防視頻分析、機(jī)器人技術(shù)和眾多工業(yè)自動化需求。此外，與 GPU 及其他 AI 加速器相比，安霸提供了完整的 SoC 和系統(tǒng)解決方案，每生成一個 token 的能效比大幅提升，可達(dá) 3 倍，并可快捷、低成本地部署。

原文標(biāo)題：生成式AI賦能前端，未來已來

文章出處：【微信公眾號：Ambarella安霸半導(dǎo)體】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。