智能時代的一大特點，是過去需要憑人的意識和指揮產(chǎn)生的動作，在必要時可以由機器完成，并因此誕生規(guī)模可觀的創(chuàng)新應(yīng)用。智能視覺，就是新時代創(chuàng)新應(yīng)用的一大典型。

例如在家庭住宅領(lǐng)域，除了基礎(chǔ)安防功能的升級，智能攝像頭“看護”功能正在逐步提升，對老人、嬰兒、寵物等群體的必要監(jiān)測和異常情況告警成為用戶新的需求；又例如在商超零售領(lǐng)域，通過攝像頭和視覺分析技術(shù)可以進(jìn)行人流統(tǒng)計和行為分析，進(jìn)而優(yōu)化商店布局或推廣策略；在城市管理領(lǐng)域，中國將視覺技術(shù)應(yīng)用于城市安全監(jiān)控和智能交通管理的水平已經(jīng)處于世界前列；另外在工業(yè)制造領(lǐng)域，智能視覺在自動化導(dǎo)航和定位、產(chǎn)品質(zhì)檢等方面的應(yīng)用正逐步鋪開……

而在這些需求背后，對智能視覺技術(shù)及其系統(tǒng)提出的要求包括：

1）云、邊、端能力的協(xié)同，方便快速、高效、低延時處理海量視頻數(shù)據(jù)；

2）AI技術(shù)的賦能加持，用以提高圖像的分析和識別能力；

3）提升算力水平，用以應(yīng)對高精度、高并發(fā)的大規(guī)模圖像數(shù)據(jù)；

4）隱私和安全防護能力，用以抵御惡意攻擊和信息盜用。

站在Arm的角度，作為全球領(lǐng)先的半導(dǎo)體IP供應(yīng)商，目前在智能攝像頭市場擁有9成以上的市場份額，同樣接收著來自不同客戶新的需求反饋，包括對邊緣計算、產(chǎn)品設(shè)計差異化等方面。

基于此，近日Arm正式宣布推出針對視覺應(yīng)用設(shè)備的Arm智能視覺參考設(shè)計。

全新參考設(shè)計選用Arm廣泛應(yīng)用于智能視覺領(lǐng)域的處理器和系統(tǒng)IP，并首次將Arm現(xiàn)有子系統(tǒng)IP與安謀科技IP整合，一改過去僅提供生產(chǎn)原材料（即處理器和系統(tǒng)IP）的方式，進(jìn)一步向行業(yè)客戶提供預(yù)先經(jīng)過集成和驗證的子系統(tǒng)，最終促成縮短研發(fā)周期，使開發(fā)者專注于產(chǎn)品的差異化。

Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健表示：“中國視覺市場在世界上擁有領(lǐng)先地位及較高的創(chuàng)新活躍度，Arm智能視覺參考設(shè)計將服務(wù)于中國市場。”

關(guān)于Arm智能視覺參考設(shè)計的核心內(nèi)容

本次Arm智能視覺參考設(shè)計包括CPU、ISP、NPU和VPU處理器選項以及將這些元件粘合在一起的子系統(tǒng)IP，具體內(nèi)容包括：

Arm Corstone-1000：首先，Corstone是一套預(yù)先經(jīng)過集成并驗證的子系統(tǒng)，是Arm物聯(lián)網(wǎng)解決方案的根基，旨在加速芯片產(chǎn)品流片和量產(chǎn)，使設(shè)計者可以專注于增強自己的差異化。而Corstone-1000是首款為Cortex-A設(shè)計的子系統(tǒng)，該方案基本配置是經(jīng)過量產(chǎn)考驗的Cortex-A35或Cortex-A53，并取得了Arm SystemReady IR 認(rèn)證，確保Linux等操作系統(tǒng)的開機即用，并簡化軟件開發(fā)。

Arm Corstone-300：作為低功耗待機子系統(tǒng)，旨在降低邊緣設(shè)備的功耗，提高系統(tǒng)效率。

Arm Mali-C55 圖像信號處理器 (ISP)：是Arm至今為止面積最小、功耗最低、且可配置最高的ISP產(chǎn)品，負(fù)責(zé)提供升級的圖像質(zhì)量功能，且擁有全方面的軟件工具支持。

來自安謀科技的第三方IP，包括“玲瓏”VPU和“周易”NPU。“玲瓏”VPU支持緊湊的、多格式且高效能的視頻編解碼處理，提供靈活的組合和選擇；“周易”NPU同樣靈活可配置，根據(jù)需求可配置出1-30 TOPS 的處理性能，且可以支持多種典型的深度學(xué)習(xí)框架，如Tensorflow、Caffe、Pytorch等，加速客戶應(yīng)用的部署。

基于Arm視覺參考設(shè)計，開發(fā)者不再需要從0開始工作，而是可以專注產(chǎn)品的差異化，使用工具快速將想法轉(zhuǎn)化為產(chǎn)品推向市場，顯著降低芯片開發(fā)的成本和風(fēng)險，并縮短研發(fā)周期。另外，該參考設(shè)計具備可信任的底層IP技術(shù)，在增強安全、可移植性與兼容性方面，已取得 Arm SystemReady IR 與 PSA Certified Level 2 等重要的業(yè)界標(biāo)準(zhǔn)認(rèn)證。

目前，智能視覺參考設(shè)計的目標(biāo)受眾，包括了邊緣AI領(lǐng)域的初創(chuàng)公司、跨界創(chuàng)新公司或是希望進(jìn)行垂直整合的系統(tǒng)公司等。

Arm正式推出智能視覺合作伙伴計劃

在本次發(fā)布中，“Arm智能視覺合作伙伴計劃”得到正式公開。Arm將攜手AI視覺、芯片設(shè)計、軟件、算法、系統(tǒng)集成等伙伴共同打造基于Arm架構(gòu)智能視覺應(yīng)用的強大生態(tài)，以進(jìn)一步加速視覺硬件、軟件和系統(tǒng)的開發(fā)。

目前，已有十多家來自智能物聯(lián)網(wǎng)不同領(lǐng)域的國內(nèi)領(lǐng)先企業(yè)加入該計劃。

其中百度飛槳已經(jīng)實現(xiàn)了基于飛槳的視覺模型庫和 Arm 虛擬硬件的整合適配；誠邁科技作為軟件設(shè)計合作伙伴加盟，更在日前成為中國第一個Arm批準(zhǔn)的ISP調(diào)優(yōu)伙伴；另外廈門星宸科技在月初通過了PSA安全認(rèn)證，展示了智能視覺界領(lǐng)軍者對安全和隱私保護重視程度的提高。

總的來說，因為大多數(shù)公司并不擁有涵蓋所有芯片架構(gòu)前端、后端設(shè)計的龐大團隊，他們的研發(fā)工作需要借力芯片設(shè)計公司。那么通過這項生態(tài)計劃，Arm希望推動生態(tài)伙伴們熟悉Arm的參考設(shè)計，并在參考設(shè)計的基礎(chǔ)上快速流片，最終幫助他們的客戶推出滿意的芯片。在這個過程中，Arm的關(guān)鍵作用是形成預(yù)先集成、預(yù)先驗證的標(biāo)準(zhǔn)化子系統(tǒng)，生態(tài)伙伴在它的基礎(chǔ)上設(shè)計出更多創(chuàng)新的應(yīng)用。

Arm物聯(lián)網(wǎng)全面解決方案，擴充進(jìn)行時

2021年，Arm首次發(fā)布物聯(lián)網(wǎng)全面解決方案，核心主要由三部分構(gòu)成：

面向硬件設(shè)計的Arm Corstone：在前文中已有敘述，是一套預(yù)先集成且經(jīng)過驗證的子系統(tǒng)，專為特定用例而設(shè)計。對于芯片伙伴而言，Arm Corstone極大地加快了芯片流片和量產(chǎn)進(jìn)程。

賦能軟件開發(fā)的Arm虛擬硬件設(shè)計庫：Arm虛擬硬件創(chuàng)建了Corstone芯片參考設(shè)計的虛擬拷貝，并通過云服務(wù)的方式普及給開發(fā)者們。它支持基于云的現(xiàn)代開發(fā)，無需設(shè)置和維護硬件集群，Arm 虛擬硬件可以輕松擴展到數(shù)千個設(shè)備，并且由于Arm虛擬硬件與底層IP和Corstone設(shè)計同時可用，開發(fā)者和OEM廠商可以遠(yuǎn)在芯片可用前就開始工作，這將大幅節(jié)省設(shè)計時間和成本。

可實現(xiàn)更簡單的軟件復(fù)用的Project Centauri生態(tài)系統(tǒng)計劃：Project Centauri擴展了物聯(lián)網(wǎng)軟件的創(chuàng)新，通過已定義的標(biāo)準(zhǔn)、安全框架以及RTOS復(fù)雜度的抽象化，重點實現(xiàn)軟件重復(fù)使用，支持開發(fā)者在更多設(shè)備上分?jǐn)偼度?，降低成本?/p>

在擁有不斷增多的用戶案例的基礎(chǔ)上，為了滿足日益變化的物聯(lián)網(wǎng)客戶需求，Arm持續(xù)對以上物聯(lián)網(wǎng)全面解決方案進(jìn)行擴充，逐步在安全、云原生、邊緣計算、語音識別，以及包括本次的智能視覺方面開發(fā)新的產(chǎn)品或功能。未來，Arm物聯(lián)網(wǎng)全面解決方案也將為行業(yè)帶來持續(xù)性改變。

IOTE 2023 第二十屆國際物聯(lián)網(wǎng)展·深圳站將于2023年9月20-22日在深圳國際會展中心（寶安）震撼來襲，覆蓋IoT產(chǎn)業(yè)鏈全棧領(lǐng)域玩家，齊聚行業(yè)領(lǐng)袖與種子選手，今日三大展廳，圍繞RFID、傳感器、工業(yè)物聯(lián)網(wǎng)、云平臺、通信、人工智能、電子紙、泛安防等打造行業(yè)秀場。



審核編輯：劉清