機(jī)器視覺系統(tǒng)依賴于機(jī)器學(xué)習(xí)（machine learn）和深度學(xué)習(xí)(deep learn)，尤其是深度學(xué)習(xí)的重要分支“卷積神經(jīng)網(wǎng)絡(luò)”在圖像識(shí)別領(lǐng)域的應(yīng)用，使機(jī)器視覺能夠從原始像素?cái)?shù)據(jù)中直接學(xué)習(xí)特征并準(zhǔn)確判斷。此外，AI大模型近兩年受到關(guān)注，也可能被引入機(jī)器視覺領(lǐng)域，在跨模態(tài)理解和推理等方面展現(xiàn)出更強(qiáng)能力。

AI算法的復(fù)雜程度越來越高，機(jī)器視覺系統(tǒng)設(shè)計(jì)面臨挑戰(zhàn)，然而，從各種開發(fā)資源來看，機(jī)器視覺系統(tǒng)開發(fā)不會(huì)更難，或許會(huì)更加容易。

標(biāo)準(zhǔn)模塊、系統(tǒng)級(jí)模塊（SOM）易用性提升

首先是各種標(biāo)準(zhǔn)化的機(jī)器視覺模塊（如智能相機(jī)、視覺傳感器、3D相機(jī)）集成了必要的成像元件、圖像處理器和通信接口，用戶可以直接通過軟件配置或二次開發(fā)實(shí)現(xiàn)所需功能，減少底層硬件設(shè)計(jì)和集成的工作量。

其次，系統(tǒng)模塊（System on Module,SOM）易用性提升，可用于加速機(jī)器視覺項(xiàng)目開發(fā)。SOM相當(dāng)于一個(gè)高度集成的小型計(jì)算機(jī)主板的核心部分，包括CPU、GPU、RAM和一些基本電路，可以直接將SOM插入載板，進(jìn)行功能擴(kuò)展、連接外部設(shè)備，快速構(gòu)建功能完備的嵌入式系統(tǒng)或產(chǎn)品原型。

下面介紹幾款可用于機(jī)器視覺系統(tǒng)開發(fā)的SOM：

1. NVIDIA Jetson

NVIDIA Jetson利用AI為機(jī)器人開發(fā)、智能視頻分析、機(jī)器視覺和自主機(jī)器的未來提供動(dòng)力支持。NVIDIA Jetson系列模組是緊湊而高性能的計(jì)算機(jī)，輔以NVIDIA JetPack? SDK，可加速軟件開發(fā)。在邊緣生成式AI、NVIDIA Metropolis和Isaac平臺(tái)的支持下，Jetson提供可擴(kuò)展的軟件、現(xiàn)代AI堆棧、靈活的微服務(wù)和API、生產(chǎn)就緒型ROS軟件包以及觸手可及的特定于應(yīng)用程序的AI工作流。Jetson還與其他NVIDIA平臺(tái)無縫集成，共享AI軟件和云原生工作流。此外，它還擁有構(gòu)建軟件定義自主機(jī)器和突破性邊緣AI解決方案所需的節(jié)能性能。每個(gè)NVIDIA Jetson都是一個(gè)完整的SOM，包括GPU、CPU、內(nèi)存、電源管理和高速接口等。

圖注：NVIDIA Jetson系列（圖源：NVIDIA）

2. Xilinx Kria K26 SOM

Kria K26 SOM為滿足當(dāng)前和未來市場(chǎng)對(duì)視覺AI和視頻分析的需求而設(shè)計(jì)，搭載基于Zynq? UltraScale+? MPSoC架構(gòu)的自適應(yīng)SoC以及支持該SoC所需的所有基本組件，比如存儲(chǔ)器和電源等。Kria K26 SOM搭配一款簡(jiǎn)單的專為最終用戶設(shè)計(jì)的載卡，該卡集成了用戶終端系統(tǒng)具體使用的連接組件和附加組件，量產(chǎn)部署的定制也簡(jiǎn)便易行。

圖注：Kria K26 SOM與NVIDIA Jetson Nano和NVIDIA Jetson TX2特性對(duì)比（圖源：AMD）
3. 瑞薩電子SOM解決方案

從視覺的采集、處理、分析和理解中生成數(shù)字元數(shù)據(jù)需要具有AI的高性能MPU。瑞薩電子的SOM解決方案使開發(fā)人員能夠管理這些關(guān)鍵決策流程。系統(tǒng)優(yōu)勢(shì)：高性能雙核Arm? Cortex?-A53 MPU；專用高速硬件AI推理（DRP-AI）；符合SMARC 2.1標(biāo)準(zhǔn)的設(shè)計(jì)。

圖注：瑞薩電子機(jī)器視覺SOM結(jié)構(gòu)（圖源：瑞薩電子）

4. 基于瑞芯微RK3588的SOM

RK3588 S15是一款專門面向AI機(jī)器視覺應(yīng)用的SOM，支持安卓、Linux和鴻蒙OS，體積小巧，方便用于便攜式設(shè)備開發(fā)，如UAV、智能頭盔、工業(yè)機(jī)器人、市政機(jī)器人等產(chǎn)品開發(fā)。RK3588采用8nm制程的8核心CPU，集成G61GPU、大算力NPU和8K VPU，可為機(jī)器視覺應(yīng)用提供強(qiáng)力支撐。S15核心板已將RK3588的全部功能接口引出，豐富的接口設(shè)計(jì)也有助于快速落地相關(guān)產(chǎn)品。

除了瑞芯微之外，基于晶晨、全志科技、地平線、寒武紀(jì)、海思處理器芯片的SOM也有不少，這些產(chǎn)品通常是下游合作方推出的針對(duì)機(jī)器視覺應(yīng)用的定制化產(chǎn)品，這里不做贅述。

圖注：面向AI機(jī)器視覺應(yīng)用的核心板SOM RK3588 S15（圖源：ScenSmart）
單板計(jì)算機(jī)、開源軟件庫普及
單板計(jì)算機(jī)（Single Board Computer,SBC）與開源軟件庫結(jié)合，也可以加速機(jī)器視覺系統(tǒng)的開發(fā)進(jìn)程。

單板計(jì)算機(jī)提供高性價(jià)比硬件解決方案，集成了處理器、內(nèi)存、輸入輸出接口以及必要的多媒體處理能力，能直接運(yùn)行復(fù)雜圖像處理和深度學(xué)習(xí)算法?？焖偈褂肧BC搭建原型系統(tǒng)進(jìn)行實(shí)驗(yàn)和驗(yàn)證，降低機(jī)器視覺項(xiàng)目的啟動(dòng)門檻。SBC另一個(gè)優(yōu)勢(shì)是，龐大的用戶社區(qū)和技術(shù)支持，共享硬件驅(qū)動(dòng)程序、操作系統(tǒng)鏡像、應(yīng)用程序?qū)嵗敖坛?，為機(jī)器視覺應(yīng)用的開發(fā)提供了便利。

常見的SBC品牌比如飛騰派、樹莓派、Arduino、BeagleBone、賽昉科技的昉·星光系列RISC-V架構(gòu)單板計(jì)算機(jī)、Firefly（螢火蟲）等。

圖注：飛騰派與樹莓派的特性（圖源：中電港公眾號(hào)）

此外，諸如OpenCV、TensorFlow、PyTorch等開源機(jī)器視覺和深度學(xué)習(xí)框架的出現(xiàn)，使得開發(fā)者無需從零開始構(gòu)建復(fù)雜的圖像處理算法，這些工具包提供了豐富的預(yù)訓(xùn)練模型、API函數(shù)以及易于使用的編程接口，極大簡(jiǎn)化視覺應(yīng)用的開發(fā)流程。

將單板計(jì)算機(jī)與開源軟件庫結(jié)合，開發(fā)者可以在一個(gè)相對(duì)較低的成本下，迅速構(gòu)建和迭代機(jī)器視覺解決方案，實(shí)現(xiàn)從原型驗(yàn)證到產(chǎn)品化部署的快速轉(zhuǎn)換。以飛騰派和OpenCV開發(fā)機(jī)器視覺為例，飛騰派本身采用飛騰自主研發(fā)的高能效異構(gòu)多核處理器技術(shù)，具有模塊化、易上手、全開源、低成本的特點(diǎn)，可通過OpenCV在飛騰派板子的移植編譯與交叉編譯，快速啟動(dòng)機(jī)器視覺的開發(fā)。關(guān)于飛騰派機(jī)器視覺的開發(fā)代碼、開發(fā)流程等，可以在芯查查社區(qū)查詢。

云服務(wù)提升開發(fā)效率
云計(jì)算服務(wù)提供商也推出了包含機(jī)器視覺功能的服務(wù)，允許用戶通過API調(diào)用進(jìn)行圖像識(shí)別和分析，無需在本地部署復(fù)雜的基礎(chǔ)設(shè)施。云服務(wù)的基本作用是數(shù)據(jù)存儲(chǔ)與管理、計(jì)算資源擴(kuò)展、模型訓(xùn)練平臺(tái)、服務(wù)化部署等。主要的云服務(wù)包括：阿里云視覺智能開放平臺(tái)，提供圖像識(shí)別、物體檢測(cè)、內(nèi)容審核等多種機(jī)器視覺API服務(wù)。騰訊云計(jì)算機(jī)視覺服務(wù)提供多種視覺分析服務(wù)，包括圖像識(shí)別、人臉識(shí)別、文字識(shí)別、內(nèi)容審核等。百度大腦視覺技術(shù)提供了基于百度大腦的計(jì)算機(jī)視覺技術(shù)，如通用物體及場(chǎng)景識(shí)別、圖像搜索、人體分析等服務(wù)。華為云視覺智能服務(wù)推出多個(gè)視覺相關(guān)的云服務(wù)，例如圖像識(shí)別、視頻分析、OCR等，適用于工業(yè)質(zhì)檢、安防監(jiān)控等多個(gè)領(lǐng)域。

小結(jié)
隨著系統(tǒng)模組SOM、單板計(jì)算機(jī)SBC的發(fā)展，以及各類開源軟件庫的廣泛應(yīng)用，機(jī)器視覺系統(tǒng)的開發(fā)難度得到了顯著降低，更多的開發(fā)者和企業(yè)能夠在有限的技術(shù)資源下快速進(jìn)入這一領(lǐng)域，推動(dòng)了機(jī)器視覺技術(shù)在各行各業(yè)的普及和創(chuàng)新應(yīng)用。

審核編輯 黃宇