眼睛是大自然進化杰作的結(jié)果。從感光視網(wǎng)膜到攜帶信息的視神經(jīng)，再到分析神經(jīng)系統(tǒng)——自然視覺是一項高度復(fù)雜的數(shù)據(jù)處理活動，它使用低功耗神經(jīng)網(wǎng)絡(luò)。對所見事物的智能抽象使人類和動物能夠在幾分之一秒內(nèi)得出結(jié)論，眼睛捕捉到的可見光與他們的生活有什么相關(guān)性。這種自然智能的杰作用了數(shù)百萬年的時間來進化。人工智能 (AI) 系統(tǒng)的開發(fā)人員需要更快地實現(xiàn)這一壯舉。

因此，人工智能加速應(yīng)用程序的開發(fā)人員正在轉(zhuǎn)向緊湊型和預(yù)配置的嵌入式視覺套件，這些套件以節(jié)能的方式結(jié)合了經(jīng)過驗證的人工智能硬件和軟件。目前，人們對專用邊緣計算解決方案特別感興趣。對于 AI 加速系統(tǒng)，這是根據(jù)圖像信息實時做出明智決策的神經(jīng)痛點。通過基于云的分析繞道而行需要更長的時間，并且取決于持續(xù)的網(wǎng)絡(luò)可用性。而在邊緣，您始終處于動作現(xiàn)場，這使得在幾分之一秒內(nèi)自動獲取和評估視覺圖像數(shù)據(jù)成為可能。

邊緣解決方案必須穩(wěn)健可靠

對于這種視覺邊緣計算系統(tǒng)來說，強大而可靠的硬件是絕對必要的，因為數(shù)據(jù)無法在受保護的空調(diào)環(huán)境中處理，就像云計算一樣。無論是部署在戶外還是在野外，在車輛上旅行還是坐在制造車間，視覺邊緣計算系統(tǒng)都必須具有彈性。

對 AI 視覺的需求來自視覺應(yīng)用，例如農(nóng)業(yè)中的成熟水果檢測、制造業(yè)中的自動化產(chǎn)品檢測、樓宇自動化中的訪問控制或銷售點零售購物車中的產(chǎn)品識別。基于邊緣的實時分析優(yōu)于人工檢查，因為它每周 7 天、每天 24 小時工作。這些優(yōu)勢對于惡劣環(huán)境中的工業(yè)操作尤為重要。以監(jiān)控風(fēng)力渦輪機為例，或?qū)ιa(chǎn)過程進行安全相關(guān)的視頻監(jiān)控。麥肯錫的一項研究發(fā)現(xiàn)，人工智能系統(tǒng)還可以通過預(yù)測性維護將工廠利用率和生產(chǎn)力提高多達 20%。帶有自動缺陷檢測的視覺質(zhì)量監(jiān)控甚至可以將生產(chǎn)率提高多達 50%。

所有這些應(yīng)用程序的共同點是，它們必須在提供的圖像、視頻或機器數(shù)據(jù)中找到模式以進行決策。更重要的是，這些應(yīng)用程序必須能夠識別模式或?qū)ο螅词顾鼈兣c模型 100% 不匹配。例如，必須正確識別交通標志，無論它是從哪個角度記錄的，或者是否有一半被雪或泥土覆蓋。這需要挖掘大量數(shù)據(jù)。

標準 CPU 不適用于此類任務(wù)，因為它們針對具有最高數(shù)學(xué)正確性的一次計算過程進行了優(yōu)化。因此需要另一種計算方法。人工智能需要人工神經(jīng)網(wǎng)絡(luò)來模仿大腦的直觀工作方式。與必須準確計算所有內(nèi)容和每個點以做出決定相比，這使得識別和決策制定速度更快。

NPU——嵌入式視覺系統(tǒng)的核心

神經(jīng)形態(tài)處理器或神經(jīng)處理單元 (NPU) 對于為邊緣的深度學(xué)習(xí)和機器學(xué)習(xí)提供這種計算性能是必不可少的。NPU 擅長分析圖像和模式，使其成為 AI 加速嵌入式視覺系統(tǒng)的中央計算單元。受大腦神經(jīng)網(wǎng)絡(luò)架構(gòu)的啟發(fā)，神經(jīng)形態(tài)處理器是事件驅(qū)動的，只是偶爾需要電源。這意味著 NPU 僅消耗幾瓦，即使對于最高的計算和圖形任務(wù)也是如此。

NPU 是高度專業(yè)化的計算核心，經(jīng)過優(yōu)化以執(zhí)行機器學(xué)習(xí)算法。它們不僅可以處理高度并行的工作負載，還可以極快地計算重復(fù)性任務(wù)。這對于卷積神經(jīng)網(wǎng)絡(luò)很重要，因為卷積神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)點必須在數(shù)千個范圍內(nèi)進行折疊。例如：在全高清圖像中，大約需要處理 200 萬像素。這需要每秒處理許多操作 (OPS)，而 NPU 需要實現(xiàn)每秒數(shù)萬億次操作 (TOPS) 的性能才能滿足邊緣計算要求。但是，即使是極其強大的 CPU 也無法提供這種性能，這怎么可能呢？在這里，另一個區(qū)別點開始發(fā)揮作用：單個 AI 指令不像 x86 或 ARM CPU 等標準應(yīng)用處理器的指令集那么復(fù)雜。因此，每個計算步驟消耗的資源沒有 32 位或 64 位系統(tǒng)那么多。但最終，工程師在他們的應(yīng)用中需要兩者。

為邊緣定制的入門套裝

這就是為什么像 NXP 的 i.MX 8M Plus 這樣的處理器將這樣的 NPU 與四個標準 Arm Cortex-A53 內(nèi)核和一個 Arm Cortex-M7 控制器集成在一起，以構(gòu)建適合機器學(xué)習(xí)并可以高效執(zhí)行 AI 算法的應(yīng)用處理器。但在視覺應(yīng)用中，只有當(dāng)圖像以必要的質(zhì)量實時交付時，所有這些才有意義。因此，工程師還需要一個圖像信號處理器 (ISP)，以便在采集過程中對圖像和視頻進行預(yù)處理。這種預(yù)處理質(zhì)量越高，NPU 中的后處理就越準確。因此，高質(zhì)量的 ISP 不僅適用于高性能工業(yè)圖像處理；在任何可以使用圖像處理算法來產(chǎn)生更好的視覺效果的地方，這都是一個福音。

人工智能加速的眼睛

Another important point is how vision data are received. One channel for vision data communication is MIPI CSI-2.0. If this interface is also pre-integrated in the processor, no additional converter modules are required. This not only simplifies system design but also minimizes the physical footprint. A small size combined with low power consumption and minimal heat dissipation are essential requirements for AI based vision at the edge for applications such as battery powered autonomous vehicles in logistics and farming.

同時，應(yīng)用程序還應(yīng)支持連接相機的不同通信標準，例如 USB 3 或 GigE 視覺，這些標準在機器人和質(zhì)量檢測的工業(yè)應(yīng)用中很常見。特別是 GigE 視覺允許相機和 NPU 之間的距離更長。例如，這對于公共汽車和火車中的視頻監(jiān)控應(yīng)用至關(guān)重要。

專為人機交互而設(shè)計

但是基于 NPU 的嵌入式視覺系統(tǒng)的應(yīng)用范圍遠遠超出了人或物體的識別。例如，手勢和情感識別與自然語言處理相結(jié)合，將人與機器之間的交互通信應(yīng)用提升到了一個新的水平。超短的響應(yīng)時間和精確的本地化有助于優(yōu)化工業(yè)制造中的機器人產(chǎn)品組裝或倉庫物流。并且配備了高安全標準，甚至可以在客戶服務(wù)或醫(yī)療保健等敏感領(lǐng)域找到應(yīng)用。

構(gòu)建塊靈活性

鑒于可能的嵌入式視覺應(yīng)用的多樣性，不言而喻，該領(lǐng)域的技術(shù)平臺必須允許開發(fā)定制應(yīng)用。一個通用的解決方案將不適合。因此，開發(fā)人員需要一組預(yù)配置的構(gòu)建塊，他們可以輕松地適應(yīng)他們的個人需求。這些不僅應(yīng)包括硬件組件，還應(yīng)包括軟件支持。

在硬件方面，采用模塊化計算機的模塊化方法是一種廣泛使用且高效的設(shè)計原則。計算機模塊將所有必需的組件集成在一個應(yīng)用就緒的構(gòu)建塊中：具有集成 NPU、ISP 和 MIPI CSI-2.0 支持的 SoC，例如 NXP 的 i.MX 8M Plus、RAM 和用于 USB 等附加接口的通用控制器，以太網(wǎng)和 MMC 在一個具有可擴展性能的標準化模塊上。整個構(gòu)建塊被插入到特定應(yīng)用的載板上，該載板只執(zhí)行所需的外部接口，并且可以很容易地設(shè)計成適合所需的物理尺寸和堅固性。

定制視覺

如果這些模塊不僅帶有標準的 BSP，而且還帶有對中間件和應(yīng)用程序級的全面軟件支持，那么這些模塊的設(shè)計是最容易的。為了獲得最大的靈活性，開發(fā)人員還需要預(yù)配置工具，例如可用于 MIPI CSI-2.0 以及 USB 3 或 GigE 等其他工業(yè)相機標準的視覺相機 SDK。軟件解決方案應(yīng)集成推理引擎和庫，例如 Arm 神經(jīng)網(wǎng)絡(luò) (NN) 和基于開源的 TensorFlow Lite，以最有效地提供所需的 AI 發(fā)現(xiàn)。恩智浦 eIQ 機器學(xué)習(xí)環(huán)境等軟件開發(fā)平臺為開發(fā)人員提供了適用于恩智浦微處理器和微控制器的專用庫和開發(fā)工具。

憑借其 AI 入門套件（參見圖 1），康佳特制作了一個具有集成軟件支持的模塊，可用于加速 NXP 處理器的實施。

點擊查看完整大小的圖片

圖 1：congatec 的 AI 加速嵌入式視覺入門套件集成了 AI 眼睛的關(guān)鍵組件：作為眼睛的 Basler dart 相機、帶有 2x MIPI CSI 作為視神經(jīng)的 SMARC 2.1 載板以及作為視神經(jīng)的 SMARC 2.1 模塊大腦。（來源：康佳特）

該套件的核心是一個信用卡大小的 SMARC 2.1 計算機模塊 (COM)（圖 2）。該模塊基于 i.MX 8M Plus 處理器，可讓開發(fā)人員快速、安全地將 AI 視覺引入其邊緣應(yīng)用程序。

點擊查看完整大小的圖片

圖 2：AI 視覺背后的大腦：conga-SMX8-Plus SMARC 2.1 模塊將神經(jīng)形態(tài)智能帶到了邊緣，TDP 僅為 6 瓦。（來源：康佳特）

該模塊適用于 -40 至 +85°C 溫度范圍內(nèi)的工業(yè)應(yīng)用，工作功耗低，僅為 2 至 6 瓦，并帶有被動冷卻功能。這使其非常適合各種戶外和移動車輛應(yīng)用。

結(jié)論

嵌入式視覺的集成對于人工智能加速系統(tǒng)的成功至關(guān)重要——無論它們部署在自動駕駛汽車、視頻監(jiān)控攝像頭還是協(xié)作機器人中。開發(fā)人員可以使用預(yù)配置的嵌入式視覺構(gòu)建模塊（例如康佳特的 AI 入門套件）更輕松、更快速地創(chuàng)建自定義解決方案?？导烟嘏c Basler 合作開發(fā)的這個構(gòu)建模塊平臺將 NXP i.MX 8 Plus 處理器與其集成的神經(jīng)處理單元 (NPU) 相結(jié)合。

審核編輯 黃昊宇