全球新冠疫情肆虐以及對(duì)提高安全性和效率的需求正促使各行業(yè)企業(yè)在其系統(tǒng)中集成智能嵌入式視覺技術(shù)，以支持人員偵測、非接觸式人機(jī)交互和更強(qiáng)大的AR/VR功能，同時(shí)使用智能機(jī)器視覺技術(shù)來提高制造水平和產(chǎn)量。Allied Market Research的數(shù)據(jù)顯示，2019年全球機(jī)器視覺系統(tǒng)市場規(guī)模為297億美元，到2027年預(yù)計(jì)將達(dá)到749億美元，2020年到2027年的復(fù)合年增長率約為11.3％。

作為Lattice低功耗嵌入式視覺系統(tǒng)解決方案集合，mVision使用了模塊化硬件平臺(tái)、IP構(gòu)建模塊、易于使用的FPGA設(shè)計(jì)工具、參考設(shè)計(jì)和演示以及定制設(shè)計(jì)服務(wù)網(wǎng)絡(luò)，提供定制化的性能和靈活的接口互連（MIPI CSI-2、LVDS、PCIe、GigE），并專為智能工廠、機(jī)器視覺、智慧城市和智能家居應(yīng)用中的低功耗（150mW-1W）、小尺寸封裝（2.5 x2.5mm-10x10mm）設(shè)計(jì)進(jìn)行了優(yōu)化，能應(yīng)對(duì)傳感器互連、橋接、聚合和圖像信號(hào)處理等各類設(shè)計(jì)挑戰(zhàn)。

牛刀小試

2020年3月，mVision 1.0解決方案面世，為需要快速構(gòu)建原型系統(tǒng)的消費(fèi)類嵌入式視覺設(shè)計(jì)人員提供了高度靈活、小型模塊化的解決方案。其核心特點(diǎn)包括：

• 視頻接口平臺(tái)（VIP）—模塊化硬件開發(fā)板，支持嵌入式視覺應(yīng)用中常用的各種視頻和I/O接口（包括MIPI、LVDS、DisplayPort、HDMI、USB等）。VIP開發(fā)板支持包括CrossLink?、ECP5?和基于萊迪思Nexus技術(shù)平臺(tái)的CrossLink-NX FPGA。VIP通過簡單的插拔即可輕松地實(shí)現(xiàn)輸入和輸出板互連，兩個(gè)60引腳的高速板對(duì)板連接器用以減少物理連線，確保設(shè)計(jì)工程師可以復(fù)用現(xiàn)有經(jīng)過驗(yàn)證的軟硬件構(gòu)建模塊。

• 完善的IP庫—mVision解決方案集合包括各類即時(shí)可用的IP核，可用于連接MIPI和LVDS圖像傳感器、ISP、通用連接標(biāo)準(zhǔn)（例如USB、千兆以太網(wǎng)）和HDMI、DisplayPort、GigE Vision等顯示標(biāo)準(zhǔn)。
• FPGA設(shè)計(jì)工具—可使用Lattice Diamond?和Lattice Radiant?這兩款易于使用的FPGA設(shè)計(jì)工具。這些工具可以自動(dòng)處理許多常見的設(shè)計(jì)任務(wù)，從而加速和簡化萊迪思FPGA的編程。
• 端到端的參考設(shè)計(jì)—為進(jìn)一步加速系統(tǒng)開發(fā)，萊迪思mVision為常見的嵌入式視覺應(yīng)用提供了完整的參考設(shè)計(jì)，包括傳感器橋接、傳感器聚合和圖像處理。
• 定制化設(shè)計(jì)服務(wù)—針對(duì)需要協(xié)助將其嵌入式視覺系統(tǒng)推向市場的客戶，萊迪思建立了設(shè)計(jì)服務(wù)合作伙伴網(wǎng)絡(luò)，可以滿足從開發(fā)單獨(dú)的功能設(shè)計(jì)模塊到提供一站式交鑰匙解決方案等一系列客戶需求。

mVision 2.0：從消費(fèi)級(jí)到工業(yè)級(jí)

一年后的2021年3月，在mVision 1.0版本的基礎(chǔ)上，Lattice推出了mVision 2.0。該方案新增了一些重要更新，包括對(duì)工業(yè)和汽車系統(tǒng)中使用的主流新型圖像傳感器的支持，以及全新圖像信號(hào)處理IP核和參考設(shè)計(jì)，幫助開發(fā)人員設(shè)計(jì)網(wǎng)絡(luò)邊緣智能視覺應(yīng)用。該解決方案集合現(xiàn)還支持Lattice Propel設(shè)計(jì)環(huán)境，可簡化使用嵌入式RISC-V處理器的視覺系統(tǒng)的開發(fā)。

此外，mVision 2.0 ISP Pieces Library（Drop 1.0）還具備完整的ISP管道功能，支持高達(dá)150MHz的像素時(shí)鐘（720p120/1080p60等）和高達(dá)96dB（16位）的場景動(dòng)態(tài)范圍，提供定制ISP解決方案的靈活互連，用以平衡性能和成本。調(diào)試工具包則具備外部DDR存儲(chǔ)器實(shí)時(shí)圖像捕獲功能，支持Lattice SSP注冊訪問工具包，能夠針對(duì)特定環(huán)境進(jìn)行調(diào)整。

mVision 2.0解決方案集合的主要更新包括：

• 擴(kuò)展了對(duì)汽車、工業(yè)和醫(yī)療領(lǐng)域嵌入式視覺應(yīng)用的支持

與消費(fèi)級(jí)嵌入式視覺方案不同，應(yīng)用于工業(yè)、汽車和醫(yī)療領(lǐng)域的嵌入式視覺方案既要求低功耗、小尺寸，還對(duì)幀率準(zhǔn)確度要求極為嚴(yán)苛，不允許丟幀現(xiàn)象發(fā)生。因此，萊迪思在mVision 2.0增加了全新的開發(fā)板，除了原有的CrossLink、CrossLink-NX、ECP5之外，還包括支持工業(yè)和醫(yī)療應(yīng)用的主流圖像傳感器Sony IMX464/IMX568和安森美半導(dǎo)體的AR0234CS，開發(fā)人員可通過I2C、SPI或其他接口對(duì)攝像機(jī)傳感器進(jìn)行配置和操作。

• 支持萊迪思Propel設(shè)計(jì)環(huán)境與RISC-V架構(gòu)

Propel是一款用于在低功耗、小尺寸萊迪思FPGA上加速基于嵌入式處理器開發(fā)的設(shè)計(jì)環(huán)境。該工具包括一套完整的圖形和命令行工具，可創(chuàng)建、分析、編譯和調(diào)試基于FPGA的處理器系統(tǒng)的硬件和軟件設(shè)計(jì)。

而之所以新增對(duì)RISC-V架構(gòu)的支持，其主要目的，一是希望通過使用C代碼而非RTL語言的方式簡便整個(gè)方案的配置；二是RISC-V作為開源方案，得到了大多數(shù)用戶的支持。未來，Lattice將計(jì)劃在其他器件上逐步提供RISC-V軟核支持。

• 全新萊迪思圖像信號(hào)處理器（ISP）參考設(shè)計(jì)

以往的傳感器產(chǎn)品都自帶ISP驅(qū)動(dòng)，但隨著傳感器復(fù)雜度的增加、分辨率的提升，傳感器廠商很難調(diào)動(dòng)一款受眾面很廣的驅(qū)動(dòng)，因此往往不再提供ISP驅(qū)動(dòng)，多數(shù)只提供傳感或者原始數(shù)據(jù)，這部分工作就被漸漸轉(zhuǎn)移給了方案開發(fā)者。Lattice此次增加了專門的ISP，為客戶拓展了mVision解決方案的選擇，可以幫助用戶在產(chǎn)品設(shè)計(jì)中快速部署嵌入式視覺等應(yīng)用提供便利。

• 新增圖像信號(hào)處理與橋接聚合IP

mVision 2.0所包含的IP核主要分為四類：顯示處理、圖像信號(hào)處理、橋接和聚合、互連。其中，圖像信號(hào)處理、橋接和聚合IP為新增項(xiàng)目，用戶可以直接引入這些模塊，減少從零開發(fā)的流程投入。同時(shí)，所有這些可用的IP模塊都支持CrossLink-NX。

應(yīng)用案例

從M2M應(yīng)用中的工業(yè)顯示系統(tǒng)、工業(yè)4.0解決方案，到高級(jí)駕駛輔助系統(tǒng)（ADAS）和車載信息娛樂系統(tǒng)，再到數(shù)碼單反相機(jī)、無人機(jī)、機(jī)器人、虛擬現(xiàn)實(shí)（VR）系統(tǒng)和醫(yī)療設(shè)備，在當(dāng)今所有行業(yè)中攝像頭應(yīng)用的數(shù)量都在不斷增長，目標(biāo)識(shí)別、深度感知、碰撞規(guī)避和決策制定等更加智能的應(yīng)用也正在變?yōu)楝F(xiàn)實(shí)。

為了構(gòu)建靈活、智能學(xué)習(xí)的環(huán)境，將理想變?yōu)楝F(xiàn)實(shí)，萊迪思攜手Softnautlcs、LogicFruit、Bitec、TATA、Helion等合作伙伴開發(fā)出了數(shù)十種靈活的解決方案以滿足當(dāng)今嵌入式視覺設(shè)計(jì)工程師的需求，如不斷變化的接口、低功耗圖像信號(hào)處理和硬件加速。

• 使用Helion IONOS ISP加速產(chǎn)品上市進(jìn)程

萊迪思與Helion Vision合作提供全面的解決方案，包括一系列圖像信號(hào)處理產(chǎn)品系列，從基本的（ECO HD-ISP）到支持高級(jí)高動(dòng)態(tài)范圍圖像處理（HDR HD-ISP）的產(chǎn)品。其中，Helion Vision的IONOS IP系列通過IP庫提供100多款獨(dú)立IP，實(shí)現(xiàn)即插即用的處理解決方案，并在此前專為ECP3?和ECP5?架構(gòu)進(jìn)行了優(yōu)化的基礎(chǔ)上，新增對(duì)CrossLink-NX的支持，可顯著減少所需的FPGA資源和延遲。

• 基于流水線架構(gòu)的mVision ISP參考設(shè)計(jì)

下圖展示的是一個(gè)基于流水線架構(gòu)的完整的萊迪思mVision ISP參考設(shè)計(jì)，支持Sony IMX464/IMX568和安森美半導(dǎo)體的AR0234CS圖像傳感器，2020年11月交付早期客戶使用。最早使用的硬件平臺(tái)為ECP5，預(yù)計(jì)將于2021年第一季度內(nèi)支持CrossLink。根據(jù)規(guī)劃，Lattice最初的ISP參考設(shè)計(jì)將專注于工業(yè)、醫(yī)療和汽車應(yīng)用，萊迪思會(huì)提供包含非常適合醫(yī)療、工業(yè)、航空航天、汽車和消費(fèi)者應(yīng)用的流行傳感器在內(nèi)的多種EVDK模塊。

• Sony IMX464 VIP傳感器輸入板

全新Sony IMX464 VIP傳感器輸入板包括Sony 1/1.8“ 4MP MIPI NIR增強(qiáng)型卷簾快門傳感器模塊，以及連接EVDK的適配器數(shù)據(jù)線。與嵌入式視覺開發(fā)套件（EVDK）無縫連接，支持2688（H） x 1520（V）分辨率、4 M像素、最高90 FPS、HDR等性能指標(biāo)，適用于監(jiān)控、工廠自動(dòng)化、工業(yè)攝像頭應(yīng)用。

左圖：未經(jīng)ISP處理的圖片；右圖：經(jīng)過ISP處理后的RGB圖像

嵌入式視覺系統(tǒng)設(shè)計(jì)工程師面臨著許多挑戰(zhàn)，圖像信號(hào)處理問題只是其中一項(xiàng)，上述案例也只是眾多應(yīng)用中的代表。圖像傳感器形式和尺寸各異，并且在像素粒度、信噪比、光敏度和色深方面的性能等級(jí)也不同。此外，照明和物體的色彩對(duì)比度等環(huán)境因素進(jìn)一步讓系統(tǒng)設(shè)計(jì)變得更加復(fù)雜。這些情況往往會(huì)對(duì)系統(tǒng)設(shè)計(jì)工程師帶來嚴(yán)重的問題，因?yàn)樗麄円獙?shí)時(shí)地進(jìn)行圖像預(yù)處理。要解決產(chǎn)品設(shè)計(jì)周期延長和風(fēng)險(xiǎn)上升的問題，萊迪思在圖像處理領(lǐng)域具備的專業(yè)經(jīng)驗(yàn)將能夠很好的幫助他們應(yīng)對(duì)上述挑戰(zhàn)。