相機(jī)系統(tǒng)設(shè)計(jì)比較復(fù)雜。它要求根據(jù)不同的應(yīng)用場景，選擇合適的鏡頭和圖像傳感器組合，并對圖像信號處理器 (ISP) 進(jìn)行校準(zhǔn)和調(diào)整。該流程涉及在各種光照條件下捕捉數(shù)百張專門針對目標(biāo)對象的圖片。然后，利用調(diào)諧工具對這些RAW圖像進(jìn)行處理，得到基線ISP校準(zhǔn)值，并在此基礎(chǔ)上開始精細(xì) (讀?。褐饔^) 調(diào)整。

目標(biāo)圖像的白色是否有點(diǎn)偏藍(lán)？或者黑色看起來更接近深灰色？需要調(diào)整伽馬校正、白平衡，還是兩者都要調(diào)整才能解決這個(gè)問題？經(jīng)驗(yàn)豐富的圖像工程師可以回答這些問題，還能夠解決其他問題。

集成ISP的優(yōu)勢

與獨(dú)立ISP相比，集成ISP具有幾個(gè)顯著的優(yōu)勢。當(dāng)接收RAW格式的圖像數(shù)據(jù)時(shí)，我們可以在全色RGB或YUV方面節(jié)省帶寬。4K圖像 (3840 x 2160)，在i.MX 8M Plus應(yīng)用處理器上使用8位RAW格式可以實(shí)現(xiàn)每秒60幀 (FPS)。如果在系統(tǒng)設(shè)計(jì)中使用獨(dú)立ISP，并且輸出使用RGB888格式，則i.MX 8M Plus處理器的帶寬限制為30 FPS。而使用RAW格式，系統(tǒng)設(shè)計(jì)人員可以使用更少的MIPI通道，或適應(yīng)更大的幀大小或幀速率。

除此之外，獨(dú)立ISP會增加成本。獨(dú)立ISP的價(jià)格在6-12美元 (USD) 之間，基于FPGA的解決方案的價(jià)格可能高達(dá)20美元 (USD)。另外，PCB面積更大，電源需求也更高——這兩項(xiàng)都不是免費(fèi)的。另外，i.MX 8M Plus處理器還有兩個(gè)集成ISP。

i.MX 8M Plus處理器上集成ISP的另一個(gè)優(yōu)勢是可以納入恩智浦產(chǎn)品長期供貨計(jì)劃。該計(jì)劃中的部件 (包括i.MX 8M Plus處理器) 可保證生產(chǎn)15年。例如，2021年推出的i.MX 8M Plus處理器能夠保證持續(xù)供貨至少到2036年。根據(jù)該計(jì)劃，恩智浦工程師將在部件生命周期內(nèi)提供支持。

NXP合作伙伴助力成功實(shí)現(xiàn)設(shè)計(jì)

恩智浦的眾多合作伙伴實(shí)力強(qiáng)大，值得信賴，支持客戶將設(shè)計(jì)創(chuàng)意變成現(xiàn)實(shí)。以下是恩智浦目前的合作伙伴名單，他們在數(shù)字圖像系統(tǒng)設(shè)計(jì)和i.MX 8M Plus處理器的ISP校準(zhǔn)方面都有豐富的經(jīng)驗(yàn)和成果。

FRAMOS可以幫助解決這些復(fù)雜的ISP和IQ問題。恩智浦與FRAMOS合作，為其提供了深入的技術(shù)支持，幫助其掌握圖像傳感器的特殊功能。FRAMOS的工程師和開發(fā)人員因此能夠使用一些非“標(biāo)準(zhǔn)”或只適用于特定場景的創(chuàng)新傳感器功能。FRAMOS擁有合適的工具和專業(yè)知識，能夠通過圖像信號處理器獲得卓越的圖像質(zhì)量。

InnoWave擁有豐富的視覺專業(yè)知識，深耕視頻處理和嵌入式系統(tǒng)固件開發(fā)領(lǐng)域。他們提供完整的解決方案，包括軟件驅(qū)動程序、3A庫(自動曝光、自動白平衡和自動對焦)、校準(zhǔn)和調(diào)整工具。還開發(fā)和移植自定義成像算法，并為各種用例提供合適的解決方案。相機(jī)特性(陰影、失真)和內(nèi)外參數(shù)的校準(zhǔn)，以及針對各種相機(jī)參數(shù)(如色彩和白平衡、精度、清晰度、噪聲、色調(diào)響應(yīng)、動態(tài)范圍、光學(xué)失真等)的SPI調(diào)整。

作為Arrow的子公司，eInfochips是全球領(lǐng)先的產(chǎn)品工程和半導(dǎo)體設(shè)計(jì)服務(wù)提供商。eInfochips開發(fā)了500多種產(chǎn)品，在140個(gè)國家/地區(qū)部署了4000萬次，不斷推動多個(gè)垂直領(lǐng)域的技術(shù)創(chuàng)新。它幫助各企業(yè)利用恩智浦平臺開發(fā)定制的評估套件、參考設(shè)計(jì)和下一代全功能產(chǎn)品。eInfochips的核心優(yōu)勢在于恩智浦技術(shù)。他們創(chuàng)建的社區(qū)板適用于嵌入式機(jī)器學(xué)習(xí)、HMI、工業(yè)、汽車、健康監(jiān)測、智能門禁、行車記錄儀和智能家居等領(lǐng)域。eInfochips還提供自定義硬件固件、BSP、硬件加速、算法、視頻優(yōu)化、端到端產(chǎn)品設(shè)計(jì)和制造等服務(wù)。

Basler (巴斯勒)為i.MX 8M Plus處理器的推出打造了4K BCON相機(jī)。他們是面向計(jì)算機(jī)視覺應(yīng)用的高質(zhì)量成像組件的國際領(lǐng)先制造商。除了經(jīng)典的區(qū)域掃描和線掃描相機(jī)、鏡頭、幀抓取器、光模塊、3D產(chǎn)品和軟件外，該公司還為i.MX 8M Plus處理器提供嵌入式視覺解決方案，包括咨詢服務(wù)、客戶特定的軟件開發(fā)和定制產(chǎn)品。巴斯勒的產(chǎn)品應(yīng)用于多種市場和應(yīng)用，如工廠自動化、醫(yī)療、物流、零售和機(jī)器人。它們具有可靠性高、性價(jià)比高和供貨期長的優(yōu)勢。

IMDT是領(lǐng)先的設(shè)計(jì)和制造企業(yè)，打造了多款基于i.MX應(yīng)用處理器的系統(tǒng)模塊(SOM)。IMDT的SOM解決方案適用于高性價(jià)比、低功耗、高性能的嵌入式產(chǎn)品。IMDT提供專用于SOM產(chǎn)品以及定制板的硬件和軟件設(shè)計(jì)服務(wù)。IMDT的所有產(chǎn)品都是在經(jīng)ISO9001:2015認(rèn)證的設(shè)施中制造和測試的。產(chǎn)品經(jīng)過了CE認(rèn)證，符合RoHS標(biāo)準(zhǔn)。

Leopard Imaging是提供高清嵌入式攝像頭和AI成像解決方案的全球領(lǐng)導(dǎo)者。他們致力于提升汽車、航空航天飛行器、無人機(jī)、物聯(lián)網(wǎng)和機(jī)器人圖像處理的核心技術(shù)。Leopard Imaging與成熟的傳感器和AI平臺公司密切合作，為全球客戶打造先進(jìn)的攝像頭解決方案。憑借原始設(shè)備制造商 (OEM) 和原始設(shè)計(jì)制造商 (ODM) 服務(wù)，Leopard Imaging為客戶提供攝像頭設(shè)計(jì)、制造、校準(zhǔn)、成像調(diào)整、驅(qū)動程序開發(fā)、系統(tǒng)集成和相關(guān)服務(wù)的一站式定制解決方案。

PHYTEC提供的產(chǎn)品和服務(wù)能夠快速方便地集成嵌入式視覺系統(tǒng)。Phytec為客戶的系列產(chǎn)品提供匹配的組件，如板級攝像頭、控制器模塊、單板計(jì)算機(jī)和定制硬件。提供嵌入式視覺套件，用于評估目的。Phytec還提供全定制嵌入式視覺系統(tǒng)的設(shè)計(jì)服務(wù)和批量生產(chǎn)服務(wù)。phyCORE System on Modules的Linux BSP包括phyCAM工業(yè)級板級攝像頭的軟件驅(qū)動程序。此外，BSP已經(jīng)包含OpenCV、Gstreamer和Halcon等成像中間件，以及選定Phytec攝像頭的ISP預(yù)校準(zhǔn)。為基于Phytec產(chǎn)品的客戶項(xiàng)目提供單獨(dú)的ISP校準(zhǔn)。

Yosun Imaging Solution Center (又稱ISC)成立于2018年，致力于CMOS圖像傳感器解決方案的研究、開發(fā)、集成和推廣，這些解決方案適用于汽車、AIoT、安全、消費(fèi)電子、計(jì)算、移動設(shè)備、工業(yè)和機(jī)器視覺的許多不同應(yīng)用。他們攜手ISP和SoC平臺以及軟件算法合作伙伴，根據(jù)市場需求開發(fā)有利于展示圖像質(zhì)量和特性的參考設(shè)計(jì)，從而簡化客戶的開發(fā)和設(shè)計(jì)流程。ISC在中國上海、深圳和臺北設(shè)有成像實(shí)驗(yàn)室，在圖像質(zhì)量調(diào)優(yōu)方面擁有豐富的專業(yè)經(jīng)驗(yàn)。他們對CMOS圖像傳感器技術(shù)有著深刻的掌握，擅長優(yōu)化自動白平衡、自動曝光和自動對焦等參數(shù)，通過精確校準(zhǔn)、降噪和色彩精度實(shí)現(xiàn)較高的圖像保真度。

Image Quality Labs在多個(gè)現(xiàn)有和新興市場中選擇、集成、評估、調(diào)整和優(yōu)化相機(jī)模塊方面擁有20多年的運(yùn)營經(jīng)驗(yàn)。Image Quality Labs為企業(yè)提供端到端解決成像方案。他們提供相機(jī)設(shè)備驅(qū)動程序和應(yīng)用的軟件開發(fā)、自定義成像硬件設(shè)計(jì)、圖像質(zhì)量測試以及圖像質(zhì)量調(diào)整和優(yōu)化。

TechNexion是恩智浦的金牌合作伙伴，在恩智浦i.MX應(yīng)用處理器方面擁有數(shù)十年的豐富經(jīng)驗(yàn)。他們提供了一整套完全校準(zhǔn)的、1MP至20MP的MIPI CSI-2攝像頭傳感器、滾動快門和全局快門，以及多種鏡頭選項(xiàng)，帶有電纜和適配器，可直接連接恩智浦官方評估套件(EVK). 這些產(chǎn)品幫助恩智浦i.MX處理器客戶快速進(jìn)行原型制作，并簡化了集成嵌入式視覺和機(jī)器學(xué)習(xí)。TechNexion MIPI CSI-2攝像頭傳感器附帶的軟件支持恩智浦i.MX 8M、i.MX 8M Mini、i.MX8M Nano和i.MX8M Plus處理器評估板以及最新的i.MX93處理器EVK。他們的VizionViewer和VizionSDK允許對其嵌入式攝像頭模塊參數(shù)進(jìn)行桌面調(diào)整，以便于在校準(zhǔn)后進(jìn)行調(diào)優(yōu)和調(diào)整。

本文作者

John Phillippe，恩智浦機(jī)器學(xué)習(xí)、AI與視覺、安全互聯(lián)邊緣合作伙伴與生態(tài)合作體系經(jīng)理。John擁有20多年的半導(dǎo)體經(jīng)驗(yàn)，涵蓋了從模擬電路設(shè)計(jì)到系統(tǒng)封裝架構(gòu)，再到軟件和IP集成與調(diào)試的各個(gè)方面。他目前專注于恩智浦的各種硬件和軟件IP，以支持計(jì)算機(jī)視覺和人工智能。他畢業(yè)于德克薩斯大學(xué)奧斯汀分校，獲得了BSEE學(xué)位。

NXP客棧