ISP（Image Signal Processor）我介紹了很多了。

ISP從圖像傳感器獲取 RAW 像素，并將其轉(zhuǎn)換為與人類(lèi)對(duì)所捕獲場(chǎng)景的感知相匹配的圖像。ISP 是每個(gè)攝像頭和視覺(jué)系統(tǒng)中必不可少的基本硬件處理器。

然而，大多數(shù)廠家的 ISP 實(shí)現(xiàn)細(xì)節(jié)并不公開(kāi)，都是給一堆函數(shù)自己調(diào)用調(diào)試。因?yàn)閺S商將 ISP 算法視為保持市場(chǎng)競(jìng)爭(zhēng)力的獨(dú)特秘訣。雖然之前介紹了很多開(kāi)源ISP項(xiàng)目（優(yōu)秀的 Verilog/FPGA開(kāi)源項(xiàng)目介紹（二十六）- ISP (圖像信號(hào)處理)），這些開(kāi)源ISP僅僅是實(shí)驗(yàn)和探索，與商用的ISP相比，它們?cè)谛阅?、圖像質(zhì)量和實(shí)用性方面還有所欠缺。

圖：ISP 中的相機(jī)成像算法

上圖來(lái)源：Karaimer and Brown，ECCV2016//karaimer.github.io/camera-pipeline/

圖：SoC 中ISP成像原理的頂層框圖

上圖來(lái)源：Lluis Gomez：https://hdl.handle.net/2134/19580

Infinite-ISP 是成像和視覺(jué)社區(qū)的變革者。Infinite-ISP 的所有組件都開(kāi)源，并記錄整個(gè)開(kāi)發(fā)過(guò)程，將浮點(diǎn) ISP 管道引入其硬件實(shí)現(xiàn)。揭示 ISP 的內(nèi)部工作原理，加速開(kāi)發(fā)并鼓勵(lì)專(zhuān)業(yè)人士、研究人員和開(kāi)源硬件愛(ài)好者為整個(gè)成像和視覺(jué)社區(qū)做出貢獻(xiàn)。

Infinite-ISP 介紹

Infinite-ISP 是一款開(kāi)源硬件圖像信號(hào)處理器開(kāi)發(fā)套件，配有算法開(kāi)發(fā)浮點(diǎn)模型、定點(diǎn)參考模型（Golden Model）、RTL ISP、FPGA / ASIC 實(shí)現(xiàn)和 ISP 調(diào)優(yōu)工具等應(yīng)用程序。開(kāi)源 ISP 設(shè)計(jì)包提供具有競(jìng)爭(zhēng)力的圖像質(zhì)量和性能，堪比現(xiàn)代SoC中ISP。

圖：Infinite-ISP硬件ISP開(kāi)發(fā)套件

驗(yàn)證 Infinite-ISP 硬件圖像信號(hào)處理器 (RTL ISP)。RTL ISP 經(jīng)過(guò) FPGA 驗(yàn)證，具有以下規(guī)格：

適用于拜耳圖像傳感器的 10 位 4 百萬(wàn)像素Sensor

最大幀尺寸：2592 x 1536

最大幀率：30 fps

像素吞吐量：高達(dá) 125 Mpix/s（可以增加幀大小，但會(huì)降低 fps）

可選符合 ITU-R 標(biāo)準(zhǔn)的 YCbCr 輸出：BT.601或BT.709

可選 RGB、YCbCr444、YCbCr422 輸出

2A 統(tǒng)計(jì)引擎 (AWB、AE)

多級(jí)降噪（Bayer、亮度）

可配置處理管道，支持 ISP 調(diào)優(yōu)工具

演示

為了演示Infinite-ISP使用流程，我們直接使用開(kāi)源的二進(jìn)制文件，目前支持的傳感器包括：

Onsemi AR1335

Omnivision OV5647

Sony IMX219

本次選用 Onsemi AR1335 圖像傳感器進(jìn)行演示。

按照下圖搭建演示環(huán)境：

1、燒寫(xiě)鏡像

首先，去下面鏈接下載鏡像：

https://github.com/10x-Engineers/Infinite-ISP_FPGABinaries/tree/main/binaries

本次演示使用的FPGA開(kāi)發(fā)板為：KV260

a. 將電腦的 IP 地址更改為靜態(tài) IP 192.168.0.X，其中 X 可以是 2 到 254 之間的任意數(shù)字（111 除外）。網(wǎng)絡(luò)掩碼和網(wǎng)關(guān)應(yīng)分別為 255.255.255.0 和 192.168.0.1。

b. 將以太網(wǎng)電纜與 Kria KV260 套件和電腦連接起來(lái)。

c. 將電源線(xiàn)插入 Kria KV260 套件的電源插孔。

d. 電路板通電后，一只手按住 FWUEN 按鈕，另一只手按住 FWUEN 按鈕的同時(shí)按下并釋放 RESET 按鈕，然后在釋放 RESET 按鈕 5-10 秒后釋放 FWUEN 按鈕。

e. 在電腦上打開(kāi)瀏覽器，在地址欄中輸入 192.168.0.111，如下所示：

將打開(kāi)套件的鏡像恢復(fù)工具（如下所示），如果沒(méi)有出現(xiàn)，請(qǐng)重復(fù)步驟 d。

f.然后選擇相應(yīng)的鏡像進(jìn)行燒寫(xiě)。

2、運(yùn)行 Infinite-ISP

將相關(guān)二進(jìn)制文件刷入 FPGA 后，將與二進(jìn)制文件對(duì)應(yīng)的傳感器連接到開(kāi)發(fā)板上。

按照下圖連接好線(xiàn)纜：

上電后，Infinite-ISP 的輸出將通過(guò) HDMI 顯示到顯示器上。

為了與 Infinite-ISP 實(shí)時(shí)交互， Infinite-ISP 還提供了一個(gè)串口的配置菜單，用戶(hù)可以通過(guò)該菜單調(diào)整 Infinite-ISP、實(shí)時(shí)更改圖像傳感器的配置（例如曝光和增益設(shè)置），還可以在 SD 卡中捕獲 RAW 和處理后的幀圖像。

瀏覽 Infinite-ISP 交互菜單

通過(guò)串口連接到串口工具上（推薦PUTTY），波特率設(shè)置為115200。

連接到串口后，F(xiàn)PGA將打印ISP中模塊的中斷數(shù)、接收?qǐng)D像的高度、寬度和類(lèi)型 (di) ，如下所示：

按任意鍵將出現(xiàn) Infinite-ISP 配置菜單，如下所示：

Infinite-ISP 配置菜單包含三個(gè)選項(xiàng)?？梢愿膫鞲衅髋渲茫ɡ缙毓鈺r(shí)間和模擬/數(shù)字增益）、啟動(dòng)連續(xù)幀的突發(fā)捕獲、更改 ISP 參數(shù)，甚至調(diào)整傳感器模塊的焦點(diǎn)。接下倆重點(diǎn)講解 ISP 參數(shù)。其他相關(guān)測(cè)試自行操作。

配置ISP參數(shù)：

通過(guò)“Configure ISP Parameters（配置 ISP 參數(shù)）”菜單選項(xiàng)可以配置多個(gè) ISP 模塊。ISP 配置菜單如下所示：

輸入要配置的模塊編號(hào)。輸入有效編號(hào)后將進(jìn)入模塊特定的配置菜單，其中將顯示當(dāng)前參數(shù)值，并提示選擇要更改/配置的參數(shù)。

選擇要配置的參數(shù)后，將被引導(dǎo)至參數(shù)特定的菜單，其中將顯示該參數(shù)的當(dāng)前值并提示輸入新值。

輸入新值后將被引導(dǎo)回模塊特定的配置菜單，您這時(shí)候?qū)⒖吹礁牡膮?shù)已經(jīng)生效。

按“E”返回 ISP 配置菜單。

視頻演示

參考鏈接

https://karaimer.github.io/camera-pipeline/

https://www.hackster.io/muhammad-abdullah3/kria-kv260-fpga-isp-getting-started-ffc985

https://hdl.handle.net/2134/19580Karaimer and Brown，ECCV2016:

總結(jié)

Infinite-ISP總體實(shí)現(xiàn)的ISP非常完善，下面是其模塊分類(lèi)：

整個(gè)項(xiàng)目不是干巴巴的代碼，而是整體偏向商業(yè)SoC應(yīng)用，包括上位機(jī)（本文未展示），適合學(xué)習(xí)算法和了解ISP，在此基礎(chǔ)上甚至可以商用，開(kāi)源協(xié)議Apache 2.0（參考Android系統(tǒng)）。

如果大家比較感興趣，后面再出一個(gè)如何使用 Vivado 從源代碼構(gòu)建 Infinite-ISP FPGA 項(xiàng)目的教程。

項(xiàng)目很完整，大家可以從GitHub上對(duì)項(xiàng)目提出自己的意見(jiàn)和建議~