昱感微的“雷視一體融合感知方案”將可見光攝像頭、紅外攝像頭以及雷達(dá)的探測(cè)數(shù)據(jù)在前端（數(shù)據(jù)獲取時(shí)）融合，將各傳感器的探測(cè)數(shù)據(jù)“坐標(biāo)統(tǒng)一、時(shí)序?qū)R”，圖像與雷達(dá)數(shù)據(jù)完成像素級(jí)實(shí)時(shí)“時(shí)空對(duì)齊同步”并以“多維像素”格式輸出，為自動(dòng)駕駛系統(tǒng)提供目標(biāo)與環(huán)境的多模態(tài)精準(zhǔn)感知信息：即傳感器對(duì)目標(biāo)與環(huán)境感知的圖像數(shù)據(jù)（明暗、紋理、顏色等）+雷達(dá)數(shù)據(jù)（目標(biāo)的距離、速度、材質(zhì)等）+紅外輻射數(shù)據(jù)（紋理、溫度等）的綜合感知。

目前昱感微現(xiàn)正與多家工業(yè)機(jī)器人（自動(dòng)掃地車、自動(dòng)農(nóng)機(jī)等）客戶緊密合作中，我們的方案產(chǎn)品已經(jīng)裝車測(cè)試，解決了許多過去自動(dòng)駕駛無解的場(chǎng)景和corner cases。例如在下圖場(chǎng)景中，過去靠單一傳感器如雷達(dá)探測(cè)左邊的欄桿，由于缺乏圖像的語義信息，自動(dòng)駕駛系統(tǒng)很容易將欄桿的反射點(diǎn)當(dāng)成噪點(diǎn)忽略；現(xiàn)在感知側(cè)主流方案——基于可見光攝像頭的純視覺方案若碰到?jīng)]有采樣過的目標(biāo)同樣也無法識(shí)別。而昱感微的雷視一體融合感知方案將圖像和雷達(dá)信息融合輸出豐富的“多維像素”數(shù)據(jù)（如右下圖），使自動(dòng)駕駛系統(tǒng)能清楚地識(shí)別出道路左邊的欄桿以及它的距離位置3D形狀等信息。昱感微的融合感知技術(shù)方案的優(yōu)勢(shì)在于1）是基于“物理感知”數(shù)據(jù)驅(qū)動(dòng)，能很好地避免純視覺神經(jīng)網(wǎng)絡(luò)的corner cases問題；2）傳感器前融合的方式可以最大限度地保留原始探測(cè)數(shù)據(jù)，并發(fā)揮各傳感器的優(yōu)勢(shì)，使感知系統(tǒng)能夠不受天氣光線和場(chǎng)景的限制，實(shí)時(shí)完成精準(zhǔn)目標(biāo)感知。

另外，多維像素還能探測(cè)出路面的起伏，幫助自動(dòng)駕駛系統(tǒng)對(duì)于不同的起伏程度采取對(duì)應(yīng)的決策。基于攝像頭的純視覺方案無法精確檢測(cè)出路面的起伏，僅靠雷達(dá)的探測(cè)信息如果沒有圖像的語義信息直接對(duì)接也無法提取出細(xì)致對(duì)應(yīng)的反射信息（直接映射目標(biāo)的對(duì)應(yīng)反射點(diǎn)）從而精準(zhǔn)測(cè)量與判斷路面的情況。而昱感微的融合感知方案可以解決這個(gè)棘手的難題：在下圖的3D空間采樣數(shù)據(jù)（3D點(diǎn)云）中可以看到，“多維像素”能提供路面起伏程度的信息，即使是路邊高起一點(diǎn)的下水蓋也能清楚地探測(cè)到，對(duì)自動(dòng)駕駛規(guī)劃路線非常有幫助。

不僅是路面的起伏，根據(jù)圖像信息和雷達(dá)探測(cè)出的材質(zhì)信息，“多維像素”還可以提供路面上覆蓋物的材質(zhì)和狀況信息，對(duì)于探測(cè)到的較脆弱的材質(zhì)或已損壞的覆蓋物就需要避讓。這些場(chǎng)景都是目前自動(dòng)駕駛感知側(cè)無解的技術(shù)難點(diǎn)，而昱感微的融合感知方案可以一一為客戶解決這些難題。

國(guó)內(nèi)城市道路復(fù)雜，純視覺的感知方案受光線天氣影響較大且有許多無法識(shí)別的corner cases，光靠雷達(dá)感知也存在點(diǎn)云的置信度存疑、缺乏語義分析無法將目標(biāo)識(shí)別標(biāo)注等問題，昱感微的融合感知方案使視覺和雷達(dá)結(jié)合達(dá)到1+1>2的效果，幫助客戶解決各種疑難場(chǎng)景。例如和自動(dòng)掃地車客戶的項(xiàng)目合作中，在道路有路障的場(chǎng)景下，“多維像素”數(shù)據(jù)使自動(dòng)駕駛可清楚地識(shí)別出路障以及其間距，并判斷是否應(yīng)從中間穿過。對(duì)于路邊的垃圾，多維像素所提供的多模態(tài)精準(zhǔn)感知信息可以使自動(dòng)駕駛系統(tǒng)清楚地判別探測(cè)到的目標(biāo)，并進(jìn)行清掃；對(duì)于不適宜清掃的目標(biāo)（如水泥黃沙堆等）則進(jìn)行避讓。另外，在圖像和雷達(dá)數(shù)據(jù)組成的多維像素幫助下，一些困擾自動(dòng)駕駛系統(tǒng)的場(chǎng)景如隨風(fēng)飄起的垃圾袋（通過多維像素的圖像/材質(zhì)/速度等信息判斷），晃動(dòng)的樹影（僅有圖像變化無雷達(dá)反射點(diǎn)）等都可以迎刃而解。

并且昱感微的融合感知方案完全不依賴高精地圖。對(duì)于沒有清晰車道線和邊界的道路（如上圖），自動(dòng)駕駛系統(tǒng)也能根據(jù)“多維像素”提供的多模態(tài)感知信息來規(guī)劃路徑。此外，自動(dòng)農(nóng)機(jī)對(duì)于感知精度的要求也非常高，其來回播種插秧的間隔距離在5厘米左右，如此的精度目前市場(chǎng)上的感知產(chǎn)品還很難做到，而昱感微精確到像素級(jí)的融合感知方案可以很好地達(dá)到客戶要求的感知精度，確保播種插秧均勻不重復(fù)。

昱感微的多傳感器融合感知方案從另一個(gè)角度看可以說是在幫助客戶產(chǎn)品完成目標(biāo)與環(huán)境的精密測(cè)量，精確測(cè)量出目標(biāo)的輪廓/方位/距離/速度/材質(zhì)/溫度等各種數(shù)據(jù)，為自動(dòng)駕駛系統(tǒng)提供目標(biāo)與環(huán)境的多模態(tài)感知精準(zhǔn)信息。盡管掃地車農(nóng)用車等工農(nóng)業(yè)用機(jī)器人在速度上慢于乘用車，但它們對(duì)于感知精度的要求明顯高于乘用車，遇到的特殊場(chǎng)景corner cases也不亞于乘用車，而這些昱感微的融合感知方案可以幫助它們解決，并滿足客戶對(duì)感知精度的要求，獲得了許多客戶的認(rèn)可。我們相信未來昱感微的方案產(chǎn)品在乘用車上也會(huì)有非常優(yōu)異的表現(xiàn)，助力車企跨越L3/L4級(jí)自動(dòng)駕駛的技術(shù)門檻。

關(guān)于昱感微

昱感微的“多傳感器融合感知方案”將可見光攝像頭、紅外攝像頭以及雷達(dá)的探測(cè)數(shù)據(jù)在前端（數(shù)據(jù)獲取時(shí)）融合，將各傳感器的探測(cè)數(shù)據(jù)“坐標(biāo)統(tǒng)一、時(shí)序?qū)R”，并以“多維像素”格式輸出。

“多維像素”是昱感微的核心技術(shù)創(chuàng)新之一，它是指在可見光攝像頭像素信息上加上其它傳感器對(duì)于同源目標(biāo)感知的信息，將感知系統(tǒng)的感知維度擴(kuò)展以實(shí)現(xiàn)多維度（多模態(tài)）感知目標(biāo)的完整信息。如下圖示例，芯片將攝像頭圖像數(shù)據(jù)，和雷達(dá)探測(cè)目標(biāo)的距離、速度、散射截面R的感知數(shù)據(jù)，以及紅外傳感器探測(cè)的熱輻射圖像數(shù)據(jù)疊加組合到一起，以攝像頭的像素為顆粒度組合全部感知數(shù)據(jù)，每個(gè)像素不僅有視覺信息，還包含了4D毫米波雷達(dá)和紅外傳感器的探測(cè)數(shù)據(jù)，形成多維度（多模態(tài)）測(cè)量參數(shù)矩陣數(shù)組?；趫D像像素為基準(zhǔn)+雷達(dá)數(shù)據(jù)的“多維像素”感知數(shù)據(jù)，與現(xiàn)有主流AI計(jì)算平臺(tái)完全兼容，它可以復(fù)用已有的圖像數(shù)據(jù)樣本，免除了產(chǎn)品的神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)需要完全重新采集的困擾。