2019年7月5日，由博聞創(chuàng)意和CCIA智能網(wǎng)聯(lián)專委會(huì)、佐智汽車舉辦的「2019中國(guó)汽車互聯(lián)與車路協(xié)同大會(huì)」在深圳舉行。中科慧眼CMO邱田先生在會(huì)上發(fā)表了題為“雙目視覺(jué)相機(jī)的產(chǎn)品落地化” 的演講。

各位佐智汽車的朋友們，很高興中科慧眼又在這里和大家見(jiàn)面了，我是中科慧眼的邱田，在公司負(fù)責(zé)產(chǎn)品營(yíng)銷。我相信在座的朋友對(duì)中科慧眼并不陌生，但是我是第一次站在佐智汽車的平臺(tái)上跟大家做討論和分享，首先我要感謝佐智汽車給我這個(gè)平臺(tái)，同時(shí)我也非常榮幸地在這里跟朋友們一起分享和討論我們的產(chǎn)品，謝謝在座的各位朋友。

在雙目相機(jī)領(lǐng)域是非常煎熬和糾結(jié)的，煎熬來(lái)自哪里呢？大家可以知道雙目立體視覺(jué)不管從算法和軟件，還是從硬件，包括結(jié)構(gòu)，以及結(jié)構(gòu)件的質(zhì)量，到最后的標(biāo)定，都是非常龐雜的系統(tǒng)。作為銷售來(lái)說(shuō)，在這個(gè)過(guò)程中是非常煎熬的，我們當(dāng)然希望我們的產(chǎn)品能夠盡快地推向市場(chǎng)，但是在產(chǎn)品落地的同時(shí)，我們還要經(jīng)過(guò)大量的測(cè)試與技術(shù)團(tuán)隊(duì)的支持，才能達(dá)到最終的可靠性和穩(wěn)定性，所以這個(gè)過(guò)程是非常煎熬的。糾結(jié)是在哪里呢？這么好的一個(gè)東西做出來(lái)以后，我們發(fā)現(xiàn)市場(chǎng)對(duì)雙目立體視覺(jué)的認(rèn)知是比較陌生的，我們就必須在市場(chǎng)和產(chǎn)品中間找一個(gè)平衡點(diǎn)。我們當(dāng)然是希望我們用心做出來(lái)的產(chǎn)品，能夠得到市場(chǎng)的接受，同時(shí)能夠得到好的回報(bào)，這是我們做銷售的本質(zhì)。所以在這里面就很糾結(jié)了，必須找一個(gè)平衡點(diǎn)。我們?cè)谶@個(gè)煎熬和糾結(jié)的過(guò)程中，始終不言放棄，終于有所小成，有幸給大家來(lái)講雙目立體視覺(jué)產(chǎn)品的量產(chǎn)化落地。我講得合理的地方，也希望在座的朋友給予支持和鼓勵(lì)，如果有講得不準(zhǔn)確的地方，也請(qǐng)大家海涵指正。

中科慧眼成立于2014年10月，我們是國(guó)內(nèi)率先在雙目立體視覺(jué)領(lǐng)域做研究和開發(fā)的企業(yè)，同時(shí)我們也是國(guó)家高新技術(shù)企業(yè)，也是中關(guān)村的前沿科技企業(yè)。很榮幸我們?cè)?017年成為了百度阿波羅的生態(tài)成員，也是到目前為止阿波羅基金投資的唯一一家智能視覺(jué)傳感器公司。從2014年到現(xiàn)在，這么多年來(lái)，我們從自動(dòng)駕駛的L4、L5做到了前面的智能駕駛的L3，再做到前面的L2、L1?？赡苡信笥褧?huì)問(wèn)，你是說(shuō)反了吧，為什么從難的做到簡(jiǎn)單的，而不是從簡(jiǎn)單的做到難的？但是我們公司的發(fā)展路徑確實(shí)是這樣，我們最先做了一系列L4到L5級(jí)別自動(dòng)駕駛的產(chǎn)品。經(jīng)過(guò)這么長(zhǎng)時(shí)間的磨練，我們公司的產(chǎn)品可以覆蓋L0到L5智能駕駛各個(gè)階段需求，同時(shí)我們公司也申請(qǐng)或獲得百余項(xiàng)專利授權(quán)，基本上覆蓋了雙目視覺(jué)這個(gè)方向的大部分的專利點(diǎn)。

以上是雙目視覺(jué)的基本原理。我相信在座的朋友如果聽(tīng)過(guò)中科慧眼的CTO崔博士和COO孟總的介紹，可能對(duì)雙目立體視覺(jué)的原理是非常清楚的，而且在網(wǎng)上各種技術(shù)帖，以及我們的宣傳材料，都能了解到雙目立體視覺(jué)的基本原理，所以我就不花過(guò)多的時(shí)間贅述。做銷售來(lái)說(shuō)，我們是希望用最簡(jiǎn)單、最通俗易懂的語(yǔ)言讓大家了解我們的產(chǎn)品，這樣我們就圈重點(diǎn)。

雙目視覺(jué)無(wú)需建模就可直接由立體點(diǎn)云提取障礙物，利用視差精準(zhǔn)測(cè)距而非識(shí)別后估距，并可利用單路圖像識(shí)別障礙物類型，形成高質(zhì)量的單雙目融合感知數(shù)據(jù)。

雙目視覺(jué)既有類似激光雷達(dá)的高密度點(diǎn)云的特點(diǎn)，又具備視覺(jué)識(shí)別的能力。

在雙目視覺(jué)的基礎(chǔ)上，我們可以用更簡(jiǎn)單、更通俗易懂的辦法讓大家了解我們的雙目產(chǎn)品，你可以把它近似理解為100米以內(nèi)的一個(gè)千線激光雷達(dá)加彩色相機(jī)。

可能很多朋友會(huì)問(wèn)，你們這個(gè)雙目相機(jī)有這么牛嗎？我說(shuō)幾個(gè)場(chǎng)景，你們能不能搞定？第一，大雪天，前面白茫茫一片，能搞定嗎？確實(shí)搞不定。不光是大雪天，如果是一個(gè)白墻放在我們面前，沒(méi)有任何紋理的話，我們也是搞不定的。那你又會(huì)問(wèn)，其它的極端天氣呢，比如說(shuō)大雨、大霧，你們能搞定嗎？非常抱歉，我們還是搞不定，因?yàn)槲覀兪强梢?jiàn)光的視覺(jué)，我們的能力和人眼是差不多的，這種情況下我們只能說(shuō)你盡量少開車或者是不開車。又有一個(gè)問(wèn)題，如果有玻璃，你能識(shí)別嗎？玻璃是通透的，如果沒(méi)有任何反光，也沒(méi)有任何機(jī)理的情況下，我們也是搞不定的。當(dāng)然，我們用任何一個(gè)傳感器，都有它的優(yōu)勢(shì)和劣勢(shì)，我希望咱們利用雙目相機(jī)的優(yōu)勢(shì)。

大家可以看到雙目視覺(jué)其實(shí)在很早的時(shí)候就在歐美以及日本，都運(yùn)用在車載上了。從1999年開始，斯巴魯就已經(jīng)搭載了最早的一個(gè)雙目相機(jī)，當(dāng)時(shí)是日立給它做的。到2016年的時(shí)候，寶馬、奔馳、捷豹路虎都在他們最高配的車型上搭載了雙目視覺(jué)。從2016年到現(xiàn)在，大家可以看到雙目立體視覺(jué)的發(fā)展趨勢(shì)是從頂配的高端車型慢慢向中端甚至低端的車型覆蓋。這里面說(shuō)明兩個(gè)問(wèn)題，第一是大家對(duì)主動(dòng)安全的意識(shí)有提升，第二是在車載視覺(jué)傳感器的領(lǐng)域，大家開始慢慢接受雙目的傳感器。

目前博世、大陸、日立、奧托立夫、電裝這些大企業(yè)都在研發(fā)、采用，以及加快腳步推行他們的雙目視覺(jué)產(chǎn)品。

上圖中日立裝在斯巴魯上的雙目相機(jī)，它的基線是比較長(zhǎng)的。另外，博世為捷豹路虎提供雙目相機(jī)，大陸為寶馬提供雙目相機(jī)，奧托立夫?yàn)楸捡Y提供雙目模組，他們做得都是非常好的。

在這個(gè)大環(huán)境下，中科慧眼也推出了我們的全車規(guī)的雙目模組，我們給它取名叫巖石城。

下面是我們和主流的車規(guī)級(jí)雙目立體相機(jī)參數(shù)的對(duì)比。

表中，雙目相機(jī)的距離，我們稱之為基線。雙目相機(jī)離得越遠(yuǎn)，基線越長(zhǎng)，就可能看得越遠(yuǎn)。但是有個(gè)弊端，雙目相機(jī)看得越遠(yuǎn)，近距離的盲區(qū)就可能越大。我們根據(jù)國(guó)人的駕駛習(xí)慣，還有國(guó)內(nèi)的路況，選擇了一個(gè)折中的方案，我們做了12厘米基線的雙目模組，在2米至100米的范圍內(nèi)，最大測(cè)距誤差3%。

下圖是雙目視覺(jué)的左右相機(jī)成像數(shù)據(jù)，還有的立體匹配視差的偽彩色圖像，冷色系表示遠(yuǎn)，暖色系表示近，每一個(gè)像素都有一個(gè)距離值，最終就形成這樣一個(gè)深度圖，這就是從實(shí)景成像到深度圖的轉(zhuǎn)換過(guò)程。

上面是我們的一個(gè)路測(cè)視頻，可以看到這里面過(guò)馬路的人和非機(jī)動(dòng)車，可以直接通過(guò)深度圖做出較好的障礙物分割。我們都知道單目視覺(jué)是建立在數(shù)據(jù)庫(kù)基礎(chǔ)上的，比如說(shuō)針對(duì)行人，需要把他們的樣本拍攝下來(lái)，他的正面、側(cè)面，等各個(gè)姿態(tài)的圖像，以供視覺(jué)訓(xùn)練建模。在實(shí)際應(yīng)用場(chǎng)景成像中如果有行人出現(xiàn)，系統(tǒng)就可能識(shí)別出行人目標(biāo)，并通過(guò)行人的圖像大小估算距離，這是單目視覺(jué)的大致原理。雙目視覺(jué)的原理是可以不依賴先驗(yàn)數(shù)據(jù)庫(kù)，直接通過(guò)深度圖像做環(huán)境分割。我們所謂的分割是說(shuō)，我們提取了這個(gè)點(diǎn)云圖，以地面為界，與地面接觸的成一定距離聚類的區(qū)域，我們稱為障礙物。所謂的障礙物，在車輛安全這一塊，我們都是不建議去碰撞的，而且它是針對(duì)所有的物體，我不需要認(rèn)識(shí)他是誰(shuí)，我只需要判定他是否是危險(xiǎn)的障礙物。

我們的雙目測(cè)距的方式有兩種，一種是基于面的測(cè)距，一種是基于邊的測(cè)距?；诿娴臏y(cè)距，我們大部分是針對(duì)無(wú)人駕駛或者自動(dòng)駕駛的車輛，比如說(shuō)百度的阿波龍無(wú)人駕駛車，還有無(wú)人送貨車，基本上都是用的上面這種基于面提取的點(diǎn)云圖。還有一種是基于邊匹配的，這是我們基于邊的一個(gè)點(diǎn)云圖。我們希望下面的這個(gè)數(shù)據(jù)用于智能駕駛或者輔助駕駛?；诿娴狞c(diǎn)云非常稠密，需要的計(jì)算量更大。

剛才我大致回顧了一下我們雙目立體相機(jī)的原理，包括它中間的一些數(shù)據(jù)，包括它的一些測(cè)距流程，看看我們的雙目相機(jī)大致能用到哪些領(lǐng)域呢？后面講的就是我們市場(chǎng)化的一些領(lǐng)域。第一是支持二次開發(fā)的雙目立體相機(jī)模組，可以利用我們的雙目相機(jī)點(diǎn)云，做這樣一些應(yīng)用，包括有無(wú)人送貨車、環(huán)衛(wèi)車、無(wú)人巴士，還有和JMC合作的無(wú)人輕客車?？梢钥吹轿覀兯\(yùn)用的場(chǎng)景和領(lǐng)域是比較廣的，它不僅僅是針對(duì)正規(guī)車輛，像這些特種車輛，只要是要實(shí)行無(wú)人化，或者是實(shí)行自動(dòng)駕駛，都會(huì)用到我們的雙目傳感器。

后面還有一些更特殊的領(lǐng)域，這些領(lǐng)域可能有的大家都接觸不到，但是我們是很了解的。下圖中第一個(gè)水質(zhì)監(jiān)測(cè)船，以后中國(guó)的內(nèi)海地區(qū)大概一到兩公里都會(huì)布置一艘水質(zhì)檢測(cè)船，因?yàn)楝F(xiàn)在大家對(duì)環(huán)境污染這一塊是很在意的。第二個(gè)是無(wú)人駕駛的收割機(jī)，是用在大的農(nóng)場(chǎng)的。還有無(wú)人駕駛的火車，以及無(wú)人駕駛警察巡檢車，它也是固定路線、固定拍照的。我們講到火車自動(dòng)駕駛的時(shí)候，大家可能會(huì)說(shuō)，你這是吹牛的吧，火車怎么自動(dòng)駕駛？你們可以看到這種火車不是通常意義上的火車，它的一是在大的站場(chǎng)里面的火車，比如說(shuō)鋼鐵廠、煤廠，它是固定路線，來(lái)回運(yùn)動(dòng)的，它就是把煤從這邊搬到那邊，把鋼材從這邊搬到那邊，所以它是固定路線的，又是固定速度的。在鋼鐵和煤廠的環(huán)境下，是不適合人在里面去操作的，對(duì)人的健康是有一定影響的，所以他們現(xiàn)在在利用能落地的高科技的東西，把它做成自動(dòng)駕駛。

這是我們針對(duì)上面所說(shuō)的各種項(xiàng)目做的各種雙目相機(jī)。最后這個(gè)已經(jīng)是一個(gè)四目相機(jī)，這是我們下一代會(huì)推的，因?yàn)槁淖詣?dòng)駕駛汽車上路了，它就必須要識(shí)別車牌、速度、紅綠燈，通過(guò)四目相機(jī)可以識(shí)別。前面是我們的雙目相機(jī)，就是針對(duì)剛才我講到的那些不同項(xiàng)目的車型、不同種類的車型開發(fā)的立體相機(jī)。這里面會(huì)牽涉到一個(gè)非常重要的能力，就是工業(yè)設(shè)計(jì)的能力，在不同項(xiàng)目的開發(fā)中，它的重要性是不可替代的，因?yàn)樗鼤?huì)了解它的使用環(huán)境，包括雙目相機(jī)的結(jié)構(gòu)設(shè)計(jì)，包括搭配它這個(gè)產(chǎn)業(yè)的外觀，讓客戶第一眼能夠看到我們的產(chǎn)品是專業(yè)的，也是符合他的產(chǎn)品氣質(zhì)的。

從下圖大家可以看到不同焦距、不同視角，適應(yīng)不同車速的應(yīng)用場(chǎng)景。最小的3毫米、4毫米焦距的相機(jī)，大部分是針對(duì)室內(nèi)的，比如說(shuō)AGV、室內(nèi)機(jī)器人，在低速狀態(tài)下使用。6毫米到8毫米焦距的是針對(duì)一些中速度的無(wú)人駕駛場(chǎng)景，比如說(shuō)阿波龍，用的就是6毫米焦距。10到12毫米焦距就是運(yùn)用于自動(dòng)駕駛這個(gè)常規(guī)場(chǎng)景上的焦距。到25毫米焦距的時(shí)候，就是應(yīng)用在一些非?？焖俚念I(lǐng)域，比如說(shuō)快速列車，應(yīng)用在很快的速度場(chǎng)景下。

前面講的都是我們的雙目相機(jī)應(yīng)用于各種自動(dòng)駕駛、無(wú)人駕駛領(lǐng)域的場(chǎng)景，接下來(lái)就是稍微接地氣一點(diǎn)的，也是在座的各位比較關(guān)注的品類，我們叫AEB。

AEB簡(jiǎn)單來(lái)說(shuō)就是汽車的自動(dòng)剎車，它有一個(gè)自動(dòng)控制的功能在里面。交通部在今年3月份提出了一個(gè)1242的指導(dǎo)性文件，可能在座的很多人都知道這個(gè)協(xié)議。在AEB這個(gè)系統(tǒng)上我要講的是什么呢？可能之前大家做的更多的是輔助駕駛，它包括語(yǔ)音提示、圖像警示，沒(méi)有牽扯到對(duì)本車的干預(yù)，所以在行駛過(guò)程中，大家可能覺(jué)得有一點(diǎn)，就是我們的產(chǎn)品剛裝上去一個(gè)月的時(shí)候，你會(huì)覺(jué)得好像有點(diǎn)用，因?yàn)樗膱?bào)警聲，你會(huì)覺(jué)得好像前面是有狀況了，我要看一下。但是當(dāng)你用上三個(gè)月以后，你就已經(jīng)習(xí)慣了它的聲音，不覺(jué)得這是一個(gè)警示音，而且你的語(yǔ)音做得越好聽(tīng)，就越容易忽略。在AEB這個(gè)場(chǎng)景下，只是提示音就行不通了。只是提示的話，駕駛者看見(jiàn)了就看見(jiàn)了，我看不見(jiàn)你也不能怪我。所以在之前的ADAS這個(gè)領(lǐng)域，大家都是在預(yù)警、提示，當(dāng)我們出現(xiàn)疲勞駕駛的時(shí)候，特別是針對(duì)大客車、大貨車，在疲勞駕駛的時(shí)候，你提示他是沒(méi)太多作用的，必須加入主動(dòng)的干預(yù)，所以我們就推出了主動(dòng)控制類別的產(chǎn)品，叫自動(dòng)緊急剎車系統(tǒng)。

左邊上面是我們的實(shí)景圖，下面是錄屏的點(diǎn)云圖，可以看到上面的實(shí)景和下面的區(qū)別。第二幅是我們夜測(cè)的視頻，可以看到我們的相機(jī)識(shí)別是非常明朗化的。第三個(gè)視頻是我們?cè)?a href="http://www.makelele.cn/analog/" target="_blank">模擬一個(gè)非標(biāo)物體突然沖到路中間的時(shí)候，我們的AEB的表現(xiàn)，你可以把它認(rèn)為是一個(gè)異形物體，因?yàn)檫@個(gè)并不像人。最后這個(gè)視頻是我們拿了一個(gè)模特站在路中間，也是測(cè)試我們的雙目相機(jī)對(duì)它的識(shí)別。所以我一直強(qiáng)調(diào)的是，咱們的雙目立體相機(jī)是不用針對(duì)標(biāo)準(zhǔn)物體，我針對(duì)非標(biāo)物體也是可以判別的，因?yàn)樵趧x車這個(gè)領(lǐng)域，比如說(shuō)路中間一個(gè)石頭、一個(gè)草叢、一個(gè)灌木叢，包括是一棵樹，或者是一個(gè)沙發(fā)擺在路中間，有很多傳感器是不認(rèn)識(shí)它的，剎車就不會(huì)做得很精準(zhǔn)，雙目能完美地解決這樣一個(gè)問(wèn)題，我們會(huì)通過(guò)所有的點(diǎn)云圖像，提取的障礙物是非標(biāo)的。

下面是在福建的公交車上安裝的我們的產(chǎn)品，我們目前在寧波、福建、杭州都有列裝在公交車上，用戶的體驗(yàn)非常好。

右圖這是我們應(yīng)用于商用車的產(chǎn)品，是我們的二代產(chǎn)品，叫獵戶座。

我們的產(chǎn)品還能用到一些特種市場(chǎng)。大家可以看到這樣一個(gè)場(chǎng)景，我抓一個(gè)房車的應(yīng)用會(huì)比較有代表性。大家知道現(xiàn)在的年輕人，包括90后甚至00后，他們不再滿足于去一個(gè)固定的景點(diǎn)旅游，他們現(xiàn)在比較流行找一些他自己喜歡的地方，約好幾個(gè)朋友一起開著房車出去旅游，這是未來(lái)慢慢會(huì)形成的一種比較流行的旅游方式，因?yàn)樗瓤梢宰约哼x景點(diǎn)，而且又解決了住宿的問(wèn)題，并且在野外，大家一起吃吃燒烤，這種場(chǎng)景想想都覺(jué)得挺美好的。但是這里面會(huì)有一個(gè)什么問(wèn)題呢？一般的房車都是租賃的，你不可能為了自己去旅游而買一輛房車放在家里，因?yàn)槟闫綍r(shí)也不怎么開，所以大部分的房車，都是做的租賃市場(chǎng)。租賃市場(chǎng)會(huì)牽扯到一個(gè)問(wèn)題，我們開慣了小車的情況下，再去開房車，對(duì)于房車的車寬車高，你沒(méi)有專業(yè)的判斷能力。你開慣了小車，不會(huì)在意它會(huì)不會(huì)撞到限高桿、會(huì)不會(huì)撞到橋墩。在這種情況下，就很容易發(fā)生圖中這樣的事故。但是作為房車來(lái)說(shuō)，這種事故是絕對(duì)要杜絕的，因?yàn)橐话惴寇嚿厦孢@個(gè)部分都是床，可能自己的小孩或者妻子在上面，要么在睡覺(jué)，要么在玩，你如果一旦撞上去，我相信這個(gè)旅途是不會(huì)愉快的。針對(duì)這樣一個(gè)運(yùn)行的痛點(diǎn)，我們也做了一個(gè)特殊的雙目相機(jī)，我們叫睿目S1。

（視頻播放）這是剛剛在杭州發(fā)生的一個(gè)事故，一個(gè)大的貨柜車，上面有一個(gè)人行天橋，在沒(méi)有限高的警示下，不覺(jué)得這是個(gè)問(wèn)題，它就直接開過(guò)去了，大家可以看到這個(gè)天橋被撞掉下來(lái)了。在這個(gè)場(chǎng)景下，如果之前有報(bào)警，就可能不會(huì)法身這樣的悲劇。這還是一個(gè)非典型的事件。剛才我們講的房車領(lǐng)域，那是很典型的一個(gè)事件。因此我們?cè)谙薷哌@個(gè)領(lǐng)域做了我們的產(chǎn)品，叫睿目S1。

為什么限高這個(gè)事情這么令人頭疼呢？第一是毫米波雷達(dá)或者是單目相機(jī)，它沒(méi)法做這么多分類。限高桿在不同的地方形態(tài)各異，有的是橋洞，有的是這種小桿，有的是一個(gè)大的鐵塊，而且這種一般是在一些偏遠(yuǎn)一點(diǎn)的地方，一般高一點(diǎn)的車輛在這種地方是過(guò)不去的，通過(guò)我們這個(gè)產(chǎn)品，可以避免車輛撞上限高桿。我們這個(gè)產(chǎn)品現(xiàn)在在多家商用車公司做了前裝定點(diǎn)，這個(gè)是非常剛性的一個(gè)需求。

車載雙目相機(jī)的研發(fā)過(guò)程是非常艱辛的，我們從2014年成立到現(xiàn)在，用了5年的時(shí)間，終于進(jìn)入了能量產(chǎn)化落地的階段，我們能找到這些市場(chǎng)，把我們的產(chǎn)品運(yùn)用到解決生活中的問(wèn)題上，我們也是比較開心的，當(dāng)然這個(gè)過(guò)程也是比較煎熬的。車載雙目相機(jī)的性價(jià)比是比較高的，而且市場(chǎng)前景是非常廣大的，所以我也希望在座的朋友們給予中科慧眼更多的支持和鼓勵(lì)，中科慧眼在雙目這個(gè)領(lǐng)域會(huì)一直做下去，而且會(huì)做得更好，盡可能多地解決我們生活中的很多問(wèn)題。