現(xiàn)在還有許多其他人正在競(jìng)相處理所有這些車(chē)輛傳感器數(shù)據(jù)。其中，東芝一直在發(fā)展其 Visconti 圖像識(shí)別處理器系列，以滿(mǎn)足日益苛刻的歐洲新車(chē)評(píng)估計(jì)劃 （Euro NCAP） 要求。

從 2014 年開(kāi)始，Euro NCAP 開(kāi)始根據(jù)主動(dòng)安全技術(shù)對(duì)車(chē)輛進(jìn)行評(píng)級(jí)，例如車(chē)道偏離警告 （LDW）、車(chē)道保持輔助 （LKA） 和自動(dòng)緊急制動(dòng) （AEB）。這些要求在 2016 年擴(kuò)展到日間行人 AEB 和速度輔助系統(tǒng) （SAS）。2018 年，這些要求將進(jìn)一步擴(kuò)大，包括夜間行人 AEB，以及日間和夜間騎車(chē)人 AEB（圖 1）。

圖 1.歐洲新車(chē)評(píng)估計(jì)劃 （Euro NCAP） 的要求近年來(lái)有所擴(kuò)展，包括許多高級(jí)駕駛員輔助系統(tǒng) （ADAS） 功能。

為了滿(mǎn)足能夠在白天和夜間環(huán)境中準(zhǔn)確識(shí)別移動(dòng)和靜止物體的視覺(jué)系統(tǒng)的需求，東芝的 TMPV7608XBG Visconti4 處理器等圖像識(shí)別處理器采用了一套計(jì)算技術(shù)（圖 2）。除了 CPU 和 DSP 之外，8 個(gè)硬件加速模塊使設(shè)備能夠高效地執(zhí)行高度專(zhuān)業(yè)化的汽車(chē)計(jì)算機(jī)視覺(jué) （CV） 工作負(fù)載，例如仿射變換（線性映射）、過(guò)濾、直方圖、匹配和金字塔圖像生成。

圖 2. Toshiba TMPV7608XBG Visconti4 圖像識(shí)別處理器利用 CPU、圖像處理引擎 （DSP） 和圖像處理加速器（硬件加速器）來(lái)計(jì)算一系列汽車(chē)計(jì)算機(jī)視覺(jué) （CV） 工作負(fù)載。

TMPV7608XBG 上的兩個(gè)新硬件加速模塊專(zhuān)門(mén)解決了夜間和移動(dòng)/靜止物體檢測(cè)的挑戰(zhàn)：增強(qiáng)的定向梯度共現(xiàn)直方圖 （CoHOG） 和運(yùn)動(dòng)結(jié)構(gòu) （SfM） 加速器。

對(duì)于夜間 ADAS 應(yīng)用，增強(qiáng)型 CoHOG 加速器通過(guò)結(jié)合基于亮度和顏色的特征描述符來(lái)抵消物體與其周?chē)h(huán)境之間的低對(duì)比度，從而超越了傳統(tǒng)的模式識(shí)別。據(jù)東芝稱(chēng)，增強(qiáng)型 CoHOG 加速器不僅可以減少物體識(shí)別所需的時(shí)間，而且可以在夜間實(shí)現(xiàn)與白天一樣可靠的行人檢測(cè)。

同時(shí)，SfM 加速器使用來(lái)自單目相機(jī)的連續(xù)圖像來(lái)開(kāi)發(fā)高度、寬度和到對(duì)象距離的三維估計(jì)（圖 3）。因此可以在沒(méi)有任何學(xué)習(xí)曲線的情況下檢測(cè)靜止物體，并且可以應(yīng)用運(yùn)動(dòng)分析和模式識(shí)別來(lái)檢測(cè)運(yùn)動(dòng)物體，例如行人或車(chē)輛。由于 3D 信息減少了圖像中的感興趣區(qū)域，ADAS 系統(tǒng)能夠更快地識(shí)別障礙物并做出反應(yīng)。

圖 3. TMPV7608XBG 的運(yùn)動(dòng)結(jié)構(gòu) （SfM） 加速器使用三維映射來(lái)檢測(cè)靜止和移動(dòng)物體。

這些加速器與 TMPV7608XBG 的 DSP 子系統(tǒng)中的八個(gè)媒體處理引擎 （MPE） 一起運(yùn)行，每個(gè)都配備雙精度浮點(diǎn)單元 （FPU）。因此，該設(shè)備可以同時(shí)并行執(zhí)行 8 個(gè)圖像識(shí)別應(yīng)用程序，響應(yīng)時(shí)間為 50 毫秒。以 266.7 MHz 的時(shí)鐘頻率運(yùn)行，與之前的 Visconti 處理器相比，這意味著處理時(shí)間減少了 50%（圖 5）。

圖 5. TMPV7608XBG Visconti4 處理器的性能與上一代 Visconti 處理器相比，處理時(shí)間減少了 50%。

東芝公開(kāi)的 Visconti4 圖像識(shí)別處理器設(shè)計(jì)中標(biāo)包括 DENSO Corporation 的基于前置攝像頭的主動(dòng)安全系統(tǒng)。

人工智能和自動(dòng)駕駛對(duì)計(jì)算的需求

但圖像處理只是當(dāng)今汽車(chē)安全系統(tǒng)中的一塊拼圖。除了攝像頭之外，現(xiàn)代 ADAS 應(yīng)用和半自動(dòng)車(chē)輛還依賴(lài)于雷達(dá)、激光雷達(dá)、接近傳感器、GPS、車(chē)聯(lián)網(wǎng) （V2X） 連接和其他有源組件的輸入。來(lái)自所有這些輸入的數(shù)據(jù)必須實(shí)時(shí)處理、分析和融合，以便在危險(xiǎn)情況下迅速采取糾正措施。

人工智能 （AI） 似乎是在自動(dòng)和半自動(dòng)車(chē)輛用例中執(zhí)行駕駛策略和做出實(shí)時(shí)決策的理想技術(shù)。然而，傳統(tǒng)的基于云的 AI 實(shí)現(xiàn)不適合汽車(chē)安全應(yīng)用，這主要是因?yàn)榕c數(shù)據(jù)傳輸相關(guān)的延遲，還因?yàn)殡[私、安全、成本和網(wǎng)絡(luò)覆蓋問(wèn)題。

作為替代方案，能夠運(yùn)行片上人工或深度神經(jīng)網(wǎng)絡(luò) （ANN/DNN） 的超級(jí)計(jì)算機(jī)級(jí)處理器正在被設(shè)計(jì)到特斯拉等汽車(chē)安全系統(tǒng)的電子控制單元 （ECU） 中。例如，NVIDIA 聲稱(chēng)其 Drive PX Pegasus 平臺(tái)的變體將提供高達(dá)每秒 320 萬(wàn)億次深度學(xué)習(xí)操作 （TOPS），這對(duì)于 5 級(jí)自動(dòng)駕駛汽車(chē)來(lái)說(shuō)已經(jīng)足夠了。

不幸的是，這些處理器也有其自身的挑戰(zhàn)。除了相當(dāng)大的功耗和單位成本外，這些芯片的裸片尺寸也很大（圖 7）。如果將每年生產(chǎn)的大約 1 億輛汽車(chē)中的每輛都考慮到一個(gè)這樣的處理器，那么汽車(chē)市場(chǎng)的需求量將是目前為智能手機(jī)生產(chǎn)的芯片的三倍。這遠(yuǎn)遠(yuǎn)超過(guò)了當(dāng)前的硅晶片制造能力。

圖 7.雖然高性能處理器提供了運(yùn)行片上神經(jīng)網(wǎng)絡(luò)以實(shí)現(xiàn)完全自動(dòng)駕駛的計(jì)算能力，但目前生產(chǎn)它們所需的芯片尺寸超過(guò)了硅晶圓的制造能力。資料來(lái)源：英偉達(dá)和伯恩斯坦研究。

同樣，DSP IP 模塊提供的解決方案更適合嵌入式汽車(chē)用例，CEVA 深度神經(jīng)網(wǎng)絡(luò) （CDNN） 就是一個(gè)例子。CDNN 包括神經(jīng)網(wǎng)絡(luò)生成器、軟件框架和硬件加速器，專(zhuān)為與 CEVA-XM 成像和視覺(jué) DSP 內(nèi)核配合使用（圖 8）。這里的價(jià)值主張是降低功耗、降低成本以及在整個(gè)系統(tǒng)設(shè)計(jì)中分配智能的能力。

圖 8. CEVA 深度神經(jīng)網(wǎng)絡(luò) （CDNN） 是一個(gè)用于在嵌入式 DSP 上開(kāi)發(fā)、生成和部署神經(jīng)網(wǎng)絡(luò)的工具包。

CDNN 的核心是像 CEVA-XM6 這樣的 DSP，它包括矢量和標(biāo)量處理單元以及 3D 數(shù)據(jù)處理模式。矢量和標(biāo)量處理單元使 -XM6 非常適合傳感器數(shù)據(jù)融合，而其 3D 數(shù)據(jù)處理方案有助于加速神經(jīng)網(wǎng)絡(luò)性能（圖 9）。在 CDNN 環(huán)境中，這些 DSP 配備一個(gè)或多個(gè)硬件加速器，在卷積神經(jīng)網(wǎng)絡(luò) （CNN） 處理中每個(gè)周期提供 512 次乘法累加 （MAC） 操作。所有其他神經(jīng)網(wǎng)絡(luò)層——任何類(lèi)型或數(shù)量——都由 DSP 本身運(yùn)行。

圖 9.矢量和標(biāo)量處理單元與 3D 數(shù)據(jù)處理方案相結(jié)合，使 CEVA-XM6 DSP 非常適合汽車(chē)安全和人工智能工作負(fù)載。

但 CDNN 工具包的獨(dú)特之處在于 CEVA 網(wǎng)絡(luò)生成器。網(wǎng)絡(luò)生成器將在 Caffe 和 TensorFlow 等框架中開(kāi)發(fā)的預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為可以在嵌入式系統(tǒng)中運(yùn)行的實(shí)時(shí)神經(jīng)網(wǎng)絡(luò)模型。從那里，第二代 CDNN 軟件框架可用于應(yīng)用程序調(diào)整。

據(jù) CEVA， Inc. 稱(chēng)，CDNN 工具包處理 CNN 的速度比基于 GPU 的替代方案快四倍，能效提高 25 倍。該公司負(fù)責(zé)市場(chǎng)情報(bào)、投資者和公共關(guān)系的副總裁 Richard Kingston 表示，該技術(shù)目前在汽車(chē)領(lǐng)域獲得了超過(guò)五項(xiàng)設(shè)計(jì)勝利，著名的合作伙伴是安森美半導(dǎo)體、NEXTCHIP 以及正在使用的一級(jí)汽車(chē) OEM它在完全自主的車(chē)輛設(shè)計(jì)中。

審核編輯：郭婷