在許多人的印象中，自動(dòng)駕駛的測(cè)試是一項(xiàng)有些樸實(shí)無(wú)華的工作，測(cè)試人員坐在車(chē)?yán)锊煌５刂貜?fù)行駛，非常重要但又難以出彩。不過(guò)事實(shí)并非這樣，實(shí)車(chē)測(cè)試只是測(cè)試工作的一個(gè)部分，大量有趣的技術(shù)和精彩的瞬間其實(shí)出現(xiàn)在實(shí)車(chē)之外。

比如，開(kāi)發(fā)各種各樣的測(cè)試工具，打造自動(dòng)化的測(cè)試流水線，找出萬(wàn)中無(wú)一的特殊場(chǎng)景，等等。而在Nullmax，測(cè)試工作還有更多精彩有趣的地方，特別是富有特色的自動(dòng)駕駛感知測(cè)試，堪稱(chēng)「問(wèn)題殺手」。

作為Nullmax量產(chǎn)工程的重要一環(huán)，感知測(cè)試聚焦于核心的感知層面，將測(cè)試的環(huán)節(jié)前移和細(xì)化到系統(tǒng)的上游，通過(guò)大量的技術(shù)手段來(lái)更早地發(fā)現(xiàn)問(wèn)題、解決問(wèn)題。

以數(shù)據(jù)說(shuō)話，用技術(shù)「找茬兒」

對(duì)于感知測(cè)試來(lái)說(shuō)，最基礎(chǔ)的工作是針對(duì)各項(xiàng)感知任務(wù)展開(kāi)深入細(xì)致的測(cè)試，結(jié)合完善的測(cè)評(píng)體系和詳細(xì)的測(cè)試指標(biāo)進(jìn)行全面的定量分析，用數(shù)據(jù)和事實(shí)發(fā)現(xiàn)問(wèn)題，改善性能。

比如測(cè)試一項(xiàng)感知任務(wù)，那么場(chǎng)景既要包括直道也要包括彎道，還要涵蓋和白天和夜間，并且需要考慮不同類(lèi)型的車(chē)輛目標(biāo)，輸出詳細(xì)的測(cè)試報(bào)告。并非是僅僅告知好或者不好，哪里好或者哪里不好，而是既要有性能的整體評(píng)估，還要有各種場(chǎng)景下每項(xiàng)指標(biāo)的具體數(shù)據(jù)。

除此之外，感知測(cè)試還開(kāi)發(fā)了一整套無(wú)監(jiān)督發(fā)現(xiàn)問(wèn)題的自動(dòng)化腳本，配合感知的日常開(kāi)發(fā)。當(dāng)工程師修改完代碼以后，可以通過(guò)這套腳本和高效的自動(dòng)化數(shù)據(jù)平臺(tái)，預(yù)先檢查任務(wù)效果，發(fā)現(xiàn)潛在的問(wèn)題。這樣可以將感知測(cè)試的環(huán)節(jié)進(jìn)一步前移，而不是在感知交付后再進(jìn)行測(cè)試。

這套無(wú)監(jiān)督發(fā)現(xiàn)問(wèn)題的方法，可以在沒(méi)有“參考答案”的無(wú)真值情況下，根據(jù)時(shí)序和物理異常值去篩選出問(wèn)題數(shù)據(jù)。比如，在相機(jī)輸入的連續(xù)幀圖片中，障礙物速度的不合理變化，障礙物類(lèi)型的來(lái)回跳變，車(chē)身傾角的左右大幅擺動(dòng)，明顯不合真實(shí)世界的運(yùn)動(dòng)邏輯，再比如車(chē)身尺寸、速度、位置明顯違背物理常識(shí)等等，這些異常背后很可能存在一些感知的問(wèn)題。

有了這些自動(dòng)化的腳本，這種異常數(shù)據(jù)很容易找出，潛在的問(wèn)題能夠被輕松發(fā)現(xiàn)，也不需要測(cè)試人員進(jìn)行監(jiān)督，可以極大程度地節(jié)省開(kāi)發(fā)和測(cè)試時(shí)間。

感知測(cè)試也會(huì)「自動(dòng)駕駛」

實(shí)際上，這些無(wú)監(jiān)督發(fā)現(xiàn)問(wèn)題的手段只是Nullmax高效感知測(cè)試的一部分。Nullmax在感知層面構(gòu)建了完整的CI/CD流程，持續(xù)集成、持續(xù)測(cè)試、持續(xù)開(kāi)發(fā)，以大量自動(dòng)化的工具提升感知環(huán)節(jié)的開(kāi)發(fā)、測(cè)試、集成效率。

比如，在開(kāi)發(fā)一個(gè)功能或者修復(fù)某個(gè)bug之后，工程師其實(shí)既不知道最終的效果，也不清楚這些功能和改動(dòng)是否會(huì)帶來(lái)負(fù)面的影響。因?yàn)橛袝r(shí)候代碼會(huì)牽一發(fā)而動(dòng)全身，有一定的概率出現(xiàn)A任務(wù)代碼影響B(tài)任務(wù)效果的情況。這種情況很少被關(guān)注，而且在初期的時(shí)候不易發(fā)現(xiàn)，但是一旦暴露在系統(tǒng)層面，就到了偏晚的階段，需要耗費(fèi)更大的力氣去解決。

但是感知層面有了完整的自動(dòng)化流程后，通過(guò)回歸測(cè)試，就可以自動(dòng)化地驗(yàn)證問(wèn)題，避免這類(lèi)情況。比如，感知軟件解決測(cè)距測(cè)速不準(zhǔn)的問(wèn)題，那么工程師在修復(fù)代碼后可以直接根據(jù)問(wèn)題的編號(hào)找到對(duì)應(yīng)的數(shù)據(jù)，借助數(shù)據(jù)回灌初步評(píng)估修復(fù)效果，然后再將代碼上傳到軟件倉(cāng)庫(kù)。

在這之后，云端的一整套感知測(cè)試環(huán)境，自動(dòng)化地評(píng)估修復(fù)的效果，確認(rèn)是修復(fù)了單一具體問(wèn)題，還是為一系列的類(lèi)似情況帶來(lái)了全面的提升，包括有沒(méi)有因?yàn)樾迯?fù)帶來(lái)其他的問(wèn)題。這套環(huán)境會(huì)根據(jù)當(dāng)次的提交內(nèi)容和關(guān)聯(lián)的Bug ID，自動(dòng)化地抽取數(shù)據(jù)庫(kù)中對(duì)應(yīng)標(biāo)簽的大量問(wèn)題數(shù)據(jù)進(jìn)行測(cè)試。

Nullmax這一整套感知的CI/CD流程不需要任何的手動(dòng)操作，通過(guò)背后高效的自動(dòng)化數(shù)據(jù)平臺(tái)，感知開(kāi)發(fā)、測(cè)試、集成的整套流程可以完全自動(dòng)化地完成，不僅極大程度降低了人力和時(shí)間的需求，同時(shí)更加全面、深入地檢測(cè)了感知問(wèn)題的修復(fù)效果。

在自動(dòng)駕駛行業(yè)，部分企業(yè)將CI/CD運(yùn)用到了系統(tǒng)層面的開(kāi)發(fā)當(dāng)中，Nullmax更進(jìn)一步，將CI/CD深入地運(yùn)用到感知層面，這使得Nullmax的整體開(kāi)發(fā)尤為高效。因?yàn)楦兄鳛樽詣?dòng)駕駛的上游環(huán)節(jié)，存在的問(wèn)題很容易傳遞到下游的規(guī)控，影響系統(tǒng)的表現(xiàn)，Nullmax將CI/CD深化到感知層面，可以將大部分問(wèn)題扼殺在搖籃當(dāng)中。

并且在軟件發(fā)版環(huán)節(jié)，Nullmax為感知部分的集成設(shè)置了節(jié)奏差，留出了發(fā)現(xiàn)問(wèn)題、解決問(wèn)題的時(shí)間。項(xiàng)目的開(kāi)發(fā)過(guò)程當(dāng)中，自動(dòng)駕駛的軟件系統(tǒng)會(huì)定期發(fā)版，將感知、規(guī)控、通信、中間件等所有內(nèi)容整合打包。在這之前，Nullmax會(huì)將感知部分先行單獨(dú)發(fā)版，然后通過(guò)自動(dòng)化工具和測(cè)試人員進(jìn)行測(cè)試，輸出具體報(bào)告，評(píng)估前期問(wèn)題的修復(fù)情況。

如果感知版本符合預(yù)期，就可以在之后的系統(tǒng)發(fā)版時(shí)直接集成，如果存在問(wèn)題，那么也還有時(shí)間繼續(xù)修改和測(cè)試。這樣可以極大程度地避免上游的感知問(wèn)題影響系統(tǒng)整體，而且更利于問(wèn)題的定位和系統(tǒng)的改進(jìn)，將系統(tǒng)發(fā)版和項(xiàng)目開(kāi)發(fā)的效率大幅提升。

數(shù)據(jù)「在環(huán)」，「雙商」在線

為了更好地支持自動(dòng)駕駛系統(tǒng)的開(kāi)發(fā)和落地，Nullmax打造了AI數(shù)據(jù)中樞，一套以視覺(jué)為核心、高度自動(dòng)化的一站式數(shù)據(jù)平臺(tái)，涵蓋數(shù)據(jù)采集、挖掘、標(biāo)注、模型訓(xùn)練、測(cè)試以及軟件的發(fā)版等全部環(huán)節(jié)。

在這當(dāng)中，感知測(cè)試在數(shù)據(jù)管理的部分做了大量的工作，將開(kāi)發(fā)所需的數(shù)據(jù)采集、管理的工具部署到了平臺(tái)之上，使得感知測(cè)試的數(shù)據(jù)能夠高效閉環(huán)，不僅可以更好采集數(shù)據(jù)，而且可以更好地利用數(shù)據(jù)。

當(dāng)感知、系統(tǒng)實(shí)車(chē)測(cè)試的時(shí)候，又或者專(zhuān)門(mén)的數(shù)據(jù)采集時(shí)，這些工具可以在車(chē)上自動(dòng)化地為數(shù)據(jù)打上標(biāo)簽，并且之后在云端完成更進(jìn)一步的細(xì)致處理，將所有感知的數(shù)據(jù)分門(mén)別類(lèi)，標(biāo)注各項(xiàng)屬性，包括所屬的問(wèn)題種類(lèi)、關(guān)聯(lián)的Bug ID等等。

這樣在后續(xù)修復(fù)bug的時(shí)候，只需要輸入對(duì)應(yīng)的Bug ID，這一類(lèi)型的所有問(wèn)題都可以直接關(guān)聯(lián)。當(dāng)工程師上傳修復(fù)代碼的時(shí)候，同類(lèi)型、關(guān)聯(lián)類(lèi)型的問(wèn)題也都可以自動(dòng)化地測(cè)試一遍，確認(rèn)問(wèn)題徹底修復(fù)。所有前期收集的數(shù)據(jù)，最后都可以直接為功能的開(kāi)發(fā)、測(cè)試和迭代發(fā)揮作用。

實(shí)際上，Nullmax的自動(dòng)駕駛測(cè)試，包括感知測(cè)試在內(nèi)，都是技術(shù)性很強(qiáng)的重要工作，而且當(dāng)中的「AI含量」越來(lái)越高。不僅在當(dāng)前的研發(fā)和應(yīng)用當(dāng)中，測(cè)試工作變得更加智能高效，在大模型技術(shù)愈加成熟的今后，測(cè)試工作也會(huì)更具想象力。

結(jié)語(yǔ)

自動(dòng)駕駛需要通過(guò)測(cè)試及早全面地發(fā)現(xiàn)問(wèn)題，快速提升性能，同時(shí)也要通過(guò)測(cè)試來(lái)驗(yàn)證系統(tǒng)安全可靠，功能、性能符合要求。Nullmax將自動(dòng)駕駛的測(cè)試細(xì)化、前移到上游的感知層面，不僅讓整個(gè)開(kāi)發(fā)的過(guò)程更加高效，也令量產(chǎn)的質(zhì)量更有保證。

審核編輯：彭菁