[首發(fā)于智駕最前沿微信公眾號(hào)]自動(dòng)駕駛中常提的Transformer本質(zhì)上是一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，最早在自然語(yǔ)言處理里火起來(lái)。與卷積神經(jīng)網(wǎng)絡(luò)（CNN）或循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）不同，Transformer能夠自動(dòng)審視所有輸入信息，并動(dòng)態(tài)判斷哪些部分更為關(guān)鍵，同時(shí)可以將這些重要信息有效地關(guān)聯(lián)起來(lái)。

這種能力對(duì)自動(dòng)駕駛來(lái)說(shuō)至關(guān)重要。由于駕駛場(chǎng)景復(fù)雜多變，自動(dòng)駕駛系統(tǒng)需要同時(shí)處理來(lái)自攝像頭、毫米波雷達(dá)、激光雷達(dá)和高精地圖等多種來(lái)源的數(shù)據(jù)，還要理解車輛、行人等參與者之間隨時(shí)間的動(dòng)態(tài)交互。傳統(tǒng)方法在應(yīng)對(duì)這種多模態(tài)、長(zhǎng)時(shí)序的信息關(guān)聯(lián)時(shí)會(huì)感覺(jué)力不從心，而Transformer的架構(gòu)特性剛好彌補(bǔ)了這些短板。

Transformer能將“前方100米處一個(gè)模糊的物體”、“旁邊車道一輛正在減速的汽車”以及“幾秒鐘前路口突然出現(xiàn)的行人”這些看似獨(dú)立的信息碎片，整合成一套統(tǒng)一的“輸入單元”。它會(huì)自動(dòng)在這些單元之間建立有用的聯(lián)系，最終提煉出對(duì)當(dāng)前駕駛決策最有價(jià)值的核心信息。這種強(qiáng)大的全局關(guān)聯(lián)能力，讓感知、預(yù)測(cè)和規(guī)劃這些原本界限分明的模塊，可以用一種更集成、更智能的方式協(xié)同工作。

01Transformer的核心機(jī)制：自注意力和多頭注意力

Transformer之所以強(qiáng)大，其關(guān)鍵在于“自注意力”機(jī)制。自注意力機(jī)制會(huì)將輸入的每一個(gè)元素（比如圖像的一塊patch、激光雷達(dá)的一個(gè)點(diǎn)）轉(zhuǎn)化為Query（查詢）、Key（鍵）、Value（值）這三種不同的向量：

查詢：可以理解為當(dāng)前元素提出的問(wèn)題：“我應(yīng)該關(guān)注誰(shuí)？”

鍵：是其他元素提供的標(biāo)識(shí)：“我是誰(shuí)？”

值：是其他元素所包含的實(shí)際信息：“我有什么內(nèi)容。”

查詢會(huì)和所有鍵做相似度比較，得到權(quán)重，再把這些權(quán)重作用到所有值上，最終得到這個(gè)位置的新表示。這個(gè)過(guò)程就是讓模型自己決定“我應(yīng)該關(guān)注哪些其他位置的信息來(lái)更新當(dāng)前位置的理解”。為了穩(wěn)定訓(xùn)練過(guò)程，注意力計(jì)算會(huì)通過(guò)一個(gè)縮放因子進(jìn)行調(diào)整。

Transformer不會(huì)只做一次注意力計(jì)算，而是采用“多頭注意力”，即可以同時(shí)進(jìn)行多組獨(dú)立的注意力運(yùn)算。這好比讓多個(gè)專家從不同角度分析同一段信息，有的專家專注于局部細(xì)節(jié)，有的專家則善于把握全局關(guān)系，他們最后會(huì)將見(jiàn)解綜合起來(lái)，形成更全面、更深刻的理解。

對(duì)于自動(dòng)駕駛中常見(jiàn)的時(shí)間序列問(wèn)題，Transformer可以輕松地將過(guò)去若干幀的數(shù)據(jù)作為輸入序列，通過(guò)注意力機(jī)制直接學(xué)習(xí)不同時(shí)刻之間的依賴關(guān)系。再輔以“位置編碼”來(lái)告知模型各個(gè)輸入單元的先后順序，從而有效地預(yù)測(cè)出車輛、行人未來(lái)的運(yùn)動(dòng)軌跡。

02Transformer對(duì)感知的好處

之前，感知里最常見(jiàn)的做法是用卷積網(wǎng)絡(luò)做圖像特征提取，再用專門的檢測(cè)頭（如Faster R-CNN、YOLO）做目標(biāo)檢測(cè)。Transformer做的就是把檢測(cè)問(wèn)題重新表述成了“一組查詢?nèi)テヅ鋱?chǎng)景里的物體”，這類方法（比如DETR、以及后續(xù)變體）減少了很多手工設(shè)計(jì)的錨框、NMS（非極大值抑制）等步驟，思路上更直接，也更統(tǒng)一。

1）長(zhǎng)距離與稀疏目標(biāo)的檢測(cè)更魯棒

得益于全局注意力，Transformer在分析一個(gè)遠(yuǎn)處的小目標(biāo)時(shí)，能夠同時(shí)參考近處的大物體和整體的場(chǎng)景上下文。這在目標(biāo)被部分遮擋或圖像分辨率有限的情況下尤其有用，模型可以依據(jù)其他相關(guān)線索推斷出“那可能是一個(gè)行人”或“遠(yuǎn)處有一輛?？康能囕v”。

2）多模態(tài)融合更自然

自動(dòng)駕駛車輛裝備了如攝像頭、毫米波雷達(dá)和激光雷達(dá)等傳感器，Transformer則提供了一個(gè)統(tǒng)一的框架，可以將這些不同來(lái)源的數(shù)據(jù)都表示為“輸入單元”，然后通過(guò)跨模態(tài)注意力機(jī)制讓它們自由地交流信息。舉個(gè)例子，激光雷達(dá)提供的精確三維點(diǎn)云信息可以與攝像頭豐富的紋理、顏色信息相互補(bǔ)充，模型能自動(dòng)學(xué)習(xí)在何時(shí)、以何種方式信賴哪一種傳感器，實(shí)現(xiàn)真正意義上的早期融合。

3）端到端的檢測(cè)與跟蹤更容易結(jié)合

Transformer可以把檢測(cè)框、歷史軌跡、甚至ID信息都當(dāng)作token，讓模型同時(shí)做檢測(cè)和關(guān)聯(lián)，能減少后處理步驟，降低誤關(guān)聯(lián)（ID-switch）的概率。Transformer在多目標(biāo)跟蹤（MOT）領(lǐng)域的進(jìn)展，可以有效解決自動(dòng)駕駛里連續(xù)幀中物體身份保持的問(wèn)題。

03Transformer如何讓決策更有洞察力

預(yù)測(cè)其他道路參與者的未來(lái)軌跡，并規(guī)劃出自車的安全路徑，是自動(dòng)駕駛的核心任務(wù)，為實(shí)現(xiàn)這一目標(biāo)，需要模型具備強(qiáng)大的推理能力，能夠理解參與者之間復(fù)雜的時(shí)空交互。Transformer的自注意力機(jī)制在這里再次展現(xiàn)出巨大優(yōu)勢(shì)。

1）更好地建模交互行為

傳統(tǒng)方法在建模多智能體交互時(shí)會(huì)顯得比較僵硬。而Transformer的注意力機(jī)制天生就能計(jì)算任意兩個(gè)參與者之間的影響程度，并能動(dòng)態(tài)地將注意力聚焦在“關(guān)鍵參與者”上。如在通過(guò)一個(gè)無(wú)信號(hào)燈的路口時(shí)，Transformer能同時(shí)考慮左側(cè)來(lái)車、右側(cè)準(zhǔn)備橫穿的行人以及前方車輛的意圖，從而生成多種合理的未來(lái)概率分布，以便自動(dòng)駕駛汽車可以安全、高效地駕駛。

2）長(zhǎng)時(shí)記憶更友好

某些駕駛行為的預(yù)測(cè)需要回顧較長(zhǎng)的歷史信息。要預(yù)測(cè)一個(gè)行為，有時(shí)候需要回看很長(zhǎng)時(shí)間的過(guò)去狀態(tài)（比如某輛車的轉(zhuǎn)向燈在幾秒前就亮了，但始終慢速行駛，現(xiàn)在終于開(kāi)始并線）。Transformer對(duì)長(zhǎng)序列的處理比傳統(tǒng)LSTM等要更為穩(wěn)健，而且可以并行計(jì)算，訓(xùn)練效率會(huì)更高。當(dāng)然，為了處理更長(zhǎng)的歷史信息，需采用稀疏注意力、局部—全局混合機(jī)制或緩存機(jī)制來(lái)控制計(jì)算量。

3）規(guī)劃可以直接利用預(yù)測(cè)注意力

當(dāng)預(yù)測(cè)模塊和規(guī)劃模塊都基于Transformer構(gòu)建時(shí)，它們之間的信息流動(dòng)會(huì)更加順暢。規(guī)劃模塊不僅能看到預(yù)測(cè)模塊輸出的軌跡，甚至能“看到”預(yù)測(cè)過(guò)程中的注意力分布，即其他交通參與者最關(guān)心誰(shuí)。這為自車的決策提供了更深層次的上下文，如在通過(guò)一個(gè)擁擠路口時(shí)，自動(dòng)駕駛汽車可以對(duì)那個(gè)注意力高度分散、行為不確定的車輛保持更大的安全距離。

04最后的話

Transformer為自動(dòng)駕駛帶來(lái)了一種更強(qiáng)大、更靈活的“信息關(guān)聯(lián)與理解”的新范式。它讓機(jī)器能夠像人類一樣，更全面地審視復(fù)雜的駕駛環(huán)境，將不同來(lái)源、不同時(shí)間的信息融會(huì)貫通，從而做出更前瞻、更合理的決策。