如果我們回看整個智能汽車系統(tǒng)架構(gòu)的演進過程，汽車的電子電氣架構(gòu)經(jīng)歷了“直聯(lián)”，“總線”，“域控”三個階段，從離散走向集中，構(gòu)筑了硬件架構(gòu)變化的“三部曲”。

有意思的是，軟件架構(gòu)的發(fā)展過程，也存在著類似的變化。

當(dāng)下數(shù)據(jù)驅(qū)動的“自學(xué)習(xí)型”智能駕駛系統(tǒng)得到了行業(yè)越來越多的認可，整個學(xué)習(xí)系統(tǒng)的構(gòu)建也經(jīng)歷了三個階段。從傳統(tǒng)學(xué)習(xí)系統(tǒng)，到當(dāng)下行業(yè)主流的分布式深度學(xué)習(xí)系統(tǒng)，再到以特斯拉為代表的集中式深度學(xué)習(xí)系統(tǒng)，構(gòu)建了軟件架構(gòu)變化的“三部曲”。

傳統(tǒng)學(xué)習(xí)系統(tǒng)

首先就是傳統(tǒng)學(xué)習(xí)系統(tǒng)，主要由傳統(tǒng)機器學(xué)習(xí)和規(guī)則算法構(gòu)成，一個典型的例子就是DPM算法。其通過采用改進的HOG特征（人工設(shè)計特征），SVM分類器和滑動窗口（Sliding Windows）檢測，配合多組件（Component）外加圖結(jié)構(gòu)（Pictorial Structure）的檢測框架（類似下圖的多彈簧結(jié)構(gòu)）來完成檢測。此類方法使用了一部分規(guī)則算法，同時使用了一部分淺層的機器學(xué)習(xí)算法。

對于這一類系統(tǒng)，與其說這是數(shù)據(jù)學(xué)習(xí)系統(tǒng)，更不如說是工程師學(xué)習(xí)系統(tǒng)。實際上，在規(guī)則主導(dǎo)的算法系統(tǒng)里，真正獲得成長的是工程師而不是系統(tǒng)。如果把學(xué)習(xí)比作考場答題，那傳統(tǒng)機器學(xué)習(xí)和規(guī)則算法階段更像是直接把答案連同考題一起打印出來，打印機并沒有在這個過程中學(xué)習(xí)到任何東西。因此規(guī)則算法為主的系統(tǒng)，很難界定它為真正意義上的學(xué)習(xí)系統(tǒng)。

分布式深度學(xué)習(xí)系統(tǒng)

分布式深度學(xué)習(xí)系統(tǒng)主要由多個獨立的深度學(xué)習(xí)網(wǎng)絡(luò)構(gòu)成。深度學(xué)習(xí)原理的資料網(wǎng)絡(luò)上較多，這里簡單介紹，不做擴展。 深度學(xué)習(xí)屬于機器學(xué)習(xí)的一種，但不同于傳統(tǒng)機器學(xué)習(xí)算法，其可以滿足更為復(fù)雜的學(xué)習(xí)任務(wù)。一個標準的有監(jiān)督深度學(xué)習(xí)訓(xùn)練，主要由如下幾部分組成：原始數(shù)據(jù)樣本與對應(yīng)的真值，網(wǎng)絡(luò)模型結(jié)構(gòu)（先驗）以及對應(yīng)的損失函數(shù)（目標）。深度學(xué)習(xí)常用的訓(xùn)練方法是梯度下降和反向傳播，其訓(xùn)練過程涉及epoch/iteration/batch等關(guān)鍵參數(shù)的選取，初值以及最優(yōu)化器的選擇。 另外，訓(xùn)練完成后的評估階段，往往通過交叉驗證等方法，發(fā)現(xiàn)欠擬合或過擬合等訓(xùn)練問題，跟蹤模型的泛化性能力。通過方差與偏差或者第一二類錯誤等指標，評價模型的業(yè)務(wù)匹配度，并根據(jù)需求找到不同指標間的平衡，依照評估結(jié)構(gòu)重新調(diào)整模型結(jié)構(gòu)與訓(xùn)練過程。 深度學(xué)習(xí)雖被叫做“煉丹”，但各種要素之間也有其基本關(guān)系。整個學(xué)習(xí)過程中，數(shù)據(jù)的質(zhì)量和數(shù)量大體決定了模型的性能，模型結(jié)構(gòu)則決定了模型效果的上限，而訓(xùn)練過程決定了逼近上限的速度與程度。 面對復(fù)雜的訓(xùn)練過程，還需要配置更多的外圍系統(tǒng)，比如數(shù)據(jù)預(yù)處理系統(tǒng)（負責(zé)數(shù)據(jù)的生產(chǎn)，清洗和增強），訓(xùn)練評估管理系統(tǒng)（負責(zé)模型迭代基線的管理，超參調(diào)整管理，復(fù)雜模型評估等），數(shù)據(jù)部署系統(tǒng)（將模型從云端適配到業(yè)務(wù)終端）。

目前典型的深度學(xué)習(xí)（有監(jiān)督學(xué)習(xí)系統(tǒng)）可以說是一個真正意義上的可學(xué)習(xí)系統(tǒng)，其具有完整的數(shù)據(jù)收集、真值獲取、網(wǎng)絡(luò)訓(xùn)練和模型部署的過程環(huán)節(jié)。也是目前智能駕駛正在采用的主流方案。 但這種方案也在面臨困境，和分布式EEA架構(gòu)一樣，問題就出現(xiàn)在“分布”兩字。雖然各家的模型設(shè)計細節(jié)或者具體數(shù)據(jù)管道細節(jié)各不相同，但基本上都是多個有監(jiān)督訓(xùn)練網(wǎng)絡(luò)的獨立部署。 車道一個網(wǎng)絡(luò)、障礙物一個網(wǎng)絡(luò)、信號燈一個網(wǎng)絡(luò)。每個網(wǎng)絡(luò)都需要大量人工標注，且不同的標注數(shù)據(jù)都只能服務(wù)一個功能，不同數(shù)據(jù)之間缺少相互的貢獻。 還是以考場答題為例，雖然這次確實是一個學(xué)生正兒八經(jīng)地根據(jù)自己所學(xué)完成了這一次測試，可是其解答考題的方式更多是對相似的題庫，甚至考卷答案進行強制記憶，是一種典型的“鸚鵡學(xué)舌”。一個有意思的現(xiàn)象是，任何智能體包括人類在內(nèi)都深知“偷懶”的重要性。如果通過背誦答案和學(xué)習(xí)真正的知識點都能夠使自己通過考試（收益相等），智能體更愿意選擇前者，也就是說在分布的學(xué)習(xí)系統(tǒng)當(dāng)中，由于網(wǎng)絡(luò)只解決單一的任務(wù)，其便沒有動力去學(xué)習(xí)多個任務(wù)背后的共性特點。從而很大程度上致使其遺漏了部分“重要的知識”，我們在后續(xù)內(nèi)容中會具體展開這個過程。 為了解決分布式深度學(xué)習(xí)系統(tǒng)的困境，集中式深度學(xué)習(xí)系統(tǒng)開始出現(xiàn)。

集中式深度學(xué)習(xí)系統(tǒng)

集中式深度學(xué)習(xí)的構(gòu)成仍然是深度學(xué)習(xí)網(wǎng)絡(luò)，然而不同于分布式最大的特點主要表現(xiàn)在兩個方面，1. 云端訓(xùn)練以及車端部署往往采用單一網(wǎng)絡(luò)架構(gòu)。2.訓(xùn)練手段逐步開始采用弱監(jiān)督或者自監(jiān)督方法。

在工程實踐中我們會發(fā)現(xiàn)，人工智能不可能在脫離人類支持和控制的情況下，完成自我成長。但純粹依靠人類的標注，也無法達到人工智能持續(xù)成長所需的數(shù)據(jù)體量。因此，在很長一個周期內(nèi)，智能駕駛的發(fā)展必然會圍繞弱監(jiān)督系統(tǒng)展開。 也就是說，有監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)以及自（無）監(jiān)督學(xué)習(xí)會長期并存。有監(jiān)督學(xué)習(xí)是智力的“酵母”，而弱監(jiān)督與自監(jiān)督學(xué)習(xí)則是一個持續(xù)發(fā)酵的過程。 相比有監(jiān)督學(xué)習(xí)的填鴨式啟蒙教學(xué)，弱監(jiān)督學(xué)習(xí)更像是業(yè)務(wù)專家對學(xué)習(xí)系統(tǒng)的“點撥”，而自監(jiān)督則更多是師傅領(lǐng)進門后的個人修行。人類工程師逐級往后提供更少、更高維度且更為抽象的輸入來指導(dǎo)學(xué)習(xí)系統(tǒng)的成長。深入分析上述兩類學(xué)習(xí)系統(tǒng)的實踐經(jīng)驗，我們會發(fā)現(xiàn)幾個關(guān)鍵痛點: 第一，規(guī)則系統(tǒng)可以解釋但無法學(xué)習(xí)，而深度學(xué)習(xí)系統(tǒng)可以學(xué)習(xí)，但不可解釋，相當(dāng)于是“黑盒”。因此我們需要具有一定解釋能力的可學(xué)習(xí)系統(tǒng)，也就是“白盒”。 第二，我們希望盡可能地避免業(yè)務(wù)新增和轉(zhuǎn)變之后從零開始的數(shù)據(jù)標注問題，使數(shù)據(jù)可實現(xiàn)持續(xù)積累。 第三，盡可能地減少每個業(yè)務(wù)對標注工作的強需求，可以充分利用已有的知識積累，并減小人員負荷。 為了應(yīng)對以上這些痛點，基于多任務(wù)弱監(jiān)督的深度學(xué)習(xí)系統(tǒng)初見端倪，特斯拉在其“Data Pipeline and Deep Learning System for Autonomous Driving”的專利基本描述[0011]條上，做了如下解釋：其將感知提取作業(yè)作為單獨的數(shù)據(jù)組件（components），使用多層來實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)；將傳感器數(shù)據(jù)提取為兩個或更多個不同的數(shù)據(jù)分量。 例如，不同局部特征數(shù)據(jù)可以與全局數(shù)據(jù)分解為不同的數(shù)據(jù)成分；不同的數(shù)據(jù)組件提取數(shù)據(jù)以確保在機器學(xué)習(xí)網(wǎng)絡(luò)的適當(dāng)階段與位置進行準確的特征檢測。對不同的數(shù)據(jù)分量可以進行預(yù)處理以增強它們所包含的特定信號信息。數(shù)據(jù)分量可以被壓縮/或下采樣以增加資源和計算效率。

從這份專利描述和相關(guān)聯(lián)的信息中，我們可以隱約看出特斯拉正在采用的學(xué)習(xí)系統(tǒng)，極大概率就是使用了自監(jiān)督的框架的集中式深度學(xué)習(xí)系統(tǒng)。

自監(jiān)督下的集中式深度學(xué)習(xí)系統(tǒng)詳解

下圖對整個自監(jiān)督學(xué)習(xí)系統(tǒng)的構(gòu)成做一個介紹。我們會發(fā)現(xiàn)其和經(jīng)典的深度學(xué)習(xí)系統(tǒng)還是有著巨大的區(qū)別。 在各類文章中大家一定聽到過好多深度學(xué)習(xí)名詞，比如有監(jiān)督、標注輔助、對比學(xué)習(xí)、遷移學(xué)習(xí)、增強學(xué)習(xí)、半監(jiān)督學(xué)習(xí)等等。實際上結(jié)合智駕業(yè)務(wù)模型，我們能看到這些時下流行的名詞是如何被有機整合在一起，并解決傳統(tǒng)學(xué)習(xí)系統(tǒng)痛點的。毫不夸張的講，自監(jiān)督學(xué)習(xí)系統(tǒng)，在未來必然是整個智能駕駛閉環(huán)系統(tǒng)最為核心的部件。

自監(jiān)督學(xué)習(xí)給工具鏈帶來的變化

與傳統(tǒng)深度學(xué)習(xí)系統(tǒng)類似，整個學(xué)習(xí)系統(tǒng)分為數(shù)據(jù)采集、數(shù)據(jù)處理、訓(xùn)練、核心云端網(wǎng)絡(luò)設(shè)計、模型部署和最終集成等幾個基本環(huán)節(jié)。

1）數(shù)據(jù)采集

首先是車端采集策略的變化。 過去由于更多依賴人工標注，因此采集需要被標注的輸入（一般為圖片）就基本滿足數(shù)據(jù)搜集的要求，剩下的交給標注人員即可產(chǎn)生訓(xùn)練所需的真值。但在自監(jiān)督學(xué)習(xí)系統(tǒng)下，如果我們需要更好地發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)，就需要同時采集圖像外圍的關(guān)聯(lián)數(shù)據(jù)，比如，在時間維上將圖像記錄變?yōu)橐曨l記錄，在感知維上增加了額外的其他傳感器以及過程語義信息的記錄，部分間接真值數(shù)據(jù)（緊急剎車，檢測失效，用戶退出）也會被保存。 同時借由車端差異收集系統(tǒng)，對價值數(shù)據(jù)做初步過濾。特斯拉目前已經(jīng)采取了類似的策略，其使用車上8個攝像頭的視頻流數(shù)據(jù)進行標識，想比上一代系統(tǒng)效率提升了三個數(shù)量級。 視頻以及其他時間序列的記錄可以支持模型通過過去的序列預(yù)測未來的序列，多傳感器的接入可以增加更多效驗渠道，并提供跟多泛化回路。語義模型可以反映場景狀態(tài)更好地和司機行為關(guān)聯(lián)，發(fā)現(xiàn)潛在的標簽，從而將龐大體量的司機數(shù)據(jù)轉(zhuǎn)化為價值。采集策略的變化重點是增加潛在的關(guān)聯(lián)信息量，從而為后續(xù)自監(jiān)督系統(tǒng)可以正常工作提供基礎(chǔ)。

2）數(shù)據(jù)標注

數(shù)據(jù)上傳后對學(xué)習(xí)系統(tǒng)而言，最關(guān)鍵的就是真值數(shù)據(jù)的標注。 伴隨著深度學(xué)習(xí)網(wǎng)絡(luò)的延伸，原來由規(guī)則算法處理的視覺測距、融合、地圖、預(yù)測甚至規(guī)劃都開始使用深度學(xué)習(xí)方法。因此真值的定義也逐步擴大。 深度學(xué)習(xí)測距的成熟以及規(guī)則算法對俯仰角抖動問題的無奈，促使行業(yè)開始從2.5D標注轉(zhuǎn)向4D的標注，實際上是用三維空間加時間維的標注方法代替?zhèn)鹘y(tǒng)圖像2D標注+深度或者類型標注，甚至出現(xiàn)了5D、6D等更多維度的標注需求。當(dāng)然，3D的障礙物標注以至于更高維的標注已經(jīng)逐漸超出了人類可接受的范疇。 因此配合業(yè)務(wù)需求的升級以及數(shù)據(jù)采集標準的升級，真值標注系統(tǒng)的概念也已經(jīng)發(fā)生變化。過去的標注是一個勞動密集型行業(yè)，有標注工具以及標注人員就可以開通。而當(dāng)下的標注已經(jīng)逐步變成一個綜合性極高的業(yè)務(wù)，成為技術(shù)密集型行業(yè)。 半自動標注或者全自動化標注系統(tǒng)的設(shè)計范式已知的就有三十多種，從原來的圖像真值標注演化為一個更為廣義的概念，也就是如何為智能駕駛各個模塊的優(yōu)化迭代提供直接或者間接的學(xué)習(xí)素材。包括主動學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、編程標注、眾包、仿真迭代等。 無論采用何種手段，這個模塊的功能定位是明確的，就是為被訓(xùn)練模塊提供一種抽象意義上可能帶有噪聲的“真值標簽”。 只不過過去只有人工標注，而當(dāng)下可用的手段和存在形式就豐富了許多，對抗網(wǎng)絡(luò)、無標注數(shù)據(jù)、數(shù)據(jù)增強、輔助標注，甚至另一個網(wǎng)絡(luò)模型都可以成為一個生成“真值”的系統(tǒng)。

3）模型訓(xùn)練

緊接著我們要討論的是云端訓(xùn)練模型設(shè)計，其實施邏輯與經(jīng)典方法有著諸多不同。 過去不同的業(yè)務(wù)（障礙物檢測、車道檢測）都會采用獨立的模型，在控制訓(xùn)練穩(wěn)定性上要優(yōu)于有多個任務(wù)目標的多頭多任務(wù)模型，但這種簡單訓(xùn)練方法有著較為致命的問題——和整車，電子電氣架構(gòu)一樣，網(wǎng)絡(luò)學(xué)習(xí)模型也在走向集中化。因為孤立的網(wǎng)絡(luò)模型無法更有效的利用數(shù)據(jù)“能量”且同樣缺少靈活性。 仍然是考場答題的例子，如果通過考試是我們唯一的考量維度，你選擇把試卷隱含的所有知識點都理解透徹后參加考試？還是直接把答案背誦下來參加考試？一個理性人都會選擇后者，因為大腦本質(zhì)上是“懶惰”的，希望使用最小的能量和復(fù)雜度完成目標。 而這種懶惰的代價就是每個業(yè)務(wù)都要重新組織數(shù)據(jù)，過程笨拙無比。訓(xùn)練出來的網(wǎng)絡(luò)無法解釋自己，且多次業(yè)務(wù)迭代后也不會有持續(xù)的積累。這種情況和之前討論的電子電氣架構(gòu)的變革原因是類似的。 新的網(wǎng)絡(luò)結(jié)構(gòu)則更傾向于前者，傾向于一個大型的集中網(wǎng)絡(luò)，但是會在整個網(wǎng)絡(luò)的不同斷面（主干層，分支層，支線層）逐層進行訓(xùn)練，并同時訓(xùn)練多個任務(wù)(multi-task learning)。這些不同斷面，不同任務(wù)的聯(lián)合訓(xùn)練，實際上是一種對神經(jīng)網(wǎng)絡(luò)的“逼迫”。 簡單地理解，就像是一份試卷不僅要你答案準確，還需要用幾種解題思路完成，并對你的各種中間過程做出要求。 這時，哪怕最懶惰的大腦也會發(fā)現(xiàn)，理解知識點變成最為“節(jié)能”的方法。這也促使網(wǎng)絡(luò)模型學(xué)習(xí)到真正的知識，各個層次與分支也擁有了“規(guī)則組件”的可拆解性，增強了網(wǎng)絡(luò)模型的可解釋性。不同層次可以根據(jù)需求使用不同的標簽生成器，前一層網(wǎng)絡(luò)的訓(xùn)練結(jié)果甚至可以反過來結(jié)合各種真值生產(chǎn)構(gòu)件，為后一層的網(wǎng)絡(luò)模型的真值服務(wù)。 我們會發(fā)現(xiàn)在這種集中式結(jié)構(gòu)下，數(shù)據(jù)的積累，模型的可解釋性以及多業(yè)務(wù)的轉(zhuǎn)移成本都有了質(zhì)的變化，當(dāng)然和討論域控制器的優(yōu)劣一樣，這種多個維度都有所改善的設(shè)計，都是以提升工程師能力為前提的，這類網(wǎng)絡(luò)、數(shù)據(jù)、訓(xùn)練以及任務(wù)管理相比過去都更加難以運維和控制。

4）算法部署

在部署階段，根據(jù)業(yè)務(wù)場景的輸入輸出要求，可以對云端大型網(wǎng)絡(luò)進行閹割，保留關(guān)聯(lián)的連接結(jié)構(gòu)以及業(yè)務(wù)所需的輸出。 同時，可以使用遷移學(xué)習(xí)的思想，根據(jù)需求將網(wǎng)絡(luò)模型的部分參數(shù)結(jié)構(gòu)鎖定，作為模型的“預(yù)訓(xùn)練”成果，在感興趣的實車任務(wù)上進行 “微調(diào)”?；蛘呃谜麴s學(xué)習(xí)的思想，用云端模型訓(xùn)練一個車端更緊湊的模型，滿足車端的算力和業(yè)務(wù)要求。 相比于過去，在實際業(yè)務(wù)場景發(fā)生時，已經(jīng)不是數(shù)據(jù)和模型的推倒重來，而是重新完成一次，真值標簽的生成，多任務(wù)的訓(xùn)練，網(wǎng)絡(luò)模型的閹割和最終的部署壓縮。為新業(yè)務(wù)增加的投入和成本是可控的，且有可能還會為下一個業(yè)務(wù)作出貢獻。這種集中化帶來的優(yōu)勢，和域控制器的邏輯是非常類似的。 如果域控制器提供了完整的肉身，則當(dāng)下弱監(jiān)督多任務(wù)的學(xué)習(xí)系統(tǒng)則提供了可期的靈魂。到這里整個智能駕駛系統(tǒng)的“類人結(jié)構(gòu)”便初見雛形。

總結(jié)

總的來說，智能駕駛學(xué)習(xí)系統(tǒng)的演進是“機器人”視角下對“學(xué)習(xí)”這個概念的理解加深。 傳統(tǒng)學(xué)習(xí)系統(tǒng)中，“機器人”沒有學(xué)到太多內(nèi)容；在分布式學(xué)習(xí)系統(tǒng)中“機器人”學(xué)習(xí)到了一些表層的現(xiàn)象，但缺少對共性的理解；在集中式學(xué)習(xí)系統(tǒng)當(dāng)中，“機器人”則被迫從多個現(xiàn)象中學(xué)習(xí)背后的共性知識；而學(xué)習(xí)系統(tǒng)的設(shè)計者則更像是一個老師，希望引導(dǎo)學(xué)生去掌握真正有價值的東西。 另外如果我們將整車電子電氣架構(gòu)比作人類的身體，則域控制器的革命，是將零散的身體部件組織成一個完整的身體；而集中式深度學(xué)習(xí)系統(tǒng)更像是將零散的腦組織，組織成一個完整的大腦。這些都是機器走向“類人結(jié)構(gòu)”的一個必經(jīng)過程。

審核編輯：郭婷