? 大模型最初叫Large languagemodel，LLM，即大規(guī)模語(yǔ)言模型，其沒(méi)有準(zhǔn)確的定義，在2018年一般定義為參數(shù)達(dá)到數(shù)十億以上的模型。如今這個(gè)定義應(yīng)該是1000億參數(shù)以上的模型，它是與預(yù)訓(xùn)練（Pre-Training Model， PTM）同時(shí)出現(xiàn)的，彼此相輔相成，大模型自2018年Bert和GPT的問(wèn)世而宣告正式出現(xiàn)。

? 大模型的海量參數(shù)意味著其瘋狂消耗存儲(chǔ)成本，基本上能夠?qū)?yīng)大模型的芯片單單存儲(chǔ)成本都在2000美元以上，這意味著真正的大模型不可能上車。不過(guò)汽車行業(yè)，超過(guò)10億參數(shù)的模型或許也能叫大模型，這與真正的大模型有著天壤之別，它又會(huì)有什么影響呢？

首先是運(yùn)算芯片領(lǐng)域，需要更高帶寬的存儲(chǔ)器，非常昂貴的HBM有可能出現(xiàn)在汽車芯片上，這意味著汽車運(yùn)算芯片價(jià)格會(huì)超過(guò)1000美元；

其次是老舊的針對(duì)CNN網(wǎng)絡(luò)設(shè)計(jì)的加速器完全無(wú)法使用或效率極低，GPU或基于CPU+GPU的系統(tǒng)更合適，也更能應(yīng)對(duì)未來(lái)模型的變化；

最后是PTM讓數(shù)據(jù)訓(xùn)練的成本大大降低，數(shù)據(jù)集的含金量縮水了。

? 要分析大模型或者說(shuō)Transformer對(duì)運(yùn)算硬件的影響，可以看這篇論文：英偉達(dá)與巴克利大學(xué)的《Full Stack Optimization of Transformer Inference: a Survey》。論文做了非常詳細(xì)的描述，長(zhǎng)達(dá)45頁(yè)，有興趣的可以去看全文。

? 該論文指出Transformer加速器運(yùn)算中瓶頸主要在CPU，非矩陣運(yùn)算部分消耗的時(shí)間占了總時(shí)間的96%。換句話說(shuō)，CPU遠(yuǎn)比加速器重要，Transformer時(shí)代，加速器沒(méi)有存在的必要，CPU+GPU是最好的選擇。如果非要用加速器的話，也得訂做一個(gè)高性能的CPU。

? 另外還得指出，目前大模型都可算是Transformer的一種。 ?

? 大模型進(jìn)化樹(shù)，其根基就是Transformer。Transformer是2017年提出的一個(gè)語(yǔ)言模型，最初被用于解決機(jī)器翻譯的問(wèn)題，但隨著研究的深入，Transformer在不同問(wèn)題，甚至不同領(lǐng)域上大放異彩，在自然語(yǔ)言領(lǐng)域的文本表征、分類、生成、問(wèn)答等問(wèn)題上都成為了強(qiáng)勁的解決方案，在視覺(jué)領(lǐng)域也很出色。

? 與傳統(tǒng)的CNN聚焦設(shè)計(jì)相比，Transformer主要由矩陣乘法（矩陣模數(shù)）和內(nèi)存密集型的非線性操作組成。Transformer模型的計(jì)算圖和數(shù)據(jù)流比CNN更復(fù)雜，有更多的操作節(jié)點(diǎn)，更多的數(shù)據(jù)流分割和連接。而上一代傳統(tǒng)的汽車領(lǐng)域AI加速器基本都是針對(duì)CNN的，無(wú)法應(yīng)對(duì)數(shù)據(jù)流分割，傳統(tǒng)AI加速器都是最大可能地讓數(shù)據(jù)在運(yùn)算單元之間流動(dòng)，減少存儲(chǔ)和讀取，面對(duì)數(shù)據(jù)流分割就無(wú)能為力。 ?

上面是Transformer示意圖，編碼器由相同的層堆疊，每層的結(jié)構(gòu)有兩部分，多頭注意力和前饋。解碼器亦由相同的層堆疊，每層的結(jié)構(gòu)為多頭注意力、編碼器-解碼器注意力和前饋。編碼器中的每個(gè)元素對(duì)整個(gè)序列來(lái)說(shuō)都是可見(jiàn)的。解碼器的每一層中有兩個(gè)多頭注意力，一個(gè)是解碼器的輸入部分作為qkv的自注意力，一個(gè)是上一個(gè)解碼器層的輸出作為q，最后一個(gè)編碼器層的輸出作為kv的編碼-解碼注意力。

? 編碼器層和解碼器層的每一個(gè)部分都是殘差塊的形式而且包括了一個(gè)layer norm。在編碼器和解碼器的輸入處都有位置編碼，位置編碼和token嵌入相加。Transformer采用的是三角式位置編碼，這就意味著三角函數(shù)運(yùn)算，三角函數(shù)運(yùn)算屬于標(biāo)量運(yùn)算，CPU最擅長(zhǎng)，AI加速器對(duì)此無(wú)能為力，AI加速器只能計(jì)算矩陣的乘積和累加。即使GPU也需要CPU的大力配合，這也是英偉達(dá)一心要自研CPU的原因之一。 ?

? 現(xiàn)在LLM模型的架構(gòu)都是以Transformer為主，進(jìn)一步分成Encoder-Only、Decoder-Only、Encoder-Decoder三種，選取了Bert (Encoder)，GPT2 (Decoder)這兩個(gè)代表模型進(jìn)行分析。

? 由于大模型參數(shù)巨大，即便是H100這樣每片3萬(wàn)美元的芯片也放不下1750億參數(shù)，因此英偉達(dá)提出了張量并行的計(jì)算方法，這也再次說(shuō)明真正的大模型上不了車。英偉達(dá)論文題目為《Megatron-LM: Training Multi-Billion Parameter Language Models UsingModel Parallelism》。 ?

簡(jiǎn)單來(lái)說(shuō)就是給參數(shù)模型（即權(quán)重模型）豎著切一刀，橫著切一刀，然后插入一個(gè)AllReduce。

Attention的多頭計(jì)算簡(jiǎn)直是為張量模型并行量身定做的，因?yàn)槊總€(gè)頭上都可以獨(dú)立計(jì)算，最后再將結(jié)果concat起來(lái)。也就是說(shuō)，可以把每個(gè)頭的參數(shù)放到一塊GPU上。對(duì)三個(gè)參數(shù)矩陣Q，K，V，按照“列切割”，每個(gè)頭放到一塊GPU上，做并行計(jì)算。對(duì)線性層B，按照“行切割”。切割的方式和MLP層基本一致，其forward與backward原理也一致，這里不再贅述。

? 關(guān)于模型切割在此不做深入解析，大家只需要知道目前大模型都是基于多張GPU運(yùn)算就行。通常是8張GPU加2個(gè)CPU作為一個(gè)節(jié)點(diǎn)node，8張GPU之間用NVLink連接，節(jié)點(diǎn)與節(jié)點(diǎn)之間用NVIDIAConnect TX-7智能網(wǎng)卡連接，這個(gè)網(wǎng)卡可不一般，臺(tái)積電7nm工藝，800億個(gè)晶體管，400G GPUDirect吞吐量，400G加密加速，4.05億/秒信息率，成本估計(jì)也在500美元以上。 ?

典型的AI加速器框架圖，沒(méi)有CPU調(diào)度任務(wù)，加速器就是無(wú)頭蒼蠅，沒(méi)法工作。

? 模型數(shù)據(jù)的切割與任務(wù)調(diào)度的安排都是由CPU來(lái)做更合適，GPU不適合這種有中斷分支的計(jì)算，但GPU至少可以對(duì)應(yīng)矢量。AI加速器更差，AI加速器基本只能對(duì)應(yīng)張量或者說(shuō)矩陣，要求數(shù)據(jù)與數(shù)據(jù)之間沒(méi)有任何關(guān)聯(lián)。而Transformer有前反饋，也有時(shí)序關(guān)聯(lián)，同時(shí)AI加速器需要CPU全力配合，排除那些低效率運(yùn)算的任務(wù)，只做適合自己的任務(wù)，CPU的話語(yǔ)權(quán)遠(yuǎn)高于AI加速器。CPU也需要很高的算力，如特斯拉的HW4.0中的二代FSD，用了多達(dá)24核的Cortex-A72，英偉達(dá)的Thor至少是32核心的ARM V1。 ?

MOPs就是每秒存取次數(shù)，模型越大，MOPs就越高。對(duì)于低于1億參數(shù)的模型，GDDR6這樣的內(nèi)存還勉強(qiáng)可以接受，特斯拉和Mobileye EyeQ6H已經(jīng)采用昂貴的GDDR6。不過(guò)大部分廠家還是用廉價(jià)的LPDDR5，只能對(duì)應(yīng)1千萬(wàn)參數(shù)的模型，未來(lái)必須使用昂貴的HBM。HBM本身不算太昂貴，比GDDR6貴幾倍而已，但一旦用HBM就必須配合臺(tái)積電的CoWoS工藝。這個(gè)CoWoS工藝產(chǎn)能異常緊張，價(jià)格極高，一般只有服務(wù)器芯片才會(huì)使用。

接下來(lái)我們說(shuō)說(shuō)預(yù)訓(xùn)練，理解PTM要從人類的學(xué)習(xí)機(jī)制談起，利用深度學(xué)習(xí)自動(dòng)學(xué)習(xí)特征已經(jīng)逐步取代了人工構(gòu)建特征和統(tǒng)計(jì)方法。但其中一個(gè)關(guān)鍵問(wèn)題是需要大量的數(shù)據(jù)，否則會(huì)因?yàn)閰?shù)過(guò)多過(guò)擬合。但是這個(gè)成本非常高昂，以圖像描述任務(wù)為例，MSCOCO數(shù)據(jù)集只標(biāo)記了12萬(wàn)張圖片，每張圖片給出5個(gè)標(biāo)記，總共花費(fèi)了10.8W美金。而自動(dòng)駕駛領(lǐng)域每張圖片最少10個(gè)標(biāo)記，數(shù)據(jù)集是百萬(wàn)級(jí)起跳。

眾所周知，Transformer最初是自然語(yǔ)言處理（NLP）領(lǐng)域的產(chǎn)物，NLP領(lǐng)域采用了自監(jiān)督學(xué)習(xí)進(jìn)行預(yù)訓(xùn)練，其動(dòng)機(jī)是利用文本內(nèi)在關(guān)聯(lián)作為監(jiān)督信號(hào)取代人工標(biāo)注。最初的探索聚焦在淺層預(yù)訓(xùn)練模型獲取詞的語(yǔ)義，比如Word2Vec和Glove，但它們的局限是無(wú)法很好地表征一詞多義。自然而然地，就想到了利用 RNN 來(lái)提供上下文表征，但彼時(shí)的模型表現(xiàn)仍受限于模型大小和深度。

2018 年 GPT 和 BERT 橫空出世，將 NLP 的 PTM 帶入了新時(shí)代。這些新模型都很大，大量的參數(shù)可以從文本中捕捉到一詞多義、詞法、句法結(jié)構(gòu)、現(xiàn)實(shí)知識(shí)等信息，通過(guò)對(duì)模型微調(diào)，只要很少的樣例就可以在下游任務(wù)上取得驚人的表現(xiàn)。

這種預(yù)訓(xùn)練實(shí)際專業(yè)的說(shuō)法是遷移學(xué)習(xí)（TransferLearning），遷移學(xué)習(xí)的初衷是節(jié)省人工標(biāo)注樣本的時(shí)間，讓模型可以通過(guò)已有的標(biāo)記數(shù)據(jù)（source domain data）向未標(biāo)記數(shù)據(jù)（target domain data）遷移。從而訓(xùn)練出適用于target domain目標(biāo)域的模型。需要指出Transfer Learning是機(jī)器學(xué)習(xí)的分支，不需要神經(jīng)網(wǎng)絡(luò)也可以實(shí)現(xiàn)的，但現(xiàn)在神經(jīng)網(wǎng)絡(luò)基本與遷移學(xué)習(xí)合二為一。通俗來(lái)講，就是運(yùn)用已有的知識(shí)來(lái)學(xué)習(xí)新的知識(shí)，核心是找到已有知識(shí)和新知識(shí)之間的相似性，用成語(yǔ)來(lái)說(shuō)就是舉一反三。由于直接對(duì)目標(biāo)域從頭開(kāi)始學(xué)習(xí)成本太高，我們故而轉(zhuǎn)向運(yùn)用已有的相關(guān)知識(shí)來(lái)輔助盡快地學(xué)習(xí)新知識(shí)。

? 遷移學(xué)習(xí)在深度學(xué)習(xí)上的應(yīng)用有兩種策略，但目前這兩種策略的命名還沒(méi)有統(tǒng)一。一種策略是微調(diào)（finetuning）——其中包括使用基礎(chǔ)數(shù)據(jù)集上的預(yù)訓(xùn)練網(wǎng)絡(luò)以及在目標(biāo)數(shù)據(jù)集中訓(xùn)練所有層；另一種則是凍結(jié)與訓(xùn)練（freeze and train）——其中包括凍結(jié)除最后一層的所有層（權(quán)重不更新）并訓(xùn)練最后一層。當(dāng)然遷移學(xué)習(xí)并不僅僅局限于深度學(xué)習(xí)，但目前在深度學(xué)習(xí)上的應(yīng)用確實(shí)很多。

? 最典型的做法可以參考論文《Image as a Foreign Language: BEIT Pretraining for All Vision andVision-Language Tasks》，微軟亞洲研究院出品。 ?

思路很精簡(jiǎn)的，就是把圖片看成語(yǔ)言，與文本一樣，采用生成式自監(jiān)督方式的預(yù)訓(xùn)練，BEiT-3 利用一個(gè)共享的 Multiway Transformer 結(jié)構(gòu)，通過(guò)在單模態(tài)和多模態(tài)數(shù)據(jù)上進(jìn)行掩碼數(shù)據(jù)建模完成預(yù)訓(xùn)練，并可遷移到各種視覺(jué)、視覺(jué)-語(yǔ)言的下游任務(wù)中。通俗地說(shuō)就是只需要很少的精細(xì)標(biāo)注視頻，用這個(gè)精細(xì)標(biāo)注過(guò)的數(shù)據(jù)集訓(xùn)練一個(gè)模型，再用這個(gè)模型訓(xùn)練大量的無(wú)標(biāo)注視頻，最終得到一個(gè)更好的權(quán)重模型。其原理類似我們學(xué)習(xí)外語(yǔ)時(shí)，遇到不認(rèn)識(shí)的單詞（掩碼數(shù)據(jù)），我們不需要知道這個(gè)單詞的準(zhǔn)確意思，我們可以通過(guò)以前的經(jīng)驗(yàn)來(lái)猜測(cè)這個(gè)詞的意思，把這個(gè)猜測(cè)的意思作為一個(gè)準(zhǔn)確的標(biāo)注。

? 盡管已經(jīng)取得了很大的成功，但還有一些基本的問(wèn)題無(wú)法解決，我們?nèi)匀徊磺宄[藏在大量模型參數(shù)中的本質(zhì)，訓(xùn)練這些龐然大物的巨大計(jì)算成本也阻礙了進(jìn)一步探索大模型的本質(zhì)，而這一切可能很快就將大模型推到天花板級(jí)別，無(wú)力再進(jìn)一步。

審核編輯：劉清