ChatGPT發(fā)布之后，引發(fā)了全球范圍的關(guān)注和討論，國(guó)內(nèi)各大廠商相繼宣布GPT模型開(kāi)發(fā)計(jì)劃。以GPT模型為代表的AI大模型訓(xùn)練，需要消耗大量算力資源，主要需求場(chǎng)景來(lái)自：預(yù)訓(xùn)練+日常運(yùn)營(yíng)+Finetune。以預(yù)訓(xùn)練為例，據(jù)測(cè)算，進(jìn)行一次ChatGPT的模型預(yù)訓(xùn)練需要消耗約27.5PFlop/s-day算力?；诖耍S著國(guó)產(chǎn)大模型開(kāi)發(fā)陸續(xù)進(jìn)入預(yù)訓(xùn)練階段，算力需求持續(xù)釋放或?qū)?dòng)算力基礎(chǔ)設(shè)施產(chǎn)業(yè)迎來(lái)增長(zhǎng)新周期。產(chǎn)業(yè)鏈相關(guān)公司包括：

　　?算力芯片廠商：景嘉微、寒武紀(jì)、海光信息、龍芯中科、中國(guó)長(zhǎng)城等；

　　?服務(wù)器廠商：浪潮信息、中科曙光等；

　　?IDC服務(wù)商：寶信軟件等。

　　ChatGPT：大模型訓(xùn)練帶來(lái)高算力需求

　　訓(xùn)練ChatGPT需要使用大量算力資源。據(jù)微軟官網(wǎng)，微軟Azure為OpenAI開(kāi)發(fā)的超級(jí)計(jì)算機(jī)是一個(gè)單一系統(tǒng)，具有超過(guò)28.5萬(wàn)個(gè)CPU核心、1萬(wàn)個(gè)GPU和400 GB/s的GPU服務(wù)器網(wǎng)絡(luò)傳輸帶寬。據(jù)英偉達(dá)，使用單個(gè)Tesla架構(gòu)的V100 GPU對(duì)1746億參數(shù)的GPT-3模型進(jìn)行一次訓(xùn)練，需要用288年時(shí)間。此外，算力資源的大量消耗，必然伴隨著算力成本的上升，據(jù)Lambda，使用訓(xùn)練一次1746億參數(shù)的GPT-3模型所需花費(fèi)的算力成本超過(guò)460萬(wàn)美元。我們認(rèn)為，未來(lái)?yè)碛懈S富算力資源的模型開(kāi)發(fā)者，或?qū)⒛軌蛴?xùn)練出更優(yōu)秀的AI模型，算力霸權(quán)時(shí)代或?qū)㈤_(kāi)啟。

　　具體來(lái)看，AI大模型對(duì)于算力資源的需求主要體現(xiàn)在以下三類(lèi)場(chǎng)景：

　　1、模型預(yù)訓(xùn)練帶來(lái)的算力需求

　　模型預(yù)訓(xùn)練過(guò)程是消耗算力的最主要場(chǎng)景。

　　預(yù)計(jì)，訓(xùn)練一次ChatGPT模型需要的算力約27.5PFlop/s-day。據(jù)OpenAI團(tuán)隊(duì)發(fā)表于2020年的論文《Language Models are Few-Shot Learners》，訓(xùn)練一次13億參數(shù)的GPT-3 XL模型需要的全部算力約為27.5PFlop/s-day，訓(xùn)練一次1746億參數(shù)的GPT-3模型需要的算力約為3640 PFlop/s-day?？紤]到ChatGPT訓(xùn)練所用的模型是基于13億參數(shù)的GPT-3.5模型微調(diào)而來(lái)，參數(shù)量與GPT-3 XL模型接近，因此我們預(yù)計(jì)訓(xùn)練所需算力約27.5PFlop/s-day，即以1萬(wàn)億次每秒的速度進(jìn)行計(jì)算，需要耗時(shí)27.5天。

　　 此外，預(yù)訓(xùn)練過(guò)程還存在幾個(gè)可能的算力需求點(diǎn)：

　　1）模型開(kāi)發(fā)過(guò)程很難一次取得成功，整個(gè)開(kāi)發(fā)階段可能需要進(jìn)行多次預(yù)訓(xùn)練過(guò)程；

　　2）隨著國(guó)內(nèi)外廠商相繼入局研發(fā)類(lèi)似模型，參與者數(shù)量增加同樣帶來(lái)訓(xùn)練算力需求；

　　3）從基礎(chǔ)大模型向特定場(chǎng)景遷移的過(guò)程，如基于ChatGPT構(gòu)建醫(yī)療AI大模型，需要使用特定領(lǐng)域數(shù)據(jù)進(jìn)行模型二次訓(xùn)練。

　　 2、日常運(yùn)營(yíng)帶來(lái)的算力需求

　　ChatGPT單月運(yùn)營(yíng)需要算力約4874.4PFlop/s-day，對(duì)應(yīng)成本約616萬(wàn)美元。

　　在完成模型預(yù)訓(xùn)練之后，ChatGPT對(duì)于底層算力的需求并未結(jié)束，日常運(yùn)營(yíng)過(guò)程中，用戶(hù)交互帶來(lái)的數(shù)據(jù)處理需求同樣也是一筆不小的算力開(kāi)支。據(jù)SimilarWeb數(shù)據(jù)，2023年1月ChatGPT官網(wǎng)總訪問(wèn)量為6.16億次。據(jù)Fortune雜志，每次用戶(hù)與ChatGPT互動(dòng)，產(chǎn)生的算力云服務(wù)成本約0.01美元?；诖?，我們測(cè)算得2023年1月OpenAI為ChatGPT支付的運(yùn)營(yíng)算力成本約616萬(wàn)美元。據(jù)上文，我們已知訓(xùn)練一次1746億參數(shù)的GPT-3模型需要3640 PFlop/s-day的算力及460萬(wàn)美元的成本，假設(shè)單位算力成本固定，測(cè)算得ChatGPT單月運(yùn)營(yíng)所需算力約4874.4PFlop/s-day。

　　3、Finetune帶來(lái)的算力需求

　　模型調(diào)優(yōu)帶來(lái)迭代算力需求。從模型迭代的角度來(lái)看，ChatGPT模型并不是靜態(tài)的，而是需要不斷進(jìn)行Finetune模型調(diào)優(yōu)，以確保模型處于最佳應(yīng)用狀態(tài)。這一過(guò)程中，一方面是需要開(kāi)發(fā)者對(duì)模型參數(shù)進(jìn)行調(diào)整，確保輸出內(nèi)容不是有害和失真的；另一方面，需要基于用戶(hù)反饋和PPO策略，對(duì)模型進(jìn)行大規(guī)模或小規(guī)模的迭代訓(xùn)練。因此，模型調(diào)優(yōu)同樣會(huì)為OpenAI帶來(lái)算力成本，具體算力需求和成本金額取決于模型的迭代速度。

　　需求場(chǎng)景：預(yù)訓(xùn)練+日常運(yùn)營(yíng)+Finetune

　　具體來(lái)看，AI大模型對(duì)于算力資源的需求主要體現(xiàn)在以下三類(lèi)場(chǎng)景：

　　1）模型預(yù)訓(xùn)練：ChatGPT采用預(yù)訓(xùn)練語(yǔ)言模型，核心思想是在利用標(biāo)注數(shù)據(jù)之前，先利用無(wú)標(biāo)注的數(shù)據(jù)訓(xùn)練模型。據(jù)我們測(cè)算，訓(xùn)練一次ChatGPT模型（13億參數(shù)）需要的算力約27.5PFlop/s-day；

　　2）日常運(yùn)營(yíng)：用戶(hù)交互帶來(lái)的數(shù)據(jù)處理需求同樣也是一筆不小的算力開(kāi)支，我們測(cè)算得ChatGPT單月運(yùn)營(yíng)需要算力約4874.4PFlop/s-day，對(duì)應(yīng)成本約616萬(wàn)美元；

　　3）Finetune：ChatGPT模型需要不斷進(jìn)行Finetune模型調(diào)優(yōu)，對(duì)模型進(jìn)行大規(guī)模或小規(guī)模的迭代訓(xùn)練，預(yù)計(jì)每月模型調(diào)優(yōu)帶來(lái)的算力需求約82.5~137.5 PFlop/s-day。

　　算力芯片+服務(wù)器+數(shù)據(jù)中心，核心環(huán)節(jié)率先受益

　　隨著國(guó)內(nèi)廠商相繼布局ChatGPT類(lèi)似模型，算力需求或?qū)⒊掷m(xù)釋放，供給端核心環(huán)節(jié)或?qū)⒙氏仁芤妫?/p>

　　1）算力芯片：GPU采用了數(shù)量眾多的計(jì)算單元和超長(zhǎng)的流水線(xiàn)，架構(gòu)更適合進(jìn)行大吞吐量的AI并行計(jì)算；

　　2）服務(wù)器：ChatGPT模型訓(xùn)練涉及大量向量及張量運(yùn)算，AI服務(wù)器具備運(yùn)算效率優(yōu)勢(shì)，大模型訓(xùn)練有望帶動(dòng)AI服務(wù)器采購(gòu)需求放量；

　　3）數(shù)據(jù)中心：IDC算力服務(wù)是承接AI計(jì)算需求的直接形式，隨著百度、京東等互聯(lián)網(wǎng)廠商相繼布局ChatGPT類(lèi)似產(chǎn)品，核心城市IDC算力缺口或?qū)⒓哟蟆?/p>

　　算力芯片：AI算力基石，需求有望大規(guī)模擴(kuò)張

　　GPU架構(gòu)更適合進(jìn)行大規(guī)模AI并行計(jì)算，需求有望大規(guī)模擴(kuò)張。從ChatGPT模型計(jì)算方式來(lái)看，主要特征是采用了并行計(jì)算。對(duì)比上一代深度學(xué)習(xí)模型RNN來(lái)看，Transformer架構(gòu)下，AI模型可以為輸入序列中的任何字符提供上下文，因此可以一次處理所有輸入，而不是一次只處理一個(gè)詞，從而使得更大規(guī)模的參數(shù)計(jì)算成為可能。而從GPU的計(jì)算方式來(lái)看，由于GPU采用了數(shù)量眾多的計(jì)算單元和超長(zhǎng)的流水線(xiàn)，因此其架構(gòu)設(shè)計(jì)較CPU而言，更適合進(jìn)行大吞吐量的AI并行計(jì)算?；诖耍覀冋J(rèn)為，隨著大模型訓(xùn)練需求逐步增長(zhǎng)，下游廠商對(duì)于GPU先進(jìn)算力及芯片數(shù)量的需求均有望提升。

　　 單一英偉達(dá)V100芯片進(jìn)行一次ChatGPT模型訓(xùn)練，大約需要220天。我們以AI訓(xùn)練的常用的GPU產(chǎn)品—NVIDIA V100為例。V100在設(shè)計(jì)之初，就定位于服務(wù)數(shù)據(jù)中心超大規(guī)模服務(wù)器。據(jù)英偉達(dá)官網(wǎng)，V100 擁有 640 個(gè) Tensor 內(nèi)核，對(duì)比基于單路英特爾金牌6240的CPU服務(wù)器可以實(shí)現(xiàn)24倍的性能提升?？紤]到不同版本的V100芯片在深度學(xué)習(xí)場(chǎng)景下計(jì)算性能存在差異，因此我們折中選擇NVLink版本V100（深度學(xué)習(xí)算力125 TFlops）來(lái)計(jì)算大模型訓(xùn)練需求。據(jù)前文，我們已知訓(xùn)練一次ChatGPT模型（13億參數(shù)）需要的算力約27.5PFlop/s-day，計(jì)算得若由單個(gè)V100 GPU進(jìn)行計(jì)算，需220天；若將計(jì)算需求平均分?jǐn)傊?萬(wàn)片GPU，一次訓(xùn)練所用時(shí)長(zhǎng)則縮短至約32分鐘。

　　 全球/中國(guó)GPU市場(chǎng)規(guī)模有望保持快速增長(zhǎng)。據(jù)VMR數(shù)據(jù)，2021年全球GPU行業(yè)市場(chǎng)規(guī)模為334.7億美元，預(yù)計(jì)2030年將達(dá)到4773.7億美元，預(yù)計(jì)22-30年CAGR將達(dá)34.4%。2020年中國(guó)GPU市場(chǎng)規(guī)模47.39億美元，預(yù)計(jì)2027年市場(chǎng)規(guī)模將達(dá)345.57億美元，預(yù)計(jì)21-27年CAGR為32.8%。

　　服務(wù)器：AI服務(wù)器有望持續(xù)放量

　　ChatGPT主要進(jìn)行矩陣向量計(jì)算，AI服務(wù)器處理效率更高。從ChatGPT模型結(jié)構(gòu)來(lái)看，基于Transformer架構(gòu)，ChatGPT模型采用注意力機(jī)制進(jìn)行文本單詞權(quán)重賦值，并向前饋神經(jīng)網(wǎng)絡(luò)輸出數(shù)值結(jié)果，這一過(guò)程需要進(jìn)行大量向量及張量運(yùn)算。而AI服務(wù)器中往往集成多個(gè)AI GPU，AI GPU通常支持多重矩陣運(yùn)算，例如卷積、池化和激活函數(shù)，以加速深度學(xué)習(xí)算法的運(yùn)算。因此在人工智能場(chǎng)景下，AI服務(wù)器往往較GPU服務(wù)器計(jì)算效率更高，具備一定應(yīng)用優(yōu)勢(shì)。

　　 單臺(tái)服務(wù)器進(jìn)行一次ChatGPT模型訓(xùn)練所需時(shí)間約為5.5天。我們以浪潮信息目前算力最強(qiáng)的服務(wù)器產(chǎn)品之一—浪潮NF5688M6為例。NF5688M6是浪潮為超大規(guī)模數(shù)據(jù)中心研發(fā)的NVLink AI 服務(wù)器，支持2顆Intel最新的Ice Lake CPU和8顆NVIDIA最新的NVSwitch全互聯(lián)A800GPU，單機(jī)可提供5PFlops的AI計(jì)算性能。據(jù)前文，我們已知訓(xùn)練一次ChatGPT模型（13億參數(shù)）需要的算力約27.5PFlop/s-day，計(jì)算得若由單臺(tái)NF5688M6服務(wù)器進(jìn)行計(jì)算，需5.5天。

　　大模型訓(xùn)練需求有望帶動(dòng)AI服務(wù)器放量。隨著大數(shù)據(jù)及云計(jì)算的增長(zhǎng)帶來(lái)數(shù)據(jù)量的增加，對(duì)于AI智能服務(wù)器的需求明顯提高。據(jù)IDC數(shù)據(jù)，2021年全球AI服務(wù)器市場(chǎng)規(guī)模為156億美元，預(yù)計(jì)到2025年全球AI服務(wù)器市場(chǎng)將達(dá)到318億美元，預(yù)計(jì)22-25年CAGR將達(dá)19.5%。

　　數(shù)據(jù)中心：核心城市集中算力缺口或?qū)⒓觿?/p>

　　IDC算力服務(wù)是承接AI計(jì)算需求的直接形式。ChatGPT的模型計(jì)算主要基于微軟的Azure云服務(wù)進(jìn)行，本質(zhì)上是借助微軟自有的IDC資源，在云端完成計(jì)算過(guò)程后，再將結(jié)果返回給OpenAI?？梢?jiàn)，IDC是承接人工智能計(jì)算任務(wù)的重要算力基礎(chǔ)設(shè)施之一，但并不是所有企業(yè)都需要自行搭建算力設(shè)施。從國(guó)內(nèi)數(shù)據(jù)中心的業(yè)務(wù)形態(tài)來(lái)看，按照機(jī)房產(chǎn)權(quán)歸屬及建設(shè)方式的角度，可分為自建機(jī)房、租賃機(jī)房、承接大客戶(hù)定制化需求以及輕資產(chǎn)衍生模式四種。

　　若使用某一IDC全部算力，可在11分鐘完成一次ChatGPT模型訓(xùn)練。我們以亞洲最大的人工智能計(jì)算中心之一—商湯智算中心為例。據(jù)商湯科技官網(wǎng)，商湯智算中心于2022年1月啟動(dòng)運(yùn)營(yíng)，峰值算力高達(dá)3740 Petaflops。據(jù)前文，我們已知訓(xùn)練一次ChatGPT模型（13億參數(shù)）需要的算力約27.5PFlop/s-day，計(jì)算得若使用商湯智算中心全部算力進(jìn)行計(jì)算，僅需11分鐘即可完成。

　　AI訓(xùn)練需求有望帶動(dòng)IDC市場(chǎng)規(guī)?？焖僭鲩L(zhǎng)。據(jù)中國(guó)信通院，2021年國(guó)內(nèi)IDC市場(chǎng)規(guī)模1500.2億元，同比增長(zhǎng)28.5%。據(jù)信通院預(yù)計(jì)，隨著我國(guó)各地區(qū)、各行業(yè)數(shù)字化轉(zhuǎn)型深入推進(jìn)、AI訓(xùn)練需求持續(xù)增長(zhǎng)、智能終端實(shí)時(shí)計(jì)算需求增長(zhǎng)，2022年國(guó)內(nèi)市場(chǎng)規(guī)模將達(dá)1900.7億元，同增26.7%。

　　 互聯(lián)網(wǎng)廠商布局ChatGPT類(lèi)似產(chǎn)品，或?qū)⒓哟蠛诵某鞘蠭DC算力供給缺口。據(jù)艾瑞咨詢(xún)，2021年國(guó)內(nèi)IDC行業(yè)下游客戶(hù)占比中，互聯(lián)網(wǎng)廠商居首位，占比為60%；其次為金融業(yè)，占比為20%；政府機(jī)關(guān)占比10%，位列第三。而目前國(guó)內(nèi)布局ChatGPT類(lèi)似模型的企業(yè)同樣以互聯(lián)網(wǎng)廠商為主，如百度宣布旗下大模型產(chǎn)品“文心一言”將于2022年3月內(nèi)測(cè)、京東于2023年2月10日宣布推出產(chǎn)業(yè)版ChatGPT：ChatJD。另一方面，國(guó)內(nèi)互聯(lián)網(wǎng)廠商大多聚集在北京、上海、深圳、杭州等國(guó)內(nèi)核心城市，在可靠性、安全性及網(wǎng)絡(luò)延遲等性能要求下，或?qū)⒓哟髮?duì)本地IDC算力需求，國(guó)內(nèi)核心城市IDC算力供給缺口或?qū)⒓哟蟆?/p>

　　編輯：黃飛