電子發(fā)燒友網(wǎng)報(bào)道（文/吳子鵬）日前，有代理商透露，英偉達(dá)的A100價(jià)格從2022年12月份開(kāi)始上漲，截至2023年4月上半月，5個(gè)月價(jià)格累計(jì)漲幅達(dá)到37.5%；在中國(guó)市場(chǎng)，A800價(jià)格從2022年12月份開(kāi)始上漲，截至2023年4月上半月，5個(gè)月價(jià)格累計(jì)漲幅達(dá)20.0%。

目前，對(duì)于所有AI大模型而言，無(wú)論是推理還是訓(xùn)練，基本都是依賴(lài)英偉達(dá)的GPU芯片。其中，英偉達(dá)A100芯片是目前的主流，在大模型訓(xùn)練市場(chǎng)的市占比接近100%。

英偉達(dá)算力芯片量?jī)r(jià)齊升

根據(jù)此前的公開(kāi)報(bào)道，OpenAI的GPT-3大模型參數(shù)規(guī)模已經(jīng)達(dá)到1750億，因此在訓(xùn)練過(guò)程中需要做大量的數(shù)據(jù)并行計(jì)算，這就是為什么AI 大模型都要哄搶GPGPU。

所謂的GPGPU又名通用算力GPU，能夠幫助CPU進(jìn)行非圖形相關(guān)程序的運(yùn)算——復(fù)雜的數(shù)值計(jì)算、物理模擬和數(shù)據(jù)分析等任務(wù)。GPGPU在進(jìn)行相關(guān)運(yùn)算時(shí)有幾大突出的優(yōu)勢(shì)，高效并行性、高密集運(yùn)算、超長(zhǎng)流水線等。

那么，為什么只有英偉達(dá)有AI淘金浪潮“賣(mài)鏟人”的稱(chēng)號(hào)呢？

主要原因有兩點(diǎn)，其一是英偉達(dá)芯片的算力更高，比如英偉達(dá)的A100，這顆采用Ampere架構(gòu)和7nm制程的芯片里晶體管數(shù)量達(dá)542億顆，單芯片可提供的FP32峰值算力為19.5TFLOPS。如果是英偉達(dá)的H100 SXM，F(xiàn)P32峰值算力為67TFLOPS，提升明顯。并且，無(wú)論是A100還是H100都能夠提供包括FP64、TF32、FP32、FP16 和INT8在內(nèi)的所有算力精度。

在高算力方面，我們都知道，先進(jìn)芯片和先進(jìn)算力之間并不是畫(huà)等號(hào)的，在算力集群里，傳輸也是極為重要的。為了保障傳輸，英偉達(dá)給H100配備了可提供 900 GB/s GPU 間互連的第四代NVlink、可跨節(jié)點(diǎn)加速每個(gè)GPU通信的NVLINK Switch系統(tǒng)、PCIe 5.0，以保障高效的算力集群。即便是目前主流的A100，英偉達(dá)也是為其配備了2TB/s的內(nèi)存帶寬，以及NVIDIA NVLink、NVIDIA NVSwitch、PCIe 4.0，用以保障傳出。

其二是生態(tài)的優(yōu)勢(shì)。英偉達(dá)長(zhǎng)期占據(jù)GPGPU的頭把交椅，并在此過(guò)程中持續(xù)完善自己的生態(tài)。在算力利用的過(guò)程中，無(wú)論是學(xué)習(xí)、運(yùn)算還是開(kāi)發(fā)，往往都需要一個(gè)統(tǒng)一的開(kāi)發(fā)架構(gòu)，優(yōu)秀的架構(gòu)才能盡可能釋放GPGPU的算力。在這方面，公開(kāi)數(shù)據(jù)顯示，英偉達(dá)的CUDA占據(jù)了全球大概80%以上的市場(chǎng)。其他公司做的基本都是對(duì)標(biāo)CUDA，比如OpenAI的開(kāi)發(fā)架構(gòu)Triton，業(yè)界往往認(rèn)為其是簡(jiǎn)化版的CUDA。目前，市場(chǎng)上很多芯片只能從理論算力上去對(duì)標(biāo)英偉達(dá)，宣稱(chēng)能夠達(dá)到英偉達(dá)某款芯片的幾成，然而在實(shí)際應(yīng)用中由于軟件生態(tài)的缺失，是要進(jìn)一步打折扣的。

算力和生態(tài)的優(yōu)勢(shì)讓行業(yè)界對(duì)英偉達(dá)的A100和A800趨之若鶩。有代理商爆料稱(chēng)，目前英偉達(dá)主流算力芯片不僅價(jià)格走高，同時(shí)交貨周期也被拉長(zhǎng)，之前拿貨周期大約為一個(gè)月，現(xiàn)在基本都需要三個(gè)月或更長(zhǎng)。甚至，部分新訂單“可能要到12月才能交付”。

產(chǎn)業(yè)苦英偉達(dá)久矣

目前，英偉達(dá)的GPGPU可以說(shuō)就是AI大模型部署算力的標(biāo)準(zhǔn)。有專(zhuān)家曾表示，做好AI大模型的算力最低門(mén)檻是1萬(wàn)枚英偉達(dá)A100芯片。TrendForce研究則顯示，以A100的算力為基礎(chǔ)，GPT-3.5大模型需要高達(dá)2萬(wàn)枚GPU，未來(lái)商業(yè)化后可能需要超過(guò)3萬(wàn)枚。

業(yè)界還預(yù)估，國(guó)內(nèi)大概只有3萬(wàn)塊的英偉達(dá)A100芯片存量，其余用于AI大模型的都是新購(gòu)進(jìn)的A800特供版。因此，目前國(guó)內(nèi)部分公司已經(jīng)開(kāi)始在內(nèi)部做出限制，除AI大模型相關(guān)業(yè)務(wù)外，其余業(yè)務(wù)不允許使用A100或者A800提供的算力。

業(yè)界一邊在盡力去追求英偉達(dá)的高端算力芯片，同時(shí)對(duì)于價(jià)格不斷走高，且供貨周期持續(xù)延長(zhǎng)的英偉達(dá)芯片也是怨聲載道。

因此，目前行業(yè)內(nèi)不斷有聲音出現(xiàn)，要替代英偉達(dá)的相關(guān)芯片。

比如谷歌第二代TPU，在一些數(shù)據(jù)吞吐測(cè)試中，這款芯片已經(jīng)能夠和英偉達(dá)GPGPU相當(dāng)。另外有分析師指出，由于一些公司買(mǎi)不到英偉達(dá)的高端GPGPU，因此選擇將模型做小，然后選擇AMD公司的CPU或者Cerebras的WSE來(lái)進(jìn)行部署，進(jìn)而促進(jìn)了垂直領(lǐng)域和AI大模型的結(jié)合。

在國(guó)內(nèi)，也已經(jīng)有一些公司在推出方案，嘗試在AI大模型領(lǐng)域取代英偉達(dá)的芯片。

后記

根據(jù)相關(guān)統(tǒng)計(jì)數(shù)據(jù)，英偉達(dá)A100芯片已經(jīng)貢獻(xiàn)目前全球數(shù)據(jù)中心和算力中心業(yè)務(wù)的50%，成為該公司的搖錢(qián)樹(shù)。在國(guó)內(nèi)市場(chǎng)，幾天前的報(bào)道指出，A800芯片在國(guó)內(nèi)售價(jià)被炒到超過(guò)10萬(wàn)元/顆，而且是低配的版本。然而，AIGC時(shí)代里，算力就是王道，因此算力芯片便物以稀為貴。