在不到一年的時(shí)間里，生成式人工智能通過(guò) OpenAI 的 ChatGPT（一種基于 Transformer 的流行算法）獲得了全球聲譽(yù)和使用?；?Transformer 的算法可以學(xué)習(xí)對(duì)象不同元素（例如句子或問(wèn)題）之間的復(fù)雜交互，并將其轉(zhuǎn)換為類(lèi)似人類(lèi)的對(duì)話(huà)。

在 Transformer 和其他大型語(yǔ)言模型 (LLM) 的引領(lǐng)下，軟件算法取得了快速進(jìn)展，而負(fù)責(zé)執(zhí)行它們的處理硬件卻被拋在了后面。即使是最先進(jìn)的算法處理器也不具備在一兩秒的時(shí)間范圍內(nèi)詳細(xì)闡述最新 ChatGPT 查詢(xún)所需的性能。

為了彌補(bǔ)性能不足，領(lǐng)先的半導(dǎo)體公司構(gòu)建了由大量最好的硬件處理器組成的系統(tǒng)。在此過(guò)程中，他們權(quán)衡了功耗、帶寬/延遲和成本。該方法適用于算法訓(xùn)練，但不適用于部署在邊緣設(shè)備上的推理。

功耗挑戰(zhàn)

雖然訓(xùn)練通?；谏纱罅繑?shù)據(jù)的 fp32 或 fp64 浮點(diǎn)算法，但它不需要嚴(yán)格的延遲。功耗高，成本承受能力高。

相當(dāng)不同的是推理過(guò)程。推理通常在 fp8 算法上執(zhí)行，該算法仍會(huì)產(chǎn)生大量數(shù)據(jù)，但需要關(guān)鍵的延遲、低能耗和低成本。

模型訓(xùn)練的解決方案來(lái)自于計(jì)算場(chǎng)。它們運(yùn)行數(shù)天，使用大量電力，產(chǎn)生大量熱量，并且獲取、安裝、操作和維護(hù)成本高昂。更糟糕的是推理過(guò)程，碰壁并阻礙了 GenAI 在邊緣設(shè)備上的擴(kuò)散。

邊緣生成人工智能推理的最新技術(shù)

成功的 GenAI 推理硬件加速器必須滿(mǎn)足五個(gè)屬性：

petaflops 范圍內(nèi)的高處理能力和高效率（超過(guò) 50%）

低延遲，可在幾秒鐘內(nèi)提供查詢(xún)響應(yīng)

能耗限制在 50W/Petaflops 或以下

成本實(shí)惠，與邊緣應(yīng)用兼容

現(xiàn)場(chǎng)可編程性可適應(yīng)軟件更新或升級(jí)，以避免工廠(chǎng)進(jìn)行硬件改造

大多數(shù)現(xiàn)有的硬件加速器可以滿(mǎn)足部分要求，但不能滿(mǎn)足全部要求。老牌CPU是最差的選擇，因?yàn)閳?zhí)行速度令人無(wú)法接受；GPU 在高功耗和延遲不足的情況下提供相當(dāng)快的速度（因此是訓(xùn)練的選擇）；FPGA 在性能和延遲方面做出了妥協(xié)。

完美的設(shè)備將是定制/可編程片上系統(tǒng) (SoC)，旨在執(zhí)行基于變壓器的算法以及其他類(lèi)型算法的發(fā)展。它應(yīng)該支持合適的內(nèi)存容量來(lái)存儲(chǔ)法學(xué)碩士中嵌入的大量數(shù)據(jù)，并且應(yīng)該可編程以適應(yīng)現(xiàn)場(chǎng)升級(jí)。

有兩個(gè)障礙阻礙了這一目標(biāo)的實(shí)現(xiàn)：內(nèi)存墻和 CMOS 器件的高能耗。

內(nèi)存墻

人們?cè)诎雽?dǎo)體發(fā)展歷史的早期就觀(guān)察到，處理器性能的進(jìn)步被內(nèi)存訪(fǎng)問(wèn)的缺乏進(jìn)步所抵消。

隨著時(shí)間的推移，兩者之間的差距不斷擴(kuò)大，迫使處理器等待內(nèi)存?zhèn)魉蛿?shù)據(jù)的時(shí)間越來(lái)越長(zhǎng)。結(jié)果是處理器效率從完全 100% 利用率下降（圖 1）。

為了緩解效率的下降，業(yè)界設(shè)計(jì)了一種多級(jí)分層內(nèi)存結(jié)構(gòu)，采用更快、更昂貴的內(nèi)存技術(shù)，靠近處理器進(jìn)行多級(jí)緩存，從而最大限度地減少較慢主內(nèi)存甚至較慢外部?jī)?nèi)存的流量（圖 2）。

CMOS IC 的能耗

與直覺(jué)相反，CMOS IC 的功耗主要由數(shù)據(jù)移動(dòng)而非數(shù)據(jù)處理決定。根據(jù)馬克·霍洛維茨教授領(lǐng)導(dǎo)的斯坦福大學(xué)研究（表 1），內(nèi)存訪(fǎng)問(wèn)的功耗比基本數(shù)字邏輯計(jì)算消耗的能量高出幾個(gè)數(shù)量級(jí)。

加法器和乘法器的功耗從使用整數(shù)運(yùn)算時(shí)的不到一皮焦耳到處理浮點(diǎn)運(yùn)算時(shí)的幾皮焦耳。相比之下，在 DRAM 中訪(fǎng)問(wèn)數(shù)據(jù)時(shí)，訪(fǎng)問(wèn)高速緩存中的數(shù)據(jù)所花費(fèi)的能量會(huì)躍升一個(gè)數(shù)量級(jí)，達(dá)到 20-100 皮焦耳，并且會(huì)躍升三個(gè)數(shù)量級(jí)，達(dá)到超過(guò) 1,000 皮焦耳。

GenAI 加速器是以數(shù)據(jù)移動(dòng)為主導(dǎo)的設(shè)計(jì)的典型例子。

內(nèi)存墻和能耗對(duì)延遲和效率的影響

生成式人工智能處理中的內(nèi)存墻和能耗的影響正變得難以控制。

幾年之內(nèi)，為 ChatGPT 提供支持的基礎(chǔ)模型 GPT 從 2019 年的 GPT-2 發(fā)展到 2020 年的 GPT-3，再到 2022 年的 GPT-3.5，再到目前的 GPT-4。每一代模型的大小和參數(shù)（weights, tokens和states）的數(shù)量都增加了幾個(gè)數(shù)量級(jí)。

GPT-2 包含 15 億個(gè)參數(shù)，GPT-3 模型包含 1750 億個(gè)參數(shù)，最新的 GPT-4 模型將參數(shù)規(guī)模推至約 1.7 萬(wàn)億個(gè)參數(shù)（尚未發(fā)布官方數(shù)字）。

這些參數(shù)的龐大數(shù)量不僅迫使內(nèi)存容量達(dá)到 TB 范圍，而且在訓(xùn)練/推理過(guò)程中同時(shí)高速訪(fǎng)問(wèn)它們也會(huì)將內(nèi)存帶寬推至數(shù)百 GB/秒（如果不是 TB/秒）。為了進(jìn)一步加劇這種情況，移動(dòng)它們會(huì)消耗大量的能量。

昂貴的硬件閑置

內(nèi)存和處理器之間令人畏懼的數(shù)據(jù)傳輸帶寬以及顯著的功耗壓倒了處理器的效率。最近的分析表明，在尖端硬件上運(yùn)行 GPT-4 的效率下降至 3% 左右。為運(yùn)行這些算法而設(shè)計(jì)的昂貴硬件在 97% 的時(shí)間內(nèi)處于閑置狀態(tài)。

執(zhí)行效率越低，執(zhí)行相同任務(wù)所需的硬件就越多。例如，假設(shè) 1 Petaflops（1,000 Teraflops）的要求可以由兩個(gè)供應(yīng)商滿(mǎn)足。供應(yīng)商（A 和 B）提供不同的處理效率，分別為 5% 和 50%（表 2）。

那么供應(yīng)商 A 只能提供 50 Teraflops 的有效處理能力，而不是理論處理能力。供應(yīng)商 B 將提供 500 Teraflops。為了提供 1 petaflop 的有效計(jì)算能力，供應(yīng)商 A 需要 20 個(gè)處理器，但供應(yīng)商 B 只需 2 個(gè)。

例如，一家硅谷初創(chuàng)公司計(jì)劃在其超級(jí)計(jì)算機(jī)數(shù)據(jù)中心使用 22,000 個(gè) Nvidia H100 GPU。粗略計(jì)算，22,000 個(gè) H100 GPU 的售價(jià)為 8 億美元——這是其最新融資的大部分。該數(shù)字不包括其余基礎(chǔ)設(shè)施的成本、房地產(chǎn)、能源成本以及本地硬件總擁有成本 (TCO) 中的所有其他因素。

系統(tǒng)復(fù)雜性對(duì)延遲和效率的影響

另一個(gè)例子，基于當(dāng)前最先進(jìn)的 GenAI 訓(xùn)練加速器，將有助于說(shuō)明這種擔(dān)憂(yōu)。硅谷初創(chuàng)公司的 GPT-4 配置將需要 22,000 個(gè) Nvidia H100 GPU 副本以八位字節(jié)的形式部署在HGX H100 或 DGX H100 系統(tǒng)，總共產(chǎn)生 2,750 個(gè)系統(tǒng)。

考慮到 GPT-4 包括 96 個(gè)解碼器，將它們映射到多個(gè)芯片上可能會(huì)減輕對(duì)延遲的影響。由于 GPT 結(jié)構(gòu)允許順序處理，因此為總共 96 個(gè)芯片為每個(gè)芯片分配一個(gè)解碼器可能是一種合理的設(shè)置。

該配置可轉(zhuǎn)換為 12 個(gè) HGX/DGX H100 系統(tǒng)，不僅對(duì)單芯片之間、電路板之間和系統(tǒng)之間移動(dòng)數(shù)據(jù)帶來(lái)的延遲提出挑戰(zhàn)。使用增量變壓器可以顯著降低處理復(fù)雜性，但它需要狀態(tài)的處理和存儲(chǔ)，這反過(guò)來(lái)又增加了要處理的數(shù)據(jù)量。

底線(xiàn)是，前面提到的 3% 的實(shí)施效率是不現(xiàn)實(shí)的。當(dāng)加上系統(tǒng)實(shí)現(xiàn)的影響以及相關(guān)的較長(zhǎng)延遲時(shí)，實(shí)際應(yīng)用程序中的實(shí)際效率將顯著下降。

綜合來(lái)看，GPT-3.5所需的數(shù)據(jù)量遠(yuǎn)不及GPT-4。從商業(yè)角度來(lái)看，使用類(lèi)似 GPT-3 的復(fù)雜性比 GPT-4 更具吸引力。另一方面是 GPT-4 更準(zhǔn)確，如果可以解決硬件挑戰(zhàn)，它會(huì)成為首選。

最佳猜測(cè)成本分析

讓我們重點(diǎn)關(guān)注能夠處理大量查詢(xún)的系統(tǒng)的實(shí)施成本，例如類(lèi)似 Google 的每秒 100,000 個(gè)查詢(xún)的量。

使用當(dāng)前最先進(jìn)的硬件，可以合理地假設(shè)總擁有成本（包括購(gòu)置成本、系統(tǒng)運(yùn)營(yíng)和維護(hù)成本）約為 1 萬(wàn)億美元。據(jù)記錄，這大約相當(dāng)于世界第八大經(jīng)濟(jì)體意大利 2021 年國(guó)內(nèi)生產(chǎn)總值 (GDP) 的一半。

ChatGPT 對(duì)每次查詢(xún)成本的影響使其在商業(yè)上具有挑戰(zhàn)性。摩根士丹利估計(jì)，2022 年 Google 搜索查詢(xún)（3.3 萬(wàn)億次查詢(xún)）的每次查詢(xún)成本為 0.2 英鎊（被視為基準(zhǔn)）。同一分析表明，ChatGPT-3 上的每次查詢(xún)成本在 3 到 14 歐元之間，比基準(zhǔn)高 15-70 倍。

半導(dǎo)體行業(yè)正在積極尋找應(yīng)對(duì)成本/查詢(xún)挑戰(zhàn)的解決方案。盡管所有嘗試都受到歡迎，但解決方案必須來(lái)自新穎的芯片架構(gòu)，該架構(gòu)將打破內(nèi)存墻并大幅降低功耗。