我們正在進入新的計算時代。AI 工作負載的占比越來越高，已成為影響企業(yè)基礎(chǔ)設(shè)施戰(zhàn)略、硅芯片路線圖和業(yè)務(wù)指令的決定性力量。如今的 AI，規(guī)模大到令人咋舌：超大規(guī)模企業(yè)正在部署單個集群中包含數(shù)萬塊 AI 加速器的系統(tǒng)，正在訓練擁有萬億級參數(shù)的模型，每個部署區(qū)消耗的電力高達數(shù)兆瓦。

業(yè)界一直在宣揚 AI 的力量——AI 能夠改變各行各業(yè)，加速各種新發(fā)現(xiàn)，并能夠增強人類的能力。這些論斷并非夸大之詞。但是，我們現(xiàn)在必須稍微冷靜一下，面對另一個現(xiàn)實：AI 運行所需的動力（也即，運行這些工作負載所需的能量）正在成為 AI 創(chuàng)新面臨的重大障礙。

通常能想到的解決方案包括：優(yōu)化計算；優(yōu)化機架散熱；采購更多綠色電力。這些都是必要的措施，但這些措施現(xiàn)在已經(jīng)不足以解決問題。長期以來，人們認為計算是影響能效的主要因素，這種假設(shè)現(xiàn)在已越來越不符合現(xiàn)實。事實上，這種觀念可能掩蓋了另一個真正影響能效的因素，也是目前我們尚未充分利用的領(lǐng)域。

那就是內(nèi)存。

隱藏的能量池

在 AI 基礎(chǔ)設(shè)施中，內(nèi)存和存儲通常被視為輔助設(shè)備——它們必不可少，但并非戰(zhàn)略要素。然而，在現(xiàn)代 AI 集群中，內(nèi)存子系統(tǒng)（包括DRAM、SSD 以及相關(guān)的互連設(shè)備）的功耗在系統(tǒng)總功耗中的占比可能高達 50%，具體取決于特定的配置和工作負載。隨著模型大小持續(xù)增長，數(shù)據(jù)移動操作日益頻繁，內(nèi)存和存儲的功耗占比只會越來越高，節(jié)能型內(nèi)存和存儲的重要性也將愈發(fā)突出。

為了通過優(yōu)化計算來降低 AI 的能耗，出現(xiàn)了新的計算范式，例如端側(cè)和分布式架構(gòu)。有數(shù)據(jù)就需要處理，數(shù)據(jù)處理必然消耗能量，而人類每天生成的數(shù)據(jù)量已經(jīng)到了驚人的程度。據(jù)估計，到 2025 年，全球每天將產(chǎn)生超過 402 艾字節(jié)的數(shù)據(jù)。這種情況下，作為一種自然的選擇，AI 正在向著數(shù)據(jù)生成和存儲的位置靠近，而數(shù)據(jù)駐留在內(nèi)存和存儲設(shè)備中。這些新的計算范式使得內(nèi)存使用量增加，也為整個系統(tǒng)帶來了額外的功耗優(yōu)化機會。

如今，系統(tǒng)總功耗的主要組成部分是數(shù)據(jù)傳輸功耗，包括：從內(nèi)存?zhèn)鬏數(shù)郊铀倨?，?SSD 轉(zhuǎn)移到 DRAM，以及跨機架和存儲網(wǎng)絡(luò)傳輸。根據(jù) Semianalysis 的一項獨立研究，檢查點和集合通信等內(nèi)存密集型操作現(xiàn)在是超大規(guī)模 AI 集群達到峰值功率的主要原因。這些操作可能導致系統(tǒng)功率出現(xiàn)幾十兆瓦的瞬時波動，顯示出內(nèi)存在降低系統(tǒng)能耗、維持電網(wǎng)穩(wěn)定等方面越來越重要的作用。隨著技術(shù)節(jié)點快速擴展和架構(gòu)創(chuàng)新，計算系統(tǒng)已經(jīng)得到顯著優(yōu)化，而內(nèi)存系統(tǒng)的優(yōu)化卻一直比較緩慢。

內(nèi)存系統(tǒng)是功耗優(yōu)化的“盲點”。因此，為解決能效問題，我們必須開始著眼于內(nèi)存。

新的優(yōu)化規(guī)則：內(nèi)存決定效率

在美光，我們認為未來的可持續(xù) AI 基礎(chǔ)設(shè)施將由內(nèi)存主導。這種方法意味著我們需要從內(nèi)存出發(fā)，重新思考整個架構(gòu)——內(nèi)存不應作為出現(xiàn)問題后的補救措施，而應從一開始便作為戰(zhàn)略性基礎(chǔ)設(shè)施，用于優(yōu)化性能和效率。

我們看到，這種思維轉(zhuǎn)換正在發(fā)生：

LPDDR：美光的新一代內(nèi)存技術(shù)可提供行業(yè)前沿的每瓦特性能，有助于減少能耗，同時不影響帶寬。這一成就不僅來自于美光通過采用先進工藝節(jié)點所獲得的效率提升，還源自于美光致力于優(yōu)化每種設(shè)計中的架構(gòu)，以實現(xiàn)更高能效的不懈努力。

基于 SSD 的內(nèi)存分層：利用高性能 SSD 來擴展內(nèi)存的層次結(jié)構(gòu)，可減少 DRAM 設(shè)備的數(shù)量，有助于降低閑置功耗。美光利用其行業(yè)前沿的第 9 代 NAND 來優(yōu)化旗下的 SSD 產(chǎn)品組合，以滿足每個內(nèi)存和存儲層的特定需求。每次必須存儲和移動數(shù)據(jù)時，都能看到功效顯著提升。

盡可能減少數(shù)據(jù)傳輸：通過系統(tǒng)架構(gòu)創(chuàng)新，讓數(shù)據(jù)更接近計算，減少不必要的傳輸操作，可節(jié)約大量能源。

遙測和動態(tài)調(diào)整：通過對內(nèi)存子系統(tǒng)的實時功耗分析，可實現(xiàn)智能功耗限制和工作負載感知優(yōu)化。

這些想法并非理論上的分析。如今它們已部署在世界上一些非常先進的 AI 集群中，運行結(jié)果令人欣喜。

戰(zhàn)略要務(wù)

對于負責基礎(chǔ)設(shè)施的企業(yè)領(lǐng)導者而言，這種轉(zhuǎn)變不僅是一種對新技術(shù)的嘗試，更是一種戰(zhàn)略要求。功耗現(xiàn)已成為決定規(guī)模大小的關(guān)鍵因素?？倱碛谐杀?(TCO) 正在快速攀升。可持續(xù)發(fā)展則是董事會關(guān)注的重點。而傳統(tǒng)基礎(chǔ)設(shè)施的發(fā)展速度難以跟上 AI 需求的步伐。超大規(guī)模 AI 數(shù)據(jù)中心的工作負載輸出不再受到數(shù)據(jù)中心內(nèi)部計算硬件的限制。唯一的限制因素是：它們可以從電網(wǎng)中獲取多少能量。

以內(nèi)存為主導的效率優(yōu)化模式提供了一種全新的工具——現(xiàn)在即可使用，未來可通過擴展來解決新的問題。它使超大規(guī)模用戶能在相同的供電包絡(luò)內(nèi)部署更多容量。它能夠降低散熱成本和配置成本。它使基礎(chǔ)設(shè)施團隊能在不影響可持續(xù)性或成本的前提下，滿足下一代 AI 工作負載的需求。

未來展望

當我們展望未來時，“AI 是否會改變世界？”已不再是一個問題——答案是肯定的。我們面臨的問題是：如何推動這種轉(zhuǎn)變？ 答案不僅在于更快的芯片，或者散熱能力更強的數(shù)據(jù)中心，它還在于更智能的架構(gòu)，這些架構(gòu)強調(diào)性能和效率更高的內(nèi)存和存儲，并將內(nèi)存和存儲作為提升系統(tǒng)能效的核心。

美光很自豪能投資于相關(guān)創(chuàng)新技術(shù)、合作伙伴關(guān)系和系統(tǒng)，讓內(nèi)存成為大規(guī)模可持續(xù) AI 的驅(qū)動力，從而引領(lǐng)這一轉(zhuǎn)變。AI 擁有強大的力量，這是毋庸置疑的。但是，以高效、可持續(xù)方式運行的超大規(guī)模 AI 背后的驅(qū)動力量，才是決定下一個創(chuàng)新時代的關(guān)鍵。

讓我們一起創(chuàng)造推動 AI 未來的動力！