在 GTC 會場，觀眾座無虛席，兩位計算領(lǐng)域最具影響力的領(lǐng)導(dǎo)人物，NVIDIA 首席科學(xué)家 Bill Dally，以及 Google DeepMind 與 Google Research 首席科學(xué)家 Jeff Dean 登臺對話。他們的工作深刻塑造了大規(guī)模機(jī)器學(xué)習(xí)的發(fā)展軌跡。

這場對話與其說是傳統(tǒng)座談，不如說是一場深度學(xué)習(xí)的“即興演奏會”，兩位深入探討了 AI 模型的演進(jìn)方向，以及為何硬件架構(gòu)如今已與 AI 的進(jìn)步密不可分。

Dean 開場時回顧了模型能力的快速躍遷，尤其在如“數(shù)學(xué)和編程”等具備“可驗證獎勵”的領(lǐng)域。曾經(jīng)令模型束手無策的任務(wù)，如今已能可靠地執(zhí)行；基于智能體的工作流甚至能在數(shù)小時乃至數(shù)天內(nèi)幾乎無需人工干預(yù)的情況下自主運行。他強(qiáng)調(diào)，這一轉(zhuǎn)變正在重塑 AI 系統(tǒng)的本質(zhì)，使其從被動響應(yīng)提示的工具，轉(zhuǎn)變?yōu)椤霸诤笈_持續(xù)運作的智能體”。

對此，Dally 表示，這種演進(jìn)將延遲問題推至聚光燈下。推理速度成為智能體在大規(guī)模環(huán)境中推理、規(guī)劃與迭代的首要設(shè)計約束。他解釋道，當(dāng)前大部分延遲并非來自計算本身，而是源于通信。每一層之間的數(shù)據(jù)傳遞、每一次片外訪問、每比特在導(dǎo)線上的移動，都會帶來時間與能耗成本。NVIDIA 的應(yīng)對策略是推動架構(gòu)向 Dally 所稱的“光速”設(shè)計邁進(jìn)：最大限度減少路由成本、消除排隊等待，并縮短數(shù)據(jù)必須傳輸?shù)奈锢砭嚯x。

在討論能效時，這一“不要移動數(shù)據(jù)”的原則被反復(fù)提及。一次乘加運算可能僅耗幾飛焦耳（極小的能量單位），但從外部存儲器讀取數(shù)據(jù)的能耗卻可能高出數(shù)千倍。Dally 介紹了利用 SRAM 的局部性并探索堆疊式 DRAM 技術(shù)，通過將計算單元緊鄰內(nèi)存部署，從根本上改善這一能耗失衡。其目標(biāo)不僅是降低能耗，更是在相同功耗下實現(xiàn)更高性能。

討論還延伸到利用 AI 設(shè)計運行 AI 的芯片。Dally 舉例說，如今強(qiáng)化學(xué)習(xí)系統(tǒng)能夠在一夜之間生成標(biāo)準(zhǔn)單元庫，即預(yù)設(shè)計、預(yù)驗證且完整表征的基礎(chǔ)邏輯模塊集合；而基于 NVIDIA 設(shè)計歷史訓(xùn)練的內(nèi)部大語言模型，正幫助初級工程師掌握數(shù)十年的架構(gòu)知識。這些系統(tǒng)并非取代人類設(shè)計師，而是增強(qiáng)他們的能力，壓縮開發(fā)周期，并拓展值得探索的創(chuàng)新空間。

展望未來，兩位演講者不約而同地聚焦于同一個關(guān)鍵詞：協(xié)同設(shè)計。突破性的進(jìn)展將來自機(jī)器學(xué)習(xí)研究人員與系統(tǒng)架構(gòu)師之間的緊密反饋循環(huán)。正如 Dean 所言，有時你在硅片上加入一個小型實驗性功能，就可能帶來巨大回報，硬件性能可因此實現(xiàn)“10 到 20 倍”的提升。

本場對話最終回歸人本價值。教育、醫(yī)療與科學(xué)發(fā)現(xiàn)被一致視為 AI 能產(chǎn)生深遠(yuǎn)積極影響的領(lǐng)域，尤其是當(dāng)系統(tǒng)變得個性化、具備上下文理解并持續(xù)學(xué)習(xí)的情況下。Dean 表示，“我認(rèn)為 AI 在醫(yī)療領(lǐng)域的應(yīng)用將極具變革性”。

如果臺上這兩位行業(yè)領(lǐng)導(dǎo)者所暢想的未來成真，那將不只是更快的模型運行在更好的硬件上，而將開啟一個一個智能、能效與規(guī)模協(xié)同演進(jìn)的全新計算時代。