現(xiàn)代高性能計算不僅使得更快的計算成為可能,它正驅(qū)動著 AI 系統(tǒng)解鎖更多領(lǐng)域的科學(xué)突破。
高性能計算經(jīng)歷了多次迭代,每一次都源于對技術(shù)的創(chuàng)造性再利用。例如,早期的超級計算機使用現(xiàn)成的組件制造。后來,研究人員用個人電腦構(gòu)建了強大的集群,甚至改造游戲顯卡,把它們用于科學(xué)研究。
當(dāng)今的高性能計算系統(tǒng)專為高速計算而設(shè)計,其中許多都采用了 NVIDIA 加速計算技術(shù)。在 ISC 2025 大會上揭曉的最新全球最快超級計算機 TOP500 榜單顯示,NVIDIA 為該榜單中 77% 的系統(tǒng)提供動力。
與此同時,像 Tensor Core 這樣的創(chuàng)新功能為矩陣乘法等常見運算提供了更快的計算能力,而混合精度等技術(shù)的普及則大幅提升了性能和能效,推動了氣候科學(xué)和醫(yī)學(xué)等領(lǐng)域的飛躍式發(fā)展。
NVIDIA 為 TOP500 中名列前茅的系統(tǒng)提供動力
NVIDIA 在超算領(lǐng)域繼續(xù)處于領(lǐng)先地位,為最新 TOP500 榜單中的 381 個系統(tǒng)提供動力,包括新進躋身前十的于利希超算中心的 JUPITER 超級計算機(排名第 4)。
TOP500 前 100 名系統(tǒng)中,目前有 83 個采用了加速計算,僅 17 個只使用了 CPU。
此外,在 Green500 全球最節(jié)能 FP64 超級計算機榜單上,前兩名均采用了 NVIDIA GH200 Grace Hopper 超級芯片,前十名中有九個系統(tǒng)均由 NVIDIA 加速。
Tensor Core 在科學(xué)領(lǐng)域的應(yīng)用
AI 性能的提升不僅源于浮點運算量的增加,也越來越多地根植于硬件與軟件的融合,例如對于 Tensor Core 的使用。
Tensor Core 是 NVIDIA GPU 內(nèi)的先進組件,專為加速矩陣運算(AI 和深度學(xué)習(xí)的核心計算)而設(shè)計。通過更高效地處理復(fù)雜計算,Tensor Core 加速了模型訓(xùn)練和推理等過程。
Tensor Core 加速了常見的矩陣運算,尤其是當(dāng)組織轉(zhuǎn)向 FP8 等更低精度進行模型訓(xùn)練時。隨著精度每降低一級,吞吐量就會提高近一倍,同時還能保持準(zhǔn)確。目前,只有模擬工作負(fù)載中的某些運算可以利用 Tensor Core。這些運算通常占總運行時間的一小部分,而且很少對整體性能產(chǎn)生重大影響。
隨著 GPU 上越來越多的物理空間被用于為 AI 構(gòu)建的低精度 Tensor Core,高性能計算社區(qū)迎來了把這些硬件重新用于推進科學(xué)發(fā)現(xiàn)的機會。
為此,NVIDIA 正投資開發(fā)新方法,以便將 Tensor Core 用于更廣泛的科學(xué)模擬相關(guān)場景。
RIKEN 研究所計算科學(xué)中心的 Yuki Uchino 和芝浦工業(yè)大學(xué)教授 Katsuhisa Ozaki 發(fā)表了一篇論文,其中展示了如何利用 Tensor Core 中的整數(shù)矩陣乘法加速器和一種名為 Ozaki scheme 的算法,使 GPU 中的整數(shù)單元能夠?qū)崿F(xiàn)包括 FP64 在內(nèi)的任意精度。
受此方案啟發(fā),NVIDIA 正在開發(fā)相關(guān)庫,以利用更多 GPU Tensor Core 來加速高精度張量和矩陣計算,聚焦于提升準(zhǔn)確度、性能和能效。
使用這些庫已展現(xiàn)出一些驚人的優(yōu)勢:在一個硅模擬中,把大約 1000 個原子暴露在紫外線下,使用這些庫的速度比使用 FP64 硬件快 1.8 倍,而二者輸出相同結(jié)果,這節(jié)省了時間和能源。

圖 1. 使用原生 FP64 硅和仿真技術(shù)對 998 個硅原子
進行 BerkeleyGW 模擬的性能比較
借助這些新的庫,BerkeleyGW 等常見的高性能計算模擬將很快能夠利用低精度 Tensor Core,實現(xiàn)性能和能效的飛躍。
AI 超級計算推動科學(xué)進步
盡管 TOP500 榜單凸顯了當(dāng)今超級計算機非凡的高精度運算速度,但并未體現(xiàn)出它們在通過混合精度和 AI 推動科學(xué)發(fā)現(xiàn)方面的巨大影響力。
去年,諾貝爾化學(xué)獎和物理學(xué)獎被授予使用 AI 的科研人員,包括 Demis Hassabis 和 John Jumper(因在谷歌 DeepMind 的蛋白質(zhì)結(jié)構(gòu)預(yù)測模型 AlphaFold 上的卓越工作而獲獎),以及多倫多大學(xué)名譽教授 Geoff Hinton 和普林斯頓大學(xué)名譽教授 John Hopfield(因推進神經(jīng)網(wǎng)絡(luò)架構(gòu)而獲獎)。
高性能計算領(lǐng)域的最高榮譽“戈登·貝爾獎”授予了 KAUST 的 David Keyes 團隊,表彰他們使用混合精度方法來模擬龐大的 ERA5 氣候數(shù)據(jù)集。該數(shù)據(jù)集提供了過去 80 年中每小時的大氣、陸地和海浪變量估計值,包含從地表到 80 公里高度的 137 個海拔層。
混合精度是一種結(jié)合了多種浮點精度格式的技術(shù)。使用較低精度的數(shù)據(jù)類型可提升性能和能效,讓應(yīng)用程序能夠使用更少的資源來實現(xiàn)更高的性能。
隨著科學(xué)家構(gòu)建新的 AI 模型以加速科學(xué)工作流,混合精度在科學(xué)領(lǐng)域的應(yīng)用日益普及。
在英國,布里斯托大學(xué)的 Isambard-AI 系統(tǒng)(由 NVIDIA Grace Hopper 提供動力)使用混合精度來訓(xùn)練 Nightingale 等模型。
Nightingale 是用于醫(yī)療和生物醫(yī)學(xué)研究的多模態(tài)基礎(chǔ)模型,集成了影像、心臟病學(xué)和電子健康記錄。與醫(yī)療領(lǐng)域的其它大語言模型不同,Nightingale 不僅使用基于文本的推理,還利用影像模式和標(biāo)準(zhǔn)診斷技術(shù),結(jié)合海量患者數(shù)據(jù)來提供醫(yī)學(xué)見解。Nightingale 的目標(biāo)是成為其它醫(yī)療應(yīng)用軟件的基礎(chǔ),包括醫(yī)生辦公助手和遠程醫(yī)療分診系統(tǒng)。
通過使用混合精度,Isambard-AI 實現(xiàn)了訓(xùn)練 Nightingale 等多模態(tài)大語言模型所需的大規(guī)模和準(zhǔn)確性,而無需為訓(xùn)練或推理配置過多的硬件。
邁向高性能計算的下一次迭代
加速計算、先進的張量技術(shù)和混合精度方法的結(jié)合,正在改變計算科學(xué),也展示了 AI 驅(qū)動更多突破的潛力。
隨著 JUPITER 等系統(tǒng)入選 TOP500,越來越多的工作借助 AI 來用于科學(xué)研究和創(chuàng)新,如將 Isambard-AI 超級計算機用于科學(xué)研究及通過 Ozaki 仿真方法所帶來的諸多創(chuàng)新,這些都推動著 Tensor Core 處理高精度計算的性能不斷提升,一個新時代正在到來。
從某些指標(biāo)來看,超級計算機將繼續(xù)提速,但僅有速度是不夠的。要找到破解重要科學(xué)難題的新見解,需要依賴智能、靈活的方法,以在不犧牲科學(xué)嚴(yán)謹(jǐn)性的前提下加速科學(xué)發(fā)現(xiàn),從而滿足科學(xué)和高性能計算社區(qū)乃至全球的需求。
-
NVIDIA
+關(guān)注
關(guān)注
14文章
5592瀏覽量
109716 -
超級計算機
+關(guān)注
關(guān)注
2文章
481瀏覽量
43367 -
英偉達
+關(guān)注
關(guān)注
23文章
4086瀏覽量
99169 -
高性能計算
+關(guān)注
關(guān)注
0文章
96瀏覽量
13808
原文標(biāo)題:NVIDIA 驅(qū)動的現(xiàn)代超級計算機如何突破速度極限并推動科學(xué)發(fā)展
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
使用NVIDIA技術(shù)驅(qū)動的超級計算機助力開放科學(xué)研究
NVIDIA NVQLink技術(shù)被全球十余家超級計算中心廣泛采用
NVIDIA技術(shù)推動化學(xué)和材料科學(xué)發(fā)展
快450000000倍!超導(dǎo)量子計算機“天衍-287”建成
NVIDIA DGX Spark桌面AI計算機開啟預(yù)訂
NVIDIA AI助力科學(xué)研究領(lǐng)域持續(xù)突破
NVIDIA助力AI超級計算機Isambard-AI投入使用
Blue Lion超級計算機將在NVIDIA Vera Rubin上運行
NVIDIA技術(shù)賦能歐洲最快超級計算機JUPITER
NVIDIA攜手Ansys和DCAI推進流體動力學(xué)量子算法發(fā)展
NVIDIA助力全球最大量子研究超級計算機
NVIDIA GTC2025 亮點 NVIDIA推出 DGX Spark個人AI計算機
NVIDIA 宣布推出 DGX Spark 個人 AI 計算機
超級計算與 HPC 之間的界限日趨模糊
NVIDIA驅(qū)動的現(xiàn)代超級計算機如何突破速度極限并推動科學(xué)發(fā)展
評論