超級計算機+AI：NVIDIA Ampere架構(gòu)開辟百萬兆級時代

目前，全球有6座超級計算機中心率先采用 NVIDIA Ampere架構(gòu)，將從天體物理學(xué)到病毒微生物學(xué)等多個科學(xué)領(lǐng)域帶入百萬兆級時代。

這些位于美國和德國的高性能計算中心（HPC）將共計使用近13,000個A100 GPU。

這些GPU的總峰值性能超過250 petaflops，將被用于使用64位浮點數(shù)學(xué)運算的模擬。而對于使用混合精度數(shù)學(xué)和利用A100 GPU對稀疏性支持的AI推理工作，它們可提供驚人的8.07 exaflops性能。

研究人員將運用這一強大性能從多個維度推動科學(xué)發(fā)展。他們計劃模擬更大型的模型、訓(xùn)練和部署更深入的網(wǎng)絡(luò)，并開拓運用AI來輔助模擬的新興混合領(lǐng)域。

Argonne國家實驗室是首批NVIDIA DGX-A100系統(tǒng)的使用者之一。圖片由Argonne國家實驗室提供

Argonne國家實驗室（Argonne National Laboratory）的研究人員將通過模擬冠狀病毒（由多達150萬個原子組成）刺突蛋白的關(guān)鍵部分來研發(fā)新冠病毒疫苗。

Argonne國家實驗室計算生物學(xué)家Arvind Ramanathan表示，刺突蛋白分子很難模擬，但A100可以加快對這些子系統(tǒng)的模擬，讓我們了解這種病毒如何感染人類?！盇rgonne國家實驗室將采用一個由24個NVIDIA DGX A100系統(tǒng)組成的集群。

他還表示，在其他項目中，“由于一次可以掃描數(shù)不計其數(shù)的藥物，我們的新藥研發(fā)能力明顯增強。我們可能會了解之前所無法了解的知識，比如兩種蛋白質(zhì)如何相互結(jié)合等?！?/p>

A100為科學(xué)研究引入AI

Ramanathan表示：“許多工作難以在計算機上模擬，因此我們可以運用AI來智能指導(dǎo)下一步的采樣地點和時間?！?/p>

而這只是科學(xué)家使用AI引導(dǎo)模擬這一新興趨勢的冰山一角。Ramanathan還告訴我們，GPU將把生物樣品的處理時間縮短“至少兩個數(shù)量級”。

國家能源研究科學(xué)計算中心（NERSC）有望成為全美第一批A100使用者中，規(guī)模最大的使用者。這座位于加利福尼亞州伯克利（Berkeley, Calif.）的計算中心正在與惠普（Hewlett Packard）合作，在其預(yù)制的百萬兆級系統(tǒng)Perlmutter中部署6200個GPU。

NERSC主任Sudip Dosanjh表示：“在NERSC科學(xué)和算法領(lǐng)域，一個V100 GPU的性能比我們當(dāng)前一代Cori系統(tǒng)上的KNL CPU節(jié)點高出5倍，我們期待著Perlmutter上的A100性能會更加強大?！?/p>

百萬兆級計算團隊使用AI進行模擬

NERSC的百萬兆級計算專用團隊已為Perlmutter確認了近30個項目，這些項目采用了大規(guī)模模擬、數(shù)據(jù)分析或深度學(xué)習(xí)技術(shù)。一些項目將高性能計算與AI相結(jié)合，比如使用強化學(xué)習(xí)控制光源實驗的項目、使用生成模型在高能物理探測器上重現(xiàn)成本昂貴的模擬等。

NERSC的2個高性能計算應(yīng)用程序，已經(jīng)原型化了A100 GPU雙精度Tensor核心的使用。相比上一代Volta GPU，它們的性能顯著提高。

NERSC的高性能計算性能工程師Christopher Daley，在GTC 線上大會的一次演講中表示，未來的百萬兆級系統(tǒng)將使用專為10000路并行Perlmutter GPU產(chǎn)品而優(yōu)化的軟件。NERSC支持天體物理學(xué)、地球科學(xué)、聚變能和基因組學(xué)等領(lǐng)域的近千種科學(xué)應(yīng)用。

NERSC的首席架構(gòu)師Nicholas Wright表示：“在Perlmutter上，我們需要支持用戶所需和期望的所有編程模型的編譯器，包括MPI、OpenMP、OpenACC、CUDA和經(jīng)過優(yōu)化的數(shù)學(xué)庫。而這些在NVIDIA HPC SDK上都有?！?/p>

德國努力繪制大腦圖譜

AI將成為全新70 petaflops系統(tǒng)首批A100應(yīng)用的重點技術(shù)，該系統(tǒng)由法國Atos專為德國西部尤利西超級計算中心（Jülich Supercomputing Center）設(shè)計。

比如能夠作出快速短期天氣預(yù)報的Deep Rain將對傳統(tǒng)系統(tǒng)（進行大規(guī)模，但速度慢的大氣模擬）進行補充。另一個項目計劃構(gòu)建人腦纖維圖集，并結(jié)合數(shù)千張高分辨率2D腦圖像進行深度學(xué)習(xí)。

尤利西采用的新型A100系統(tǒng)還將幫助研究人員，進一步理解結(jié)合夸克（物質(zhì)的亞原子構(gòu)造模塊）所具有的強大力量。氣候科學(xué)項目將可以建立地球地表和地下水流的宏觀模型。

理論物理學(xué)家Dirk Pleiter目前管理尤利西應(yīng)用技術(shù)研發(fā)團隊。他表示：“許多應(yīng)用程序都受到存儲的限制。因此，我們最感興趣的是A100存儲占用量和帶寬的增加情況?！?/p>

全新GPU能夠?qū)㈦p精度數(shù)學(xué)運算速度提高多達2.5倍，而這也是一項研究人員迫切需要的功能。他表示：“我認為一旦人們發(fā)現(xiàn)有機會提高計算性能，他們會非常希望使用GPU。”

NVLink助跑數(shù)據(jù)密集型工作

卡爾斯魯厄技術(shù)學(xué)院（Karlsruhe Institute of Technology, KIT）在尤利西以南約230英里處,與聯(lián)想合作建立了一部全新的17 petaflops系統(tǒng)。該系統(tǒng)將在NVIDIA Mellanox 200 Gbit/s InfiniBand網(wǎng)絡(luò)上集成740個A100 GPU，從而解決多項重大挑戰(zhàn)，包括：

用于氣候科學(xué)的千米級大氣模擬

針對新冠病毒的研究，包括對Folding@home的支持

大型強子對撞機對希格斯玻色子以外粒子物理學(xué)的探索

可能取代鋰離子電池的新一代材料研究

AI在機器人技術(shù)、語言處理和可再生能源中的應(yīng)用

KIT超級計算中心主任、計算科學(xué)與數(shù)學(xué)教授Martin Frank表示：“我們的主要工作是數(shù)據(jù)密集型模擬和AI工作流，因此我們非常需要能夠連接新GPU的第三代NVLink?！?/p>

他補充說：“我們也十分期待多實例GPU功能。該功能可以讓每個節(jié)點最多擁有28個GPU，而不是原來的只有4個節(jié)點，這將使我們的許多應(yīng)用都大大受益?！?/p>

在慕尼黑郊外，馬克斯·普朗克研究所（Max Planck Institute）的計算機中心正在與聯(lián)想合作創(chuàng)建一個名為Raven-GPU的系統(tǒng)。該系統(tǒng)集成了768個NVIDIA A100 GPU，將支持天體物理學(xué)、生物學(xué)、理論化學(xué)和新材料科學(xué)等領(lǐng)域的工作。該研究所的目標(biāo)是在今年年底之前安裝Raven-GPU，并且現(xiàn)在正在接受將應(yīng)用程序移植到A100方面的請求。

印第安納大學(xué)系統(tǒng)應(yīng)對網(wǎng)絡(luò)安全威脅

印第安納大學(xué)（Indiana University）正在建造Big Red 200（6 petaflops系統(tǒng)）。該系統(tǒng)將使用256個A100 GPU，有望成為美國大學(xué)中速度最快的超級計算機。

該項目于6月發(fā)布，是最早采用惠普公司Cray Shasta技術(shù)的學(xué)術(shù)中心之一。其他學(xué)術(shù)中心也將在未來的百萬兆級系統(tǒng)中使用這項技術(shù)。

Big Red 200將運用AI應(yīng)對網(wǎng)絡(luò)安全威脅。它還將解決遺傳學(xué)方面的巨大挑戰(zhàn)，幫助實現(xiàn)個性化醫(yī)療，為氣候建模、物理學(xué)和天文學(xué)方面的工作提供支持。