著名計(jì)算機(jī)科學(xué)家Bill Dally講述他的團(tuán)隊(duì)如何助力AI性能實(shí)現(xiàn)逐年翻倍

今天，NVIDIA首席科學(xué)家Bill Dally在GTC中國(guó)線(xiàn)上大會(huì)主題演講中說(shuō)道，NVIDIA的研究人員致力于打造速度更快的AI芯片，并將其用于具有更高帶寬的系統(tǒng)，從而簡(jiǎn)化編程。

他以三個(gè)項(xiàng)目為例，講述了自己帶領(lǐng)的200人的研究團(tuán)隊(duì)如何成功實(shí)現(xiàn)“黃氏定律 （Huang’s Law）”。這則以NVIDIA首席執(zhí)行官黃仁勛（Jensen Huang）名字命名的定律，預(yù)測(cè)GPU將推動(dòng)AI性能實(shí)現(xiàn)逐年翻倍。

Dally 講述：“如果我們真想提高計(jì)算機(jī)性能，黃氏定律就是一項(xiàng)重要指標(biāo)，且在可預(yù)見(jiàn)的未來(lái)都將一直適用。此前，Dally曾負(fù)責(zé)NVIDIA在A(yíng)I、光線(xiàn)追蹤和高速互連領(lǐng)域的相關(guān)研究?！?/p>

NVIDIA助力 AI推理性能每年提升一倍以上

超高能效加速器

為實(shí)現(xiàn)這一突破，NVIDIA研究人員專(zhuān)門(mén)開(kāi)發(fā)了一種名為MAGNet的工具，其生成的AI推理加速器在模擬測(cè)試中，能夠達(dá)到每瓦 100 tera ops 的推理能力，比目前的商用芯片高出一個(gè)數(shù)量級(jí)。

MAGNet采用了一系列新技術(shù)來(lái)協(xié)調(diào)并控制通過(guò)設(shè)備的信息流，最大限度地減少數(shù)據(jù)傳輸，而數(shù)據(jù)傳輸正是當(dāng)今芯片中最耗能的環(huán)節(jié)。這一研究原型以模組化實(shí)現(xiàn)，因此能夠靈活擴(kuò)展。

另外，研究團(tuán)隊(duì)還開(kāi)展了一項(xiàng)研究，旨在以更快速的光鏈路取代現(xiàn)有系統(tǒng)內(nèi)的電氣鏈路。

發(fā)揮所有光子的潛能

Bill Dally 擁有120多項(xiàng)專(zhuān)利，在2009年加入NVIDIA之前，曾任斯坦福大學(xué)計(jì)算機(jī)科學(xué)系主任。Dally表示：“我們可以將連接GPU的NVLink速度提高一倍，也許還會(huì)再翻番，但電子信號(hào)最終會(huì)消耗殆盡。”

該團(tuán)隊(duì)正在與哥倫比亞大學(xué)的研究人員密切合作，探討如何利用電信供應(yīng)商在其核心網(wǎng)絡(luò)中所采用的技術(shù)，通過(guò)一條光纖來(lái)傳輸數(shù)十路信號(hào)。

這種名為“密集波分復(fù)用”的技術(shù)， 有望在僅一毫米大小的芯片上實(shí)現(xiàn)Tb/s級(jí)數(shù)據(jù)的傳輸，是如今互連密度的十倍以上。

除了更大的吞吐量，光鏈路也有助于打造更為密集型的系統(tǒng)。Dally舉例展示了一個(gè)未來(lái)將搭載160多個(gè)GPU的NVIDIA DGX系統(tǒng)模型。

工程師借助光鏈路，在單一系統(tǒng)中可搭載160多個(gè)GPU

軟件方面，NVIDIA的研究人員開(kāi)發(fā)了全新編程系統(tǒng)原型Legate。開(kāi)發(fā)者借助Legate，即可在任何規(guī)模的系統(tǒng)上，運(yùn)行針對(duì)單一GPU編寫(xiě)的程序——甚至適用于諸如Selene等搭載數(shù)千個(gè)GPU的巨型超級(jí)計(jì)算機(jī)。

Legate將一種新的編程速記融入了加速軟件庫(kù)和高級(jí)運(yùn)行時(shí)環(huán)境Legion，目前它正在美國(guó)國(guó)家實(shí)驗(yàn)室接受測(cè)試。

描繪美好未來(lái)

除上述三項(xiàng)研究，Dally還在主題演講中談到了NVIDIA特別針對(duì)醫(yī)療健康、無(wú)人駕駛汽車(chē)和機(jī)器人等眾多行業(yè)打造的平臺(tái)。同時(shí)，他還致力于鉆研數(shù)據(jù)科學(xué)、AI和圖形處理。

Dally表示：“經(jīng)過(guò)幾代人的努力，NVIDIA的產(chǎn)品將通過(guò)基于物理渲染的路徑追蹤技術(shù)，實(shí)時(shí)生成令人驚艷的圖像，并能夠借助AI構(gòu)建整個(gè)場(chǎng)景?！?/p>

此外，他還首次公開(kāi)展示了NVIDIA的對(duì)話(huà)式AI框架Jarvis與GauGAN的完美組合。GauGAN利用生成式對(duì)抗網(wǎng)絡(luò)，只需簡(jiǎn)略構(gòu)圖，就能創(chuàng)建美麗的風(fēng)景圖。在演示中，用戶(hù)可通過(guò)語(yǔ)音指令，即時(shí)生成像照片一樣栩栩如生的畫(huà)作。

在主題演講視頻錄制的間隙，Dally接受了采訪(fǎng)，表示對(duì)研究團(tuán)隊(duì)在多個(gè)領(lǐng)域取得的開(kāi)創(chuàng)性進(jìn)展深感自豪。

他說(shuō)：“當(dāng)前，NVIDIA在光線(xiàn)追蹤領(lǐng)域所取得進(jìn)展，都始于NVIDIA 研究院打造的原型，我們的產(chǎn)品團(tuán)隊(duì)都很興奮。2011年，我委派NVIDIA研究員Bryan Catanzaro與斯坦福大學(xué)教授A(yíng)ndrew Ng共同合作一個(gè)項(xiàng)目，后來(lái)打造出CuDNN軟件，讓深度學(xué)習(xí)領(lǐng)域大量的研究工作成為可能?！?/p>

立足網(wǎng)絡(luò)領(lǐng)域

此外，Dally還牽頭開(kāi)展了一項(xiàng)合作，構(gòu)建了 NVLink和 NVSwitch最初的原型。NVLink和 NVSwitch如今用于全球最大型的超級(jí)計(jì)算機(jī)中，實(shí)現(xiàn)了其內(nèi)部GPU的互連。

他說(shuō)：“產(chǎn)品團(tuán)隊(duì)總能迅速將研究工作轉(zhuǎn)化為實(shí)際成果，這也是NVIDIA如今能夠成為全球公認(rèn)最領(lǐng)先的網(wǎng)絡(luò)公司之一的原因。”

談及對(duì)科技的熱情，Dally說(shuō)自己就像個(gè)沉浸在糖果故事里的孩子。也許某一天，原本還在幫助一組團(tuán)隊(duì)研究AI加速器的他，就會(huì)突然轉(zhuǎn)而幫助另一團(tuán)隊(duì)解決機(jī)器人領(lǐng)域的復(fù)雜問(wèn)題。

他說(shuō)：“我現(xiàn)在所做的，是一份全世界，或者起碼是全公司里最有趣的工作，讓我有機(jī)會(huì)能夠助力塑造未來(lái)?！?/p>

除大會(huì)主題演講外，GTC中國(guó)線(xiàn)上大會(huì)還將提供220多場(chǎng)主題演講和分論壇，均可免費(fèi)參加，且絕大多數(shù)將使用中文。

GTC中國(guó)線(xiàn)上大會(huì)高峰論壇及初創(chuàng)企業(yè)展示

主題演講之后，NVIDIA的資深專(zhuān)家將齊聚高峰論壇，介紹公司在A(yíng)I、數(shù)據(jù)科學(xué)和醫(yī)療健康領(lǐng)域的多項(xiàng)突破性技術(shù)在中國(guó)的落地應(yīng)用。

此外，面向AI和數(shù)據(jù)科學(xué)領(lǐng)域初創(chuàng)企業(yè)的孵化項(xiàng)目NVIDIA初創(chuàng)加速計(jì)劃（NVIDIA Inception）將邀請(qǐng)12家領(lǐng)軍中國(guó)初創(chuàng)企業(yè)出席此次大會(huì)。

大會(huì)吸引了眾多行業(yè)領(lǐng)軍企業(yè)與機(jī)構(gòu)參與其中，包括阿里巴巴、AWS、百度、字節(jié)跳動(dòng)、中國(guó)電信、戴爾科技、滴滴、新華三、浪潮、快手、聯(lián)想、微軟、平安、騰訊、清華大學(xué)和小米。