人工智能芯片需要什么樣的基礎(chǔ)器件？

?

今日，第八屆未來(lái)芯片論壇在北京舉辦。未來(lái)芯片論壇是清華大學(xué)集成電路學(xué)院和北京集成電路高精尖創(chuàng)新中心主辦的重要年度學(xué)術(shù)會(huì)議，為領(lǐng)域內(nèi)的高校、研究機(jī)構(gòu)、企業(yè)搭建一個(gè)跨界、跨學(xué)科的思想交流平臺(tái)。國(guó)際歐亞科學(xué)院院士，清華大學(xué)魏少軍教授對(duì)于未來(lái)芯片談了幾點(diǎn)自己的思考。 ?超高算力芯片架構(gòu)應(yīng)該具備什么特點(diǎn)？ ? 高性能計(jì)算已經(jīng)進(jìn)入了E級(jí)時(shí)代，去年美國(guó)能源部發(fā)布了世界上第一臺(tái)E級(jí)計(jì)算超級(jí)計(jì)算機(jī)。E級(jí)計(jì)算是一個(gè)非常重要的里程碑，能夠完成每秒鐘一百億億次的雙精度浮點(diǎn)運(yùn)算。在該超級(jí)計(jì)算機(jī)發(fā)布后，美國(guó)總統(tǒng)科學(xué)顧問(wèn)委員會(huì)馬上宣布，美國(guó)高性能計(jì)算的下一個(gè)目標(biāo)是Z級(jí)計(jì)算。和E級(jí)計(jì)算相比，Z級(jí)計(jì)算會(huì)快千倍。

業(yè)界對(duì)追求更高的運(yùn)算速度是永無(wú)止境的。并且數(shù)據(jù)的總量還在增加，到2024年，數(shù)據(jù)的總量會(huì)達(dá)到100ZB。數(shù)據(jù)量的增長(zhǎng)很大。尤其是人工智能增長(zhǎng)后，數(shù)據(jù)更大，所以Z級(jí)計(jì)算已經(jīng)成為業(yè)內(nèi)不得不解決的事情。 魏少軍指出：“簡(jiǎn)單依靠工藝技術(shù)進(jìn)步，幾乎無(wú)法實(shí)現(xiàn)更高性能計(jì)算。”原因很簡(jiǎn)單，按照美國(guó)前沿計(jì)算機(jī)的使用的工藝來(lái)推理，比如現(xiàn)在用6nm工藝，功耗高達(dá)21.1兆瓦，占地680平方米。半導(dǎo)體工藝?yán)^續(xù)向前發(fā)展，還有5nm、4nm、3nm。如果使用3nm工藝來(lái)實(shí)現(xiàn)Z級(jí)計(jì)算，現(xiàn)在的功耗高達(dá)8000兆瓦，意味著一個(gè)小時(shí)使用800萬(wàn)度電，也就是一個(gè)小時(shí)大概400萬(wàn)人民幣的電費(fèi)。從成本來(lái)說(shuō)，使用3nm工藝來(lái)實(shí)現(xiàn)Z級(jí)計(jì)算要花6000億美元。

盡管工藝的進(jìn)步會(huì)帶來(lái)成本的下降，但總體來(lái)說(shuō)直接的成本不會(huì)下降太多，占地面積在幾十萬(wàn)平方米，這幾十萬(wàn)平方米也會(huì)帶來(lái)巨大的延遲。因此，簡(jiǎn)單地靠工藝進(jìn)步幾乎無(wú)法實(shí)現(xiàn)更高性能的計(jì)算。 目前的計(jì)算芯片，其計(jì)算資源在整個(gè)芯片資源中占比很低，小于0.1%，利用率就更低，但是用于數(shù)據(jù)傳輸?shù)哪芎姆浅８?，比?a href="http://www.makelele.cn/tags/gpu/" target="_blank">GPU的能耗就很高，大于90%?；谶@樣的基本特點(diǎn)，如果立足于現(xiàn)在的計(jì)算機(jī)構(gòu)和計(jì)算芯片，想要完成下一代計(jì)算，難度非常大。 此外，對(duì)算力的要求也已經(jīng)到了無(wú)以復(fù)加的程度，人工智能的蓬勃發(fā)展眾所周知，目前人工智能分兩類，一類叫類腦計(jì)算，還有一類叫深度學(xué)習(xí)。而這兩類涉及的三個(gè)基本要素包括算法、數(shù)據(jù)和算力。

其中，算力對(duì)人工智能起到了真正意義上的驅(qū)動(dòng)作用。 目前的人工智能和預(yù)計(jì)差的很遠(yuǎn)。一方面，算法和人的識(shí)別是不一樣的，現(xiàn)在要求人工智能能夠適應(yīng)不同的各種應(yīng)用。另一方面，人工智能現(xiàn)在的實(shí)現(xiàn)過(guò)程比較“暴力”。舉一個(gè)例子，2014年的簡(jiǎn)單模型，實(shí)現(xiàn)大概需要每秒鐘196億次的運(yùn)算和同時(shí)處理1.38億的參數(shù)，這樣的高密度運(yùn)算和高密度存儲(chǔ)對(duì)于今天的芯片也帶來(lái)很大的挑戰(zhàn)。魏少軍說(shuō)到：“對(duì)于計(jì)算架構(gòu)來(lái)說(shuō)，已經(jīng)進(jìn)入了‘黃金時(shí)代’。到今天為止，要?jiǎng)?chuàng)新計(jì)算架構(gòu)，如果只是沿著原來(lái)的傳統(tǒng)走下去，是走不下去的?！?未來(lái)能夠提供支撐的超級(jí)計(jì)算，基本上是要100億人民幣以下的投資和100兆瓦以內(nèi)的功耗，占地面積在幾萬(wàn)平方米甚至是1萬(wàn)平方米的才能夠?qū)崿F(xiàn)。這樣的條件下，對(duì)芯片、硬件、軟件提出了新的潛在要求。

?人工智能芯片需要什么樣的基礎(chǔ)器件？

智能化延伸我們的認(rèn)知。以計(jì)算機(jī)、網(wǎng)絡(luò)、通信、光電子和集成電路等技術(shù)為主要內(nèi)容的信息革命，實(shí)現(xiàn)了人類感官能力的延伸和放大。信息技術(shù)將與人工智能技術(shù)，新型材料工程等一起攜手前行，將信息技術(shù)推向全新的高度，實(shí)現(xiàn)人類大腦能力的延伸和放大。以機(jī)械化、電力化和自動(dòng)化為主要內(nèi)容的工業(yè)革命解放了人類的雙手，提供人類巨大的能源，實(shí)現(xiàn)了人類體能的延伸和放大。 從1946年的第一臺(tái)電子計(jì)算機(jī)開(kāi)始，已經(jīng)經(jīng)過(guò)了三輪智能化浪潮。

以1990年的以日本的第五代計(jì)算機(jī)作為一個(gè)標(biāo)志，是第一輪智能化浪潮。到2017年，不斷地縮小研究范圍，使用機(jī)器學(xué)習(xí)的算法進(jìn)行分類和識(shí)別。再到現(xiàn)在，谷歌的DeepMind玩游戲已經(jīng)比人類的專業(yè)玩家好10倍?？梢钥吹剑斯ぶ悄艿陌l(fā)展在多個(gè)方面已經(jīng)超過(guò)了人類。 為什么會(huì)這樣？加拿大的神經(jīng)科學(xué)家作出了重要的貢獻(xiàn)。在他的啟示下，發(fā)展了類腦計(jì)算和深度學(xué)習(xí)后，可以使用深度神經(jīng)網(wǎng)絡(luò)的方式來(lái)訓(xùn)練，雖然有點(diǎn)暴力，但是可以取得不錯(cuò)的結(jié)果。

人工智能芯片的主流架構(gòu)從AI Chip 0.5一直發(fā)展到AI Chip 1.7，從云端AI發(fā)展到邊緣AI。 魏少軍表示：“算力是人工智能發(fā)展的充分條件，而算力依靠芯片實(shí)現(xiàn)，因此芯片不可或缺，后來(lái)還出現(xiàn)了專門(mén)針對(duì)人工智能的芯片?！币粋€(gè)應(yīng)用就是一個(gè)算法， N個(gè)應(yīng)用需要N個(gè)芯片，為了解決能夠在一個(gè)芯片上實(shí)現(xiàn)不同的應(yīng)用，出現(xiàn)了一種以靈活性為主的可重構(gòu)方法。在處理不同的算法的過(guò)程當(dāng)中，通過(guò)算力的提升、通用性的提升進(jìn)一步提升今天的人工智能。

今天業(yè)界想象的結(jié)構(gòu)更多在考慮計(jì)算機(jī)的體系結(jié)構(gòu)，可能需要去探索新的技術(shù)實(shí)現(xiàn)。但并不是要想入非非，我們做不到一個(gè)生物的器件，更多要想到是一個(gè)硅基的半導(dǎo)體材料，能夠支持海量的輸入和海量輸出，可能具備基礎(chǔ)加權(quán)和激活函數(shù)運(yùn)算功能，采用存算一體、有超低延時(shí)、超低功耗、極低成本，還可以采用現(xiàn)行CMOS工藝生產(chǎn)制造，未來(lái)還可以實(shí)現(xiàn)三維集成。這是現(xiàn)在必須考慮的問(wèn)題，如果我們能夠突破這樣人工智能的新技術(shù)，也許就打開(kāi)了一條新路。 ?大模型對(duì)芯片的發(fā)展是否有決定性影響？ ? 魏少軍也在思考，大模型對(duì)芯片來(lái)說(shuō)是不是不可或缺，或者大模型對(duì)芯片是不是會(huì)出現(xiàn)負(fù)面影響。他做了一個(gè)實(shí)驗(yàn)，在Chat GPT上多次詢問(wèn)“為什么林黛玉要三打白骨精”。Chat GPT 4和Chat GPT 3給出的答案完全不一樣。Chat GPT 4不是胡說(shuō)八道，而是給出了一個(gè)更合乎邏輯的故事。

但是，ChatGPT是接受了大量數(shù)據(jù)訓(xùn)練以后，開(kāi)始增長(zhǎng)能力，也就是說(shuō)它本身的創(chuàng)造能力非常有限。人之所以認(rèn)為Chat GPT有很多新奇的想法，是因?yàn)榧狭艘慌说闹腔邸Ｆ鋵?shí)Chat GPT沒(méi)有創(chuàng)造力，更多的還是通過(guò)數(shù)據(jù)的訓(xùn)練。在和其對(duì)話翻譯中，它的邏輯關(guān)系并不對(duì)，實(shí)際上Chat GPT并沒(méi)有想象的聰明。

回過(guò)頭看，大模型對(duì)芯片設(shè)計(jì)有幫助嗎？很多人認(rèn)為EDA行業(yè)是最好利用大模型設(shè)計(jì)。魏少軍表示，對(duì)于EDA行業(yè)有兩個(gè)部分可以利用大模型，一個(gè)是EDA工具，一個(gè)是設(shè)計(jì)服務(wù)，也就是大模型和一定工具結(jié)合產(chǎn)生結(jié)果，如果是在一般的情況下設(shè)計(jì)，想要完成太難了。因此，對(duì)于這個(gè)問(wèn)題，魏少軍表示，大模型對(duì)芯片設(shè)計(jì)肯定有幫助，但是幫助多大，值得去思考。 ?

三維集成電路技術(shù)的發(fā)展方向在哪？

? 三維集成電路最近慢慢開(kāi)始熱起來(lái)，摩爾定律一直在發(fā)展，而且發(fā)展的過(guò)程中密度越來(lái)越高?，F(xiàn)在5nm工藝可以在一個(gè)平方毫米上集成大概1.1億只晶體管，也就是2800個(gè)邏輯門(mén)。我們的集成能力已經(jīng)大于能夠?qū)崿F(xiàn)的芯片了。

基本器件在不斷地向前演進(jìn)，從45nm、32nm到5nm、3nm，從Hight-K現(xiàn)在走到FinFET，F(xiàn)inFET可以用到7nm，到了3nm工藝變?yōu)榱薌AA。GAA的壽命很短，可以用一代或者兩代，繼續(xù)往前走能否進(jìn)步，沒(méi)人知道。雖然目前提出了二維器件、分子器件，但這是否具有可行性以及成本能否堅(jiān)持還是一個(gè)問(wèn)題。 目前也有提出使用Chiplet、3D封裝。某種意義上來(lái)說(shuō)，這兩種方式都是更廣義的集成，不是在單芯片上的傳統(tǒng)集成電路集成。魏少軍表示，從更長(zhǎng)遠(yuǎn)來(lái)看這種方式是沒(méi)有問(wèn)題，甚至?xí)?lái)更重要的優(yōu)勢(shì)，比如成本降低?？梢圆恍枰渴褂米钕冗M(jìn)的工藝，研發(fā)的時(shí)間、進(jìn)入市場(chǎng)的時(shí)間都會(huì)更短。 發(fā)展到3nm之后，也可以考慮讓晶體管豎著放，變成vertical的一種增長(zhǎng)?，F(xiàn)在3D NAND已經(jīng)做到了這點(diǎn)，長(zhǎng)江存儲(chǔ)利用堆疊技術(shù)已經(jīng)把3D NAND做得很高。

反過(guò)來(lái)，如果能形成某一種新的融合、新的集成，解決的不僅僅是一個(gè)計(jì)算與存儲(chǔ)的問(wèn)題，還能夠?qū)崿F(xiàn)三維集成電路的發(fā)展。 總而言之，計(jì)算無(wú)處不在。高性能計(jì)算是未來(lái)發(fā)展的戰(zhàn)略高地，也是大國(guó)競(jìng)爭(zhēng)的焦點(diǎn)。今天的計(jì)算架構(gòu)和集成電路技術(shù)已經(jīng)難以支撐高性能計(jì)算走向Zetta量級(jí)，急需通過(guò)架構(gòu)創(chuàng)新尋求突破。 智能化是大勢(shì)所趨，人工智能的發(fā)展有賴于芯片技術(shù)的進(jìn)步。今天的芯片技術(shù)已經(jīng)無(wú)法滿足人工智能技術(shù)高速發(fā)展的需求，急需從基本器件入手，尋找突破點(diǎn)。 大模型的到來(lái)開(kāi)闊了人們的思路，也給出了一些新穎的發(fā)展方向。不少人對(duì)大模型輔助芯片設(shè)計(jì)抱有強(qiáng)烈的期望。我們今天尚無(wú)法判斷大模型對(duì)芯片設(shè)計(jì)的具體幫助，但可以從大模型的基本原理來(lái)作些判斷，這樣會(huì)比較客觀冷靜地看待大模型在集成電路芯片設(shè)計(jì)中的作用。 集成電路的精髓在于“集成”。在摩爾定發(fā)展的大背景下，是時(shí)候開(kāi)始探索三維集成的路徑和方法了。 本文依據(jù)第八屆未來(lái)芯片論壇清華大學(xué)教授魏少軍演講整理

審核編輯：黃飛

?