為了推進(jìn)人工智能，賓夕法尼亞大學(xué)的研究人員最近開發(fā)了一種新的內(nèi)存計(jì)算 (CIM) 架構(gòu)，用于數(shù)據(jù)密集型計(jì)算。CIM 在大數(shù)據(jù)應(yīng)用方面具有諸多優(yōu)勢，UPenn 集團(tuán)在生產(chǎn)小型、強(qiáng)大的 CIM 電路方面邁出了第一步。

在本文中，我們將深入研究 CIM 的原理和支持研究人員無晶體管 CIM 架構(gòu)的器件物理特性。

為什么要在內(nèi)存中計(jì)算？

傳統(tǒng)上，計(jì)算主要依賴于基于馮諾依曼架構(gòu)的互連設(shè)備。在此架構(gòu)的簡化版本中，存在三個(gè)計(jì)算構(gòu)建塊：內(nèi)存、輸入/輸出 (I/O) 接口和中央處理單元 (CPU)。 ?

? 每個(gè)構(gòu)建塊都可以根據(jù) CPU 給出的指令與其他構(gòu)建塊交互。然而，隨著 CPU 速度的提高，內(nèi)存訪問速度會(huì)大大降低整個(gè)系統(tǒng)的性能。這在需要大量數(shù)據(jù)的人工智能等數(shù)據(jù)密集型用例中更為復(fù)雜。此外，如果內(nèi)存未與處理器位于同一位置，則基本光速限制會(huì)進(jìn)一步降低性能。 ? 所有這些問題都可以通過 CIM 系統(tǒng)來解決。在 CIM 系統(tǒng)中，內(nèi)存塊和處理器之間的距離大大縮短，內(nèi)存?zhèn)鬏斔俣瓤赡軙?huì)更高，從而可以更快地計(jì)算。 ?

氮化鈧鋁（Aluminum Scandium Nitride）：內(nèi)置高效內(nèi)存

UPenn 的 CIM 系統(tǒng)利用氮化鈧鋁(AlScN) 的獨(dú)特材料特性來生產(chǎn)小型高效的內(nèi)存塊。AlScN 是一種鐵電材料，這意味著它可能會(huì)響應(yīng)外部電場而變得電極化。通過改變施加的電場超過某個(gè)閾值，鐵電二極管 (FeD) 可以被編程為低電阻或高電阻狀態(tài)（分別為 LRS 或 HRS）。 ?

? 除了作為存儲(chǔ)單元的可操作性之外，AlScN 還可用于創(chuàng)建沒有晶體管的三元內(nèi)容可尋址存儲(chǔ) (TCAM) 單元。TCAM 單元對(duì)于大數(shù)據(jù)應(yīng)用程序極為重要，因?yàn)槭褂民T諾依曼架構(gòu)搜索數(shù)據(jù)可能非常耗時(shí)。使用 LRS 和 HRS 狀態(tài)的組合，研究人員實(shí)現(xiàn)了一個(gè)有效的三態(tài)并聯(lián)，所有這些都沒有使用晶體管。 ?

使用無晶體管 CIM 陣列的神經(jīng)網(wǎng)絡(luò)

為了展示 AlScN 執(zhí)行 CIM 操作的能力，UPenn 小組開發(fā)了一個(gè)使用 FeD 陣列的卷積神經(jīng)網(wǎng)絡(luò) (CNN)。該陣列通過對(duì)輸入電壓產(chǎn)生的輸出電流求和來有效地完成矩陣乘法。權(quán)重矩陣（即輸出電流和輸入電壓之間的關(guān)系）可以通過修改cell的電導(dǎo)率來調(diào)整到離散水平。這種調(diào)諧是通過偏置 AlScN 薄膜以表現(xiàn)出所需的電導(dǎo)來實(shí)現(xiàn)的。 ?

? AlScN CNN 僅使用 4 位電導(dǎo)率分辨率就成功地從MNIST 數(shù)據(jù)集中識(shí)別出手寫數(shù)字，與 32 位浮點(diǎn)軟件相比，降級(jí)約為 2%。此外，沒有晶體管使架構(gòu)簡單且可擴(kuò)展，使其成為未來需要高性能矩陣代數(shù)的人工智能應(yīng)用的優(yōu)秀計(jì)算技術(shù)。 ?

打破馮諾依曼瓶頸

在其存在的大部分時(shí)間里，人工智能計(jì)算主要是一個(gè)軟件領(lǐng)域。然而，隨著問題變得更加數(shù)據(jù)密集，馮諾依曼瓶頸對(duì)系統(tǒng)有效計(jì)算的能力產(chǎn)生了更深的影響，使得非常規(guī)架構(gòu)變得更有價(jià)值。 ? 基于 AlScN FeD 的模擬 CIM 系統(tǒng)消除了訓(xùn)練和評(píng)估神經(jīng)網(wǎng)絡(luò)延遲的主要原因，使它們更容易在現(xiàn)場部署。與現(xiàn)有硅硬件集成的 AlScN 設(shè)備的多功能性可能會(huì)為將 AI 集成到更多領(lǐng)域提供開創(chuàng)性的方法。 ?

原文：重新思考人工智能時(shí)代的計(jì)算機(jī)芯片

人工智能對(duì)傳統(tǒng)計(jì)算架構(gòu)提出了重大挑戰(zhàn)。在標(biāo)準(zhǔn)模型中，內(nèi)存存儲(chǔ)和計(jì)算發(fā)生在機(jī)器的不同部分，數(shù)據(jù)必須從其存儲(chǔ)區(qū)域移動(dòng)到 CPU 或 GPU 進(jìn)行處理。 ? 這種設(shè)計(jì)的問題是移動(dòng)需要時(shí)間，太多時(shí)間。你可以擁有市場上最強(qiáng)大的處理單元，但它的性能將受到限制，因?yàn)樗鼤?huì)等待數(shù)據(jù)，這個(gè)問題被稱為“內(nèi)存墻”或“瓶頸”。 ?

當(dāng)計(jì)算性能優(yōu)于內(nèi)存?zhèn)鬏敃r(shí)，延遲是不可避免的。在處理機(jī)器學(xué)習(xí)和人工智能應(yīng)用程序所必需的大量數(shù)據(jù)時(shí)，這些延遲成為嚴(yán)重的問題。 ? 隨著人工智能軟件的不斷發(fā)展，傳感器密集型物聯(lián)網(wǎng)的興起產(chǎn)生了越來越大的數(shù)據(jù)集，研究人員已將注意力集中在硬件重新設(shè)計(jì)上，以在速度、敏捷性和能源使用方面提供所需的改進(jìn)。 ? 賓夕法尼亞大學(xué)工程與應(yīng)用科學(xué)學(xué)院的一組研究人員與桑迪亞國家實(shí)驗(yàn)室和布魯克海文國家實(shí)驗(yàn)室的科學(xué)家合作，推出了一種非常適合人工智能的計(jì)算架構(gòu)。 ? 該項(xiàng)目由電氣與系統(tǒng)工程 (ESE) 系助理教授Deep Jariwala 、ESE副教授Troy Olsson和博士劉希文共同領(lǐng)導(dǎo)。作為 Jarawala設(shè)備研究和工程實(shí)驗(yàn)室的候選人，該研究小組依靠一種稱為內(nèi)存計(jì)算 (CIM) 的方法。 ?

在 CIM 架構(gòu)中，處理和存儲(chǔ)發(fā)生在同一個(gè)地方，從而消除了傳輸時(shí)間并最大限度地減少了能源消耗。該團(tuán)隊(duì)的新 CIM 設(shè)計(jì)是最近發(fā)表在Nano Letters上的一項(xiàng)研究的主題，以完全無晶體管而著稱。這種設(shè)計(jì)獨(dú)特地適應(yīng)了大數(shù)據(jù)應(yīng)用程序改變計(jì)算性質(zhì)的方式。 ? “即使在內(nèi)存計(jì)算架構(gòu)中使用，晶體管也會(huì)影響數(shù)據(jù)的訪問時(shí)間，”Jariwala 說?！八鼈冃枰谛酒恼麄€(gè)電路中進(jìn)行大量布線，因此使用的時(shí)間、空間和能量超出了我們對(duì)人工智能應(yīng)用的期望。我們無晶體管設(shè)計(jì)的美妙之處在于它簡單、小巧、快速，并且只需要很少的能量?！?? 該架構(gòu)的進(jìn)步不僅體現(xiàn)在電路級(jí)設(shè)計(jì)。這種新的計(jì)算架構(gòu)建立在該團(tuán)隊(duì)早期在材料科學(xué)方面的工作之上，該工作專注于一種稱為鈧合金氮化鋁 (AlScN) 的半導(dǎo)體。AlScN 允許鐵電開關(guān)，其物理特性比替代的非易失性存儲(chǔ)元件更快、更節(jié)能。

? “這種材料的一個(gè)關(guān)鍵屬性是它可以在足夠低的溫度下沉積以與硅制造廠兼容，”O(jiān)lsson 說?！按蠖鄶?shù)鐵電材料需要更高的溫度。AlScN 的特殊性能意味著我們展示的存儲(chǔ)設(shè)備可以在垂直異質(zhì)集成堆棧中的硅層頂部。想想一個(gè)可容納一百輛汽車的多層停車場和分布在一個(gè)地塊上的一百個(gè)獨(dú)立停車位之間的區(qū)別。哪個(gè)在空間方面更有效？像我們這樣高度微型化的芯片中的信息和設(shè)備也是如此。這種效率對(duì)于需要資源限制的應(yīng)用程序（例如移動(dòng)或可穿戴設(shè)備）和對(duì)能源極其密集的應(yīng)用程序（例如數(shù)據(jù)中心）同樣重要?！?/p>

? 2021 年，該團(tuán)隊(duì)確立了 AlScN作為內(nèi)存計(jì)算強(qiáng)國的可行性。它在小型化、低成本、資源效率、易于制造和商業(yè)可行性方面的能力在研究和工業(yè)界都取得了重大進(jìn)展。

? 在最近首次推出無晶體管設(shè)計(jì)的研究中，該團(tuán)隊(duì)觀察到他們的 CIM 鐵二極管的執(zhí)行速度可能比傳統(tǒng)計(jì)算架構(gòu)快 100 倍。

? 該領(lǐng)域的其他研究已成功使用內(nèi)存計(jì)算架構(gòu)來提高 AI 應(yīng)用程序的性能。然而，這些解決方案受到限制，無法克服性能和靈活性之間的矛盾權(quán)衡。使用憶阻器交叉陣列的計(jì)算架構(gòu)，一種模仿人腦結(jié)構(gòu)以支持神經(jīng)網(wǎng)絡(luò)操作的高級(jí)性能的設(shè)計(jì)，也展示了令人欽佩的速度。 ? 然而，使用多層算法來解釋數(shù)據(jù)和識(shí)別模式的神經(jīng)網(wǎng)絡(luò)操作只是功能性 AI 所需的幾個(gè)關(guān)鍵數(shù)據(jù)任務(wù)類別之一。該設(shè)計(jì)的適應(yīng)性不足以為任何其他 AI 數(shù)據(jù)操作提供足夠的性能。 ? Penn 團(tuán)隊(duì)的鐵二極管設(shè)計(jì)提供了其他內(nèi)存計(jì)算架構(gòu)所沒有的突破性靈活性。它實(shí)現(xiàn)了卓越的準(zhǔn)確性，在構(gòu)成有效 AI 應(yīng)用程序基礎(chǔ)的三種基本數(shù)據(jù)操作中表現(xiàn)同樣出色。它支持片上存儲(chǔ)，或容納深度學(xué)習(xí)所需的海量數(shù)據(jù)的能力，并行搜索，一種允許精確數(shù)據(jù)過濾和分析的功能，以及矩陣乘法加速，神經(jīng)網(wǎng)絡(luò)計(jì)算的核心過程。

? “假設(shè)，”Jariwala 說，“你有一個(gè) AI 應(yīng)用程序，它需要大內(nèi)存來存儲(chǔ)以及進(jìn)行模式識(shí)別和搜索的能力。想想自動(dòng)駕駛汽車或自主機(jī)器人，它們需要快速準(zhǔn)確地響應(yīng)動(dòng)態(tài)、不可預(yù)測的環(huán)境。使用傳統(tǒng)架構(gòu)，您需要為每個(gè)功能使用不同的芯片區(qū)域，并且您會(huì)很快耗盡可用性和空間。我們的鐵二極管設(shè)計(jì)允許您通過簡單地更改施加電壓的方式對(duì)其進(jìn)行編程，從而在一個(gè)地方完成所有工作。” ? 可以適應(yīng)多種數(shù)據(jù)操作的 CIM 芯片的回報(bào)是顯而易見的：當(dāng)團(tuán)隊(duì)通過他們的芯片運(yùn)行機(jī)器學(xué)習(xí)任務(wù)的模擬時(shí)，它的執(zhí)行精度與在傳統(tǒng) CPU 上運(yùn)行的基于 AI 的軟件相當(dāng)。

? “這項(xiàng)研究非常重要，因?yàn)樗C明我們可以依靠內(nèi)存技術(shù)來開發(fā)集成多個(gè)人工智能數(shù)據(jù)應(yīng)用程序的芯片，從而真正挑戰(zhàn)傳統(tǒng)計(jì)算技術(shù)，”該研究的第一作者劉說。 ? 該團(tuán)隊(duì)的設(shè)計(jì)方法是考慮到人工智能既不是硬件也不是軟件，而是兩者之間必不可少的協(xié)作。 ? “重要的是要意識(shí)到，目前完成的所有人工智能計(jì)算都是在幾十年前設(shè)計(jì)的硅硬件架構(gòu)上啟用軟件的，”Jariwala 說?！斑@就是為什么人工智能作為一個(gè)領(lǐng)域一直由計(jì)算機(jī)和軟件工程師主導(dǎo)。從根本上重新設(shè)計(jì)人工智能硬件將成為半導(dǎo)體和微電子領(lǐng)域的下一個(gè)重大變革。我們現(xiàn)在的方向是軟硬件協(xié)同設(shè)計(jì)?！?? “我們設(shè)計(jì)的硬件可以讓軟件更好地工作，”Liu 補(bǔ)充道，“通過這種新架構(gòu)，我們確保技術(shù)不僅快速而且準(zhǔn)確。” ? ?

編輯：黃飛