低精度，模擬內(nèi)存，高精度

IBMResearchAlmaden的副總裁兼實驗室主任JeffWelser在一次IEDM演示中指出，神經(jīng)網(wǎng)絡(luò)計算通常不需要高計算精度。16位計算模塊使用等效32位塊所需的四分之一電路空間，并將所需的數(shù)據(jù)量減半。即使使用傳統(tǒng)架構(gòu)，降低精度算法也可以顯著提高計算效率。

克服內(nèi)存瓶頸的需求也在推動更激進(jìn)的計算內(nèi)存架構(gòu)。在這種體系結(jié)構(gòu)的最簡單視圖中，預(yù)先確定的權(quán)重存儲在非易失性內(nèi)存元素數(shù)組中。將輸入數(shù)據(jù)加載在內(nèi)存字行上，并對來自單個單元格的電流求和。

究竟如何在硬件中實現(xiàn)這樣的方案是正在進(jìn)行的研究的主題。業(yè)界已經(jīng)提出了數(shù)字和模擬解決方案。

例如，數(shù)字陣列可以由閃存元件組裝而成。明尼蘇達(dá)大學(xué)的研究人員展示了兼容CMOS的eflash存儲單元，它將電荷存儲在控制柵極和通道之間的浮動?xùn)艠O上。在這樣的陣列中，可以通過完善的集成電路設(shè)計精確地控制特定權(quán)重值和它們改變的速率（學(xué)習(xí)速率）。這種方法很有吸引力，因為它依賴于成熟，易于理解的組件技術(shù)。

然而，機(jī)器學(xué)習(xí)應(yīng)用中感興趣的許多數(shù)據(jù)本質(zhì)上是模擬的。斯坦福大學(xué)和加州大學(xué)伯克利分校的研究員Xin Zheng及其同事觀察到，通過使用固有存儲模擬值的RRAM等存儲元件，可以避免模數(shù)轉(zhuǎn)換和數(shù)模轉(zhuǎn)換及其相關(guān)的能耗和硅足跡。然而，目前可用的模擬存儲器元件帶來了一系列新的挑戰(zhàn)。

當(dāng)數(shù)字元件處于開啟或關(guān)閉狀態(tài)時，模擬元件可以具有一系列值。給定信號存儲的值取決于設(shè)備的屬性。在絲狀RRAM中，電阻隨著導(dǎo)電細(xì)絲在器件的端子之間形成而下降。一系列弱編程脈沖可能會產(chǎn)生弱細(xì)絲，而強(qiáng)脈沖會產(chǎn)生更強(qiáng)的細(xì)絲。因此，存儲給定值所需的脈沖強(qiáng)度和數(shù)量取決于長絲形成的動力學(xué)。學(xué)習(xí)速率取決于電阻狀態(tài)與從一個狀態(tài)移動到下一個狀態(tài)所需的脈沖數(shù)之間的分離。

對于推理任務(wù)，可以使用傳統(tǒng)CMOS邏輯計算權(quán)重，然后將其存儲在RRAM陣列中。使用給定數(shù)量的編程脈沖實現(xiàn)的精確值可能因設(shè)備而異，但模擬表明在面對這些變化時總體精度是穩(wěn)健的。

然而，對于學(xué)習(xí)任務(wù)，隨著修正在網(wǎng)絡(luò)中的傳播，個體權(quán)重需要上下調(diào)整。不幸的是，當(dāng)前的RRAM設(shè)備通常具有對SET和RESET脈沖有不對稱響應(yīng)。簡單地改變編程脈沖的符號不會在相反的方向上產(chǎn)生相等的調(diào)整。這種不對稱性是學(xué)習(xí)任務(wù)在記憶中實現(xiàn)的一個主要問題。

耐力，穩(wěn)定性和可重復(fù)性

如上所述，清華大學(xué)的研究生Meiran Zhao表示，學(xué)習(xí)任務(wù)還需要大量的數(shù)據(jù)和非常多的重量更新，大約10 5和10 7。針對傳統(tǒng)存儲應(yīng)用設(shè)計的RRAM陣列的測試將設(shè)備壽命放在相同的范圍內(nèi)。然而，數(shù)據(jù)存儲應(yīng)用需要數(shù)字值——一個設(shè)備是開著的還是關(guān)著的——并且通常使用足夠強(qiáng)的設(shè)置和重置脈沖來創(chuàng)建或移除一根強(qiáng)導(dǎo)電絲。如果使用弱脈沖代替，趙的小組表明模擬切換在超過10 11之后沒有失敗更新脈沖，盡管學(xué)習(xí)準(zhǔn)確度確實降低到超過10 9個更新脈沖。

所需的大量訓(xùn)練周期也會威脅存儲的重量值的穩(wěn)定性。在RRAM裝置中，燈絲的導(dǎo)電率由燈絲體積內(nèi)的氧空位濃度決定。該濃度又由施加的電壓脈沖控制。但是，不可能精確控制個別職位空缺的位置。當(dāng)它們在器件內(nèi)遷移時，無論是在電壓梯度的影響下還是在熱激發(fā)后，精確的電阻都會發(fā)生變化。

另一種非易失性存儲器，即電化學(xué)RAM，試圖解決絲狀RRAM的局限性。當(dāng)RRAM是雙終端設(shè)備時，ECRAM是三終端設(shè)備。施加到第三端子的電壓控制離子從LiPON電解質(zhì)層插入到WO 3導(dǎo)體中。電阻取決于氧化還原反應(yīng)，該反應(yīng)可以在開啟和關(guān)閉方向上精確且可重復(fù)地控制。

超越神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是最常見的機(jī)器學(xué)習(xí)技術(shù)，但它不一定是最好的。新興存儲器設(shè)備的非線性概率行為對于某些算法來說是一個挑戰(zhàn)，但對其他算法來說可能是一個優(yōu)勢。

例如，生成對抗網(wǎng)絡(luò)使用一個神經(jīng)網(wǎng)絡(luò)為另一個生成測試示例。當(dāng)“鑒別器”網(wǎng)絡(luò)能夠區(qū)分真實數(shù)據(jù)和“發(fā)生器”網(wǎng)絡(luò)生成的示例時，它就是成功的。

因此，鑒別器網(wǎng)絡(luò)可以通過顯示由發(fā)生器網(wǎng)絡(luò)創(chuàng)建的一組非小狗圖像來學(xué)習(xí)識別小狗的照片。生成對抗性網(wǎng)絡(luò)算法的一個挑戰(zhàn)是生成測試示例，這些測試示例涵蓋了所有感興趣的真實情況?！澳Ｊ絹G棄”，其中生成的示例聚集在有限數(shù)量的類別周圍，可能會由于RRAM網(wǎng)絡(luò)固有的隨機(jī)性而減少。同樣的非線性行為使得精確的權(quán)重難以存儲，這可能導(dǎo)致更多的測試示例。

RRAM行為與歷史有關(guān)。給定的重置脈沖實際重置設(shè)備的概率會隨著之前設(shè)置的脈沖數(shù)的增加而降低。Imec的一個小組使用這種行為作為時間序列學(xué)習(xí)規(guī)則的基礎(chǔ) － 在時間t有效的裝置用于預(yù)測在時間t ＋Δ處有效的裝置。將該預(yù)測與實際數(shù)據(jù)進(jìn)行比較，然后通過SET脈沖加強(qiáng)具有正確預(yù)測的設(shè)備，而通過RESET脈沖削弱具有不正確預(yù)測的設(shè)備。訓(xùn)練之后，將得到的網(wǎng)絡(luò)拓?fù)溆米魃尚聰?shù)據(jù)序列的模型。

最后，密歇根大學(xué)的研究人員將RRAM交叉開關(guān)陣列與隨機(jī)導(dǎo)電橋存儲器件結(jié)合使用，通過模擬退火來解決“自旋玻璃”優(yōu)化問題。自旋玻璃問題源于物理學(xué)，但也適用于許多其他領(lǐng)域，它試圖尋找相互作用自旋的隨機(jī)二維陣列的最低能量狀態(tài)。模擬退火隨機(jī)翻轉(zhuǎn)一組單個自旋，保留那些減少系統(tǒng)總能量的翻轉(zhuǎn)，然后降低系統(tǒng)溫度并重復(fù)該過程。密歇根集團(tuán)利用CBRAMS的隨機(jī)切換概率來降低找到局部最小狀態(tài)而不是真正的最低能量狀態(tài)的風(fēng)險。

內(nèi)存計算展望未來

從歷史上看，電子設(shè)備研究首先出現(xiàn)，然后電氣工程師和軟件開發(fā)人員學(xué)會了如何利用新功能。

在過去的幾年里，新興的存儲設(shè)備已經(jīng)從實驗室的奇思妙想，到令人失望的閃存替代品，再到新機(jī)器學(xué)習(xí)方法的推動者。

接下來的幾年將展示半導(dǎo)體行業(yè)是否可以使用這些設(shè)備來幫助管理它正在幫助創(chuàng)建的數(shù)據(jù)大爆炸。