處理人工生成的文本數(shù)據(jù)一直是一項重要但具有挑戰(zhàn)性的任務，因為人類語言對于機器理解往往具有自然的魯棒性。

盡管如此，仍然有許多高效的 NLP 模型，例如 Google 的 BERT 和 Open AI 的 GPT2，它們的功能是通過高級處理和計算來理解這些數(shù)據(jù)。這些模型在搜索引擎中找到了它們的應用，因為搜索命令需要與相關的來源和頁面匹配，而與術語的性質(zhì)無關。

麻省理工學院的 SpAtten 學習系統(tǒng)通過其優(yōu)化的軟件硬件設計專注于高效的搜索預測，從而以更少的計算能力進行高級自然語言處理。因此，SpAtten 系統(tǒng)的架構(gòu)取代了高端 CPU 和 GPU 的組合，它們共同輸出類似于 MIT 的 SpAtten 學習系統(tǒng)的效率。

SpAtten 學習系統(tǒng)中的注意力機制

當數(shù)據(jù)量大時，注意力機制在自然語言處理中起著至關重要的作用。特別是在文本數(shù)據(jù)包含對建模可能不是很重要的各種特征的情況下。這可能會浪費系統(tǒng)的整體計算。因此，神經(jīng)網(wǎng)絡輸入層中的注意力機制從文本數(shù)據(jù)中動態(tài)提取相關特征，可以優(yōu)化算法在廣泛數(shù)據(jù)集上的處理。

SpAtten 使用注意力機制算法去除在 NLP 方面權(quán)重較小的單詞。因此，它有選擇地從輸入的文本數(shù)據(jù)中挑選出相關的關鍵詞。這避免了對不必要的文本數(shù)據(jù)的實時處理，從而節(jié)省了系統(tǒng)的整體計算時間。然而，這種處理提供了效率和準確性，但它的代價是設計良好的硬件與這種復雜的算法兼容。

因此，麻省理工學院一直致力于其新 SpAtten 學習系統(tǒng)的軟件和硬件方面。設計的硬件致力于優(yōu)化這些復雜的算法，以減少處理和內(nèi)存訪問。這些技術在用于文本數(shù)據(jù)時克服了構(gòu)建具有高效處理速度和能力的系統(tǒng)的挑戰(zhàn)。因此，硬件“以更少的計算能力實現(xiàn)了精簡的 NLP”。

SpAtten 架構(gòu)的優(yōu)化技術

循環(huán)和卷積神經(jīng)網(wǎng)絡被認為是深度學習模型的理想選擇，但麻省理工學院關于“SpAtten： Efficient Sparse Attention Architecture with Cascade Token and Head Pruning”的研究論文讓我們注意到注意力機制可以比這些網(wǎng)絡表現(xiàn)更好，如前一部分所述。

該架構(gòu)支持級聯(lián)修剪技術，該技術對令牌??和頭進行操作，而不是傳統(tǒng)方法中使用的權(quán)重。正如術語“剪枝”暗示移除令牌一樣，一旦從層中移除令牌/頭，那么它將永遠不會在后續(xù)層中被處理，因為它被永久“剪枝”或從系統(tǒng)中移除。這就是為什么優(yōu)化數(shù)據(jù)的實時處理并且系統(tǒng)適應輸入實例的原因。

該系統(tǒng)使用漸進式量化技術來減少 DRAM 訪問。僅當 MSB 不足以執(zhí)行量化時，該技術才對 LSB 起作用。然而，這是以計算為代價的，但內(nèi)存訪問顯著減少。因此，它使注意力層動態(tài)和自適應以優(yōu)化 DRAM 訪問。該系統(tǒng)還帶有內(nèi)置的 SRAM，用于存儲可在眾多查詢中重復使用的已刪除令牌。

通用的 AI 加速器、GPU、TPU 和 NPU 即使支持高計算能力也無法實現(xiàn)這些技術，因為這些組件只能增強現(xiàn)有的傳統(tǒng)神經(jīng)網(wǎng)絡，包括 CNN 和 RNN。因此，麻省理工學院設計了專門的硬件來實現(xiàn)這些優(yōu)化算法。

SpAtten 學習系統(tǒng)的分析

SpAtten 硬件架構(gòu)的模擬揭示了其與競爭處理器相比的高處理能力。麻省理工學院表示：“SpAtten 的運行速度比第二好的競爭對手（TITAN Xp GPU）快 100 倍以上。此外，SpAtten 的能源效率是其競爭對手的 1000 多倍，這表明 SpAtten 可以幫助減少 NLP 的大量電力需求?！?/p>

Google 的 BERT 和 Open AI 的 GPT2 模型也使用類似的注意力機制，但是復雜的判別和生成技術會導致延遲和延遲。MIT 的 SpAtten 是 NLP 算法和專用于注意力機制的專用硬件的組合。這種組合控制了標準 CPU 在 GPT-2 或 BERT 上運行時消耗的高功耗。

審核編輯：郭婷