Numenta近期引起了廣泛關(guān)注，聲稱可以有效地管理CPU上的數(shù)據(jù)，實(shí)現(xiàn)了驚人的性能數(shù)據(jù)。與其他人工智能推理數(shù)據(jù)不同的是，Numenta并不需要大量的資源。Numenta采用了Intel AMX和AVX-512等功能，結(jié)合管理稀疏性的軟件，以加速AI推理的過(guò)程。

英特爾總結(jié)了這一解決方案，Numenta在使用其定制指令進(jìn)行人工智能推理。 Numenta成立于2005年，由Jeff Hawkins和Donna Dubinsky創(chuàng)立，公司的目標(biāo)是將更多的大腦工作方式應(yīng)用于人工智能問(wèn)題。提出的方法受到了神經(jīng)科學(xué)的啟發(fā)，尤其是大腦中稀疏計(jì)算的特性。

神經(jīng)元的結(jié)構(gòu)異常復(fù)雜，大腦的工作方式卻處于極度稀疏的狀態(tài)。生物大腦的學(xué)習(xí)過(guò)程是動(dòng)態(tài)而稀疏的，其中神經(jīng)元之間的連接是稀疏的，激活和信號(hào)傳遞也是稀疏的。大腦還善于利用上下文信息進(jìn)行路由。當(dāng)外部輸入信號(hào)進(jìn)入大腦時(shí)，大腦會(huì)智能地識(shí)別相關(guān)的高度稀疏的神經(jīng)元部分，并根據(jù)輸入信號(hào)和周圍環(huán)境進(jìn)行信息傳遞。在當(dāng)前的人工智能領(lǐng)域，大多數(shù)組織更傾向于使用高度密集的計(jì)算方法。CPU 和 GPU 專為密集矩陣乘法計(jì)算而設(shè)計(jì)，具有相對(duì)深的管道、高時(shí)鐘速度和大矢量引擎，需要暫存數(shù)據(jù)來(lái)填充這些計(jì)算資源。稀疏性旨在提供相反的、更少的計(jì)算數(shù)據(jù)。

幾年前，Numenta與Xilinx進(jìn)行了合作，展示了在吞吐量、延遲和電源效率方面實(shí)現(xiàn)了兩個(gè)數(shù)量級(jí)的提高，同時(shí)保持了相似的精度。正將其算法應(yīng)用到新的CPU硬件中。Numenta的研究表明，可以實(shí)現(xiàn)超高稀疏性，去除了90%的權(quán)重，同時(shí)保持了相似的精度水平。Numenta 分享了使用 AVX-512 和 1024×1024 數(shù)據(jù)矩陣優(yōu)化的英特爾數(shù)學(xué)內(nèi)核庫(kù) (MKL)。這里CSR（壓縮稀疏行）是非結(jié)構(gòu)化稀疏性，BSR是塊結(jié)構(gòu)稀疏性。

將AVX-512和AMX結(jié)合使用，實(shí)現(xiàn)硬件幾乎全速運(yùn)行，避免了需要高度稀疏性才能獲得加速的情況。已經(jīng)在Intel Xeon MAX CPU上得到了應(yīng)用，并且在內(nèi)存帶寬受限的大型模型上，實(shí)現(xiàn)了高達(dá)3倍的吞吐量改進(jìn)。?

Numenta 采用了 NVIDIA 報(bào)告的 A100 性能數(shù)據(jù)的工作負(fù)載，并在 AWS 上的雙插槽 48 核 Sapphire Rapids 服務(wù)器上運(yùn)行。可以線性擴(kuò)展至 48 個(gè)核心，客戶端都運(yùn)行自己的 BERT-Large 實(shí)例，因此會(huì)給緩存和內(nèi)存子系統(tǒng)帶來(lái)壓力。

Numenta的方法突破了現(xiàn)代CPU和GPU面臨的稀疏性挑戰(zhàn)。與使用有限資源的NVIDIA GPU、尚未發(fā)布的AMD GPU、Intel Gaudi2等加速器不同，Numenta的解決方案在標(biāo)準(zhǔn)服務(wù)器上運(yùn)行，這在業(yè)界引起了極大的興奮。

Numenta 通過(guò)可擴(kuò)展且安全的 LLM 服務(wù)將該解決方案產(chǎn)品化，用于情感分析、摘要、問(wèn)答、文檔分類、內(nèi)容創(chuàng)建和代碼生成等（ NuPIC 或 Numenta 智能計(jì)算平臺(tái)）。人工智能領(lǐng)域?qū)崿F(xiàn)準(zhǔn)確性的同時(shí)，降低了成本，可能是一條可行的路徑。

編輯：黃飛

?