電子發(fā)燒友網(wǎng)報道（文/黃晶晶）近幾年，生成式AI引領(lǐng)行業(yè)變革，AI訓(xùn)練率先崛起，帶動高帶寬內(nèi)存HBM一飛沖天。但我們知道AI推理的廣泛應(yīng)用才能推動AI普惠大眾。在AI推理方面，業(yè)內(nèi)巨頭、初創(chuàng)公司等都看到了其前景并提前布局。AI推理也使得存儲HBM不再是唯一熱門，更多存儲芯片與AI推理芯片結(jié)合，擁有了市場機會。

已經(jīng)有不少AI推理芯片、存算一體芯片將SRAM替代DRAM，從而獲得更快的訪問速度、更低的刷新延遲等。

靜態(tài)隨機存取存儲器（Static Random-Access Memory，SRAM）是隨機存取存儲器的一種。這種存儲器只要保持通電，里面儲存的數(shù)據(jù)就可以恒常保持。相對之下，動態(tài)隨機存取存儲器（DRAM）里面所儲存的數(shù)據(jù)就需要周期性地更新。但當(dāng)電力供應(yīng)停止時，SRAM儲存的數(shù)據(jù)還是會消失，這與在斷電后還能儲存資料的ROM或閃存不同。

SRAM具有較高的性能，但SRAM的集成度較低，功耗較DRAM大，SRAM需要很大的面積。同樣面積的硅片可以做出更大容量的DRAM，因此SRAM顯得更貴。SRAM可作為置于CPU與主存間的高速緩存，不需要定期刷新，響應(yīng)速度非?？?，可用于CPU的一級緩沖、二級緩沖。

GroqLPU近存計算

在AI推理大潮下，Groq公司開發(fā)的語言處理單元（Language Processing Unit，即LPU），以其獨特的架構(gòu)，帶來了極高的推理性能的表現(xiàn)。

Groq的芯片采用14nm制程，搭載了230MB SRAM以保證內(nèi)存帶寬，片上內(nèi)存帶寬達(dá)80TB/s。
SRAM 的訪問速度比 DRAM 快得多，這使得它在某些計算密集型應(yīng)用中表現(xiàn)得非常出色。Groq LPU 芯片采用大容量 SRAM內(nèi)存有助于提高機器學(xué)習(xí)和人工智能等計算密集型工作負(fù)載的效率。

Groq成立于 2016 年，總部位于美國加利福尼亞州山景城，是一家 AI 推理芯片廠商。該公司核心團(tuán)隊來源于谷歌最初的張量處理單元（TPU）工程團(tuán)隊。Groq 創(chuàng)始人兼CEO Jonathan Ross是谷歌TPU項目的核心研發(fā)人員。

2024年8月，Groq 在最新一輪融資中籌集了 6.4 億美元，由 BlackRock Inc. 基金領(lǐng)投，并得到了思科和三星投資部門的支持。

2024 年 12 月Groq在沙特阿拉伯達(dá)曼構(gòu)建了中東地區(qū)最大的推理集群，該集群包括了 19000 個Groq LPU，并在 8 天內(nèi)上線。

今年2月，Groq成功從沙特阿拉伯籌集 15 億美元融資，用于擴(kuò)展其位于沙特阿拉伯的 AI 基礎(chǔ)設(shè)施。

AxeleraAIPU芯片：內(nèi)存計算+RISC-V架構(gòu)

Axelera公司介紹，內(nèi)存計算是一種完全不同的數(shù)據(jù)處理方法，在這種方法中，存儲器設(shè)備的橫桿陣列可以用來存儲矩陣，并在沒有中間數(shù)據(jù)移動的情況下“就地”執(zhí)行矩陣向量乘法。專有的數(shù)字內(nèi)存計算(D-IMC)技術(shù)是實現(xiàn)高能效和卓越性能的關(guān)鍵?；赟RAM(靜態(tài)隨機訪問存儲器)和數(shù)字計算相結(jié)合，每個存儲單元有效地成為一個計算單元。這從根本上增加了每個計算機周期的操作數(shù)(每個存儲單元每個周期一次乘法和一次累加)，而不受噪音或較低精度等問題的影響。

Axelera的AIPU芯片采用了創(chuàng)新的內(nèi)存計算技術(shù)。與傳統(tǒng)的磁盤存儲相比，內(nèi)存計算將數(shù)據(jù)存儲在主內(nèi)存（RAM）中，從而加快了數(shù)據(jù)處理速度。這一技術(shù)使得Axelera的芯片在提供高計算性能的同時，能以更低的成本和能耗來進(jìn)行邊緣AI計算。該芯片還采用了開源的RISC-V指令集架構(gòu)（ISA）。RISC-V作為一種低成本、高效且靈活的ISA，允許根據(jù)特定的應(yīng)用需求進(jìn)行定制。它為Axelera提供了極大的設(shè)計自由度和創(chuàng)新空間。

去年，Axelera獲得了來自三星電子風(fēng)險投資部門三星Catalyst的大力支持，成功籌集了6800萬美元，至此Axelera的總?cè)谫Y額已達(dá)到1.2億美元。新投資者包括三星基金、歐洲創(chuàng)新委員會基金、創(chuàng)新產(chǎn)業(yè)戰(zhàn)略伙伴關(guān)系基金和Invest-NL。

EnCharge AI：模擬存內(nèi)計算

AI 芯片初創(chuàng)公司 EnCharge AI表示，已開發(fā)出一種用于 AI 推理的新型內(nèi)存計算架構(gòu)，EnCharge AI的核心技術(shù)是基于模擬存內(nèi)計算的AI芯片。這種創(chuàng)新的芯片設(shè)計采用"基于電荷的存儲器"，通過讀取存儲平面上的電流而非單個比特單元來處理數(shù)據(jù)，使用更精確的電容器替代了傳統(tǒng)的半導(dǎo)體。

與GPU等數(shù)字加速器相比，每瓦性能提高了 20 倍。EnCharge AI的推理芯片僅需一瓦的功率就能以8位元精度提供150 TOPS的AI運算。

EnCharge AI源自普林斯頓大學(xué)，該公司創(chuàng)始人兼CEO Naveen Verma的相關(guān)研究項目涉及到內(nèi)存計算。用于機器學(xué)習(xí)計算的內(nèi)存計算采用在RAM中運行計算的方式，以減少存儲設(shè)備帶來的延遲。

今年初，EnCharge AI完成超額認(rèn)購的1億美元b輪融資。此輪超額認(rèn)購融資使EnCharge AI的總?cè)谫Y額超過1.44億美元，將推動其首款以客戶端運算為主的AI加速器產(chǎn)品，并在2025年實現(xiàn)商業(yè)化。

d-Matrix：數(shù)字內(nèi)存計算DIMC架構(gòu)

d-Matrix采用數(shù)字內(nèi)存計算（DIMC）的引擎架構(gòu)將計算移動到RAM（內(nèi)存）附近，該數(shù)字存算一體技術(shù)將存儲器與計算單元中的乘法累加器（MAC）進(jìn)行了合并，獲得了更大的計算帶寬和效率，降低延遲，減少能耗。首批采用d-Matrix的DIMC架構(gòu)的產(chǎn)品Jayhawk II處理器，包含約165億晶體管的Chiplet。每個Jayhawk II Chiplet都包含一個RISC-V核心對Chiplet進(jìn)行管理，每個核心有八個并行操作的DIMC單元。

去年底d-Matrix首款人工智能芯片Corsair開始出貨。每張Corsair卡由多個DIMC計算核心驅(qū)動，具有2400 TFLOP的8位峰值計算能力、2GBSRAM和高達(dá)256GB的LPDDR6。

d-Matrix公司是一家位于加利福尼亞州圣克拉拉市的初創(chuàng)公司，專注于人工智能芯片的研發(fā)。該公司的主要產(chǎn)品是針對數(shù)據(jù)中心和云計算中的AI服務(wù)器設(shè)計的芯片，旨在優(yōu)化人工智能推理工作負(fù)載。d-Matrix公司已經(jīng)獲得了多家知名投資機構(gòu)的支持，包括微軟風(fēng)險投資部門、新加坡投資公司淡馬錫、Palo Alto Networks等，D-Matrix曾在2022年4月獲得了4400萬美元融資，由 M12 和韓國半導(dǎo)體制造商 SK 海力士公司領(lǐng)投。累計融資超過1.6億美元。

雖然說SRAM的擁有成本比較高，但其在AI推理運算中能夠減少數(shù)據(jù)來回傳輸?shù)难舆t，避免拖慢整個AI處理的速度。在AI推理的浪潮下，SRAM將發(fā)揮更大的作用。還有哪些存儲芯片因AI推理而贏得機會，我們將持續(xù)關(guān)注報道。