西班牙的SemiDynamics基于其完全可定制的64位內(nèi)核開(kāi)發(fā)了用于AI芯片設(shè)計(jì)的RISC-V Tensor Unit。

RISC-V Tensor 單元集成到緩存子系統(tǒng)中，SemiDynamics 使其成為第一個(gè)用于數(shù)據(jù)中心高性能 AI 芯片設(shè)計(jì)的完全一致的此類(lèi)單元。

LLaMa-2 或 ChatGPT 等大型語(yǔ)言機(jī)器學(xué)習(xí)模型 (LLM) 使用數(shù)十億個(gè)參數(shù)，需要大量計(jì)算能力。LLM 層中的大部分計(jì)算可以作為張量單元硬件中的矩陣乘法有效實(shí)現(xiàn)。

張量單元構(gòu)建在 Semidynamics RVV1.0 矢量處理單元之上，并使用現(xiàn)有的矢量寄存器來(lái)存儲(chǔ)矩陣。這使得張量單元可以用于需要矩陣乘法功能的層，例如全連接和卷積，并將向量單元用于激活函數(shù)層（ReLU、Sigmoid、Softmax 等），這是一個(gè)很大的改進(jìn)- 單獨(dú)的 NPU 可能會(huì)與激活層作斗爭(zhēng)。

張量單元使用矢量單元功能以及 Atrevido-423 Gazzillion CPU 從內(nèi)存中獲取所需的數(shù)據(jù)。64 位 CPU 內(nèi)核的性能意味著不需要直接內(nèi)存訪(fǎng)問(wèn) (DMA) 來(lái)管理數(shù)據(jù)流。由于張量單元使用向量寄存器來(lái)存儲(chǔ)其數(shù)據(jù)，并且不包含新的、架構(gòu)上可見(jiàn)的狀態(tài)，因此它可以與任何支持 RISC-V 向量的 Linux 一起使用，而無(wú)需進(jìn)行任何更改。

SemiDynamics 創(chuàng)始人兼首席執(zhí)行官 Roger Espasa 表示：“這個(gè)新的 Tensor Unit 旨在與我們的其他創(chuàng)新技術(shù)完全集成，以提供具有出色 AI 性能的解決方案?！?/p>

“首先，核心是我們的 64 位完全可定制的 RISC-V 內(nèi)核。然后是我們的矢量單元，它通過(guò)我們的 Gazzillion 技術(shù)不斷饋送數(shù)據(jù)，因此不會(huì)丟失任何數(shù)據(jù)。然后是張量單元，它執(zhí)行人工智能所需的矩陣乘法。該解決方案的每個(gè)階段都經(jīng)過(guò)精心設(shè)計(jì)，可與其他階段完全集成，以實(shí)現(xiàn)最佳的人工智能性能和非常簡(jiǎn)單的編程。與僅在標(biāo)量核心上運(yùn)行 AI 軟件相比，性能提高了 128 倍?！?/p>

Tensor Unit 將于下個(gè)月在美國(guó)舉行的 RISC-V 峰會(huì)上進(jìn)行討論，作為人工智能芯片設(shè)計(jì)重點(diǎn)的一部分。

審核編輯：黃飛