隨著各大公司爭相加入人工智能的潮流，芯片和人才供不應(yīng)求。初創(chuàng)公司SambaNova（https://sambanova.ai/）聲稱，其新處理器可以幫助公司在幾天內(nèi)建立并運(yùn)行自己的大型語言模型（LLM，https://spectrum.ieee.org/large-language-models-math）。

這家總部位于帕洛阿爾托的公司已經(jīng)籌集了超過10億美元的風(fēng)險投資，不會直接向公司出售芯片。相反，它出售其定制技術(shù)堆棧的訪問權(quán)限，該堆棧具有專門為運(yùn)行最大的人工智能模型而設(shè)計的專有硬件和軟件。

在該公司推出新的SN40L處理器后，該技術(shù)堆?，F(xiàn)在得到了重大升級。每個器件采用臺灣芯片巨頭臺灣半導(dǎo)體制造有限公司的5納米工藝制造，具有1020億個晶體管，分布在1040個核上，速度高達(dá)638萬億次。它還有一個新穎的三層內(nèi)存系統(tǒng)，旨在應(yīng)對與人工智能工作負(fù)載相關(guān)的巨大數(shù)據(jù)流。

SambaNova聲稱，一個僅由八個芯片組成的節(jié)點能夠支持多達(dá)5萬億個參數(shù)的模型，這幾乎是OpenAI GPT-4 LLM報告（https://the-decoder.com/gpt-4-architecture-datasets-costs-and-more-leaked/）大小的三倍。序列長度（衡量模型可以處理的輸入長度）高達(dá)256000個令牌。首席執(zhí)行官Rodrigo Liang表示，使用行業(yè)標(biāo)準(zhǔn)GPU也需要數(shù)百個芯片，這意味著總擁有成本不到行業(yè)標(biāo)準(zhǔn)方法的1/25。

Liang說：“如果你能在八個芯片插座上運(yùn)行一萬億個參數(shù)，那么它實際上并不是一個大模型。我們正在瓦解成本結(jié)構(gòu)，并真正重構(gòu)人們對此的看法，而不是將萬億參數(shù)模型視為無法訪問的東西?！?/p>

新芯片使用了與該公司以前的處理器相同的數(shù)據(jù)流架構(gòu)。SambaNova的基本論點是，現(xiàn)有的芯片設(shè)計過于關(guān)注簡化指令流，但對于大多數(shù)機(jī)器學(xué)習(xí)應(yīng)用程序來說，數(shù)據(jù)的高效移動是一個更大的瓶頸。

為了解決這一問題，該公司的芯片采用了一個由高速交換結(jié)構(gòu)連接的存儲器和計算單元組成的平鋪陣列，這使得根據(jù)手頭的問題動態(tài)重新配置單元的連接方式成為可能。這與該公司的SambaFlow軟件協(xié)同工作，該軟件可以分析機(jī)器學(xué)習(xí)模型，并找出連接單元的最佳方式，以確保無縫數(shù)據(jù)流和最大限度地使用硬件。

除了從7納米工藝轉(zhuǎn)變?yōu)?納米工藝外，該公司最新芯片與其前身SN30的主要區(qū)別在于增加了第三層存儲層。早期的芯片具有640兆字節(jié)的片上SRAM和1兆字節(jié)的外部DRAM，但SN40L將具有520兆字節(jié)的芯片上存儲器、1.5兆字節(jié)的內(nèi)部存儲器和額外的64兆字節(jié)的高帶寬存儲器（HBM）。

內(nèi)存越來越成為人工智能芯片的一個關(guān)鍵區(qū)別，因為生成的人工智能模型不斷膨脹，這意味著移動數(shù)據(jù)對性能的拖累往往大于原始計算能力。這促使公司提高芯片上的內(nèi)存量和速度。SambaNova并不是第一個求助于HBM來對抗這種所謂的內(nèi)存墻的公司，其新芯片的內(nèi)存比競爭對手少——英偉達(dá)業(yè)界領(lǐng)先的H100 GPU的內(nèi)存為80GB，而AMD即將推出的MI300X GPU的內(nèi)存將為192GB。SambaNova不愿透露其內(nèi)存的帶寬數(shù)據(jù)，因此很難判斷它與其他芯片的對比情況。

Liang說，雖然SambaNova更依賴于較慢的外部內(nèi)存，但它的技術(shù)是一種軟件編譯器，可以智能地在三個內(nèi)存層之間分配負(fù)載。該公司芯片之間的專有互連還允許編譯器將八個處理器的設(shè)置視為單個系統(tǒng)。Liang表示：“訓(xùn)練中的表現(xiàn)將會非常棒?！?/p>

SambaNova對如何處理人工智能芯片的另一個熱門話題——稀疏性也持謹(jǐn)慎態(tài)度。LLM中的許多權(quán)重都設(shè)置為零，因此對它們執(zhí)行操作是浪費(fèi)計算。找到利用這種稀疏性的方法可以提供顯著的加速。SambaNova在其宣傳材料中聲稱，SN40L“提供密集和稀疏計算”。Liang說，這在一定程度上是通過調(diào)度和如何將數(shù)據(jù)帶到芯片上在軟件層實現(xiàn)的，但他也拒絕討論硬件組件?！跋∈鑶栴}是一個戰(zhàn)場，”他說，“所以我們還沒有準(zhǔn)備好透露我們是如何做到的?！?/p>

幫助人工智能芯片更快、更便宜地運(yùn)行大型模型的另一個常見技巧是降低參數(shù)的表示精度。SN40L使用谷歌工程師發(fā)明的bfloat16數(shù)字格式，也支持8位精度，但Liang表示，低精度計算不是他們的重點，因為他們的架構(gòu)已經(jīng)允許他們在更小的占地面積上運(yùn)行模型。

Liang表示，該公司的技術(shù)堆棧明確專注于運(yùn)行最大的人工智能模型——他們的目標(biāo)受眾是世界上2000家最大的公司。銷售宣傳是，這些公司坐擁大量數(shù)據(jù)，但他們不知道其中大部分都在說什么。SambaNova表示，它可以提供構(gòu)建人工智能模型所需的所有硬件和軟件，解鎖這些數(shù)據(jù)，而無需公司為芯片或人工智能人才而戰(zhàn)。Liang說：“你可以在幾天內(nèi)啟動并運(yùn)行，而不是幾個月或幾個季度?，F(xiàn)在每家公司都可以擁有自己的GPT模型?！?/p>

Gartner分析師Chirag Dekate表示，SN40L可能比競爭對手硬件具有顯著優(yōu)勢的一個領(lǐng)域是多模式人工智能。他表示，生成型人工智能的未來是可以處理各種不同類型數(shù)據(jù)的大型模型，如圖像、視頻和文本，但這會導(dǎo)致高度可變的工作負(fù)載。Dekate說，GPU中相當(dāng)嚴(yán)格的體系結(jié)構(gòu)不太適合這種工作，但這正是SambaNova對可重構(gòu)性的關(guān)注所在?！澳憧梢哉{(diào)整硬件以滿足工作負(fù)載的要求，”他說。

然而，Dekate說，像SambaNova制造的定制人工智能芯片確實在性能和靈活性之間進(jìn)行了權(quán)衡。盡管GPU可能沒有那么強(qiáng)大，但它們幾乎可以開箱即用地運(yùn)行任何神經(jīng)網(wǎng)絡(luò)，并得到強(qiáng)大的軟件生態(tài)系統(tǒng)的支持。Dekate指出，SambaNova一直在建立一個客戶可以利用的預(yù)烘焙模型目錄，但英偉達(dá)在人工智能開發(fā)各個方面的主導(dǎo)地位是一個重大挑戰(zhàn)。

Dekate說：“這種架構(gòu)實際上優(yōu)于傳統(tǒng)的GPU架構(gòu)。但除非你把這些技術(shù)掌握在客戶手中，實現(xiàn)大規(guī)模消費(fèi)化，否則我認(rèn)為你很可能會陷入困境。”

咨詢公司SemiAnalysis的首席分析師Dylan Patel表示，由于英偉達(dá)也在通過其DGX云產(chǎn)品進(jìn)軍全棧人工智能即服務(wù)市場，這將更加具有挑戰(zhàn)性。“芯片是向前邁出的重要一步，”他說。

審核編輯：彭菁