2025年11月27-28日,36氪年度重磅S級商業(yè)大會“WISE2025 商業(yè)之王”在北京朝陽798藝術(shù)區(qū)傳導(dǎo)空間盛大啟幕。作為聚焦AI、出海、品牌等核心賽道的頂級商業(yè)盛會,大會以“科技爽文短劇”創(chuàng)新形式匯聚行業(yè)領(lǐng)軍者,共探商業(yè)與科技融合新路徑。后摩智能創(chuàng)始人、CEO吳強(qiáng)受邀出席,發(fā)表“端邊智能的覺醒時刻:存算一體重構(gòu)AI通用算力新格局”主題演講。
“未來五到十年,端邊側(cè)計算將從以邏輯控制為主,轉(zhuǎn)向以AI為主。我們正站在端邊側(cè)AI爆發(fā)的前夜?!痹诖髸?,吳博這樣判斷。
他認(rèn)為,端邊AI計算正在經(jīng)歷類似數(shù)據(jù)中心過去十年的“范式遷移”——從控制優(yōu)先轉(zhuǎn)向數(shù)據(jù)優(yōu)先,而推動這一變革的核心動力,正是大模型落地帶來的算力重構(gòu)需求。
當(dāng)前端邊計算仍以CPU及控制為主,AI僅是配角;隨著感知、理解、決策類任務(wù)逐漸成為端側(cè)主流,通用AI芯片將迎來爆發(fā)。但是,端邊通用AI芯片仍面臨嚴(yán)峻的挑戰(zhàn):傳統(tǒng)架構(gòu)面臨“存儲墻”與“功耗墻”的制約,約90%功耗耗在數(shù)據(jù)搬運上,而非計算本身。
針對這一痛點,后摩智能選擇了“存算一體”技術(shù)路徑,提升計算效率效,并于今年7月推出首款針對端邊大模型的芯片M50。該芯片以10W功耗提供100-160T算力,可支持百億級參數(shù)大模型在端側(cè)運行,目前已與AIPC、智能辦公、陪伴機(jī)器人、5G+AI等場景的客戶展開合作。
隨著M50明年起逐步落地,以及信創(chuàng)PC、智能辦公、陪伴機(jī)器人等場景的持續(xù)拓展,后摩智能正與產(chǎn)業(yè)鏈上下游共建端邊AI生態(tài)。
以下為吳強(qiáng)博士演講內(nèi)容(經(jīng)36氪整理編輯):
大家好,我是后摩智能的吳強(qiáng)。我們是一家專注于端邊AI芯片的公司,今天想借這個機(jī)會,和大家分享我們對于端邊AI計算的一些思考和實踐。
大模型推動了AI進(jìn)入2.0時代,這不僅改變了云端數(shù)據(jù)中心的計算格局,也讓英偉達(dá)成為全球首家突破5萬億美元市值的公司。我們認(rèn)為,未來幾年,端邊側(cè)也將迎來巨大機(jī)遇。由于端邊設(shè)備對實時性、隱私性有天然需求,再加上AI普惠化的發(fā)展趨勢,我們相信,端邊計算會逐漸崛起,成為AI競爭的主戰(zhàn)場。
目前,端邊計算的市場規(guī)模才剛剛起步,但我們預(yù)計在未來五到十年,它將迎來爆發(fā)式增長。例如,STL Partners預(yù)測,這個市場的規(guī)??赡苓_(dá)到四千億美元甚至更高。
今天,端邊計算仍然以邏輯控制為主。那么未來五到十年,端邊計算的格局會怎樣?我們認(rèn)為,它會從現(xiàn)在的邏輯控制為主,逐步轉(zhuǎn)向以數(shù)據(jù)為中心的AI計算為主。
回顧數(shù)據(jù)中心過去十年的發(fā)展,我們可以看到類似的變遷。以前,數(shù)據(jù)中心80%的支出用于邏輯控制類計算,比如網(wǎng)頁處理、數(shù)據(jù)庫操作等,只有20%用于數(shù)據(jù)類計算。而今天,這個比例已經(jīng)反轉(zhuǎn):80%用于AI計算,20%用于邏輯控制。這種計算范式的遷移,正是由應(yīng)用場景的演變驅(qū)動的。
那么,在端邊側(cè),我們是否也能預(yù)見同樣的變化?目前,端側(cè)的計算仍以CPU為主,AI更多是輔助角色。但我們預(yù)計,未來五到十年,端邊的任務(wù)將更多轉(zhuǎn)向感知、理解、決策等,走向以數(shù)據(jù)和AI為主的方向。這是我們做出的第一個判斷。
具體看端邊AI計算,它可以分為垂類和通用兩大類。垂類場景如手機(jī)、智能駕駛等,由于場景明確、體量大,已經(jīng)受到廣泛關(guān)注,并且在算法與芯片架構(gòu)上做了大量軟硬件協(xié)同優(yōu)化。
而另一類是端邊通用AI計算,它覆蓋成千上萬種不同場景,每個場景規(guī)模不大,但總和非??捎^。這類計算需求多樣,既要保證效率,又要兼顧通用性,目前才剛剛受到重視,也是我們接下來想重點談的。
那么,端邊通用AI芯片的特點和挑戰(zhàn)是什么?首先,它處于端邊側(cè),成本敏感、功耗敏感,帶寬也容易成為瓶頸,特別是在大模型時代。其次,作為通用芯片,它要適配各行各業(yè)、眾多場景,需要高通用性才能滿足所有需求。我們必須在底層架構(gòu)上,在不損失通用性的前提下,提升能效,滿足端邊側(cè)的需求。這是行業(yè)過去幾年一直在探索的方向。
要解決這個問題,首先要看清當(dāng)前架構(gòu)的瓶頸。傳統(tǒng)架構(gòu)靈活性好,但如今遇到了“存儲墻”和“功耗墻”——數(shù)據(jù)搬運成為主要瓶頸,90%的功耗可能都花在數(shù)據(jù)搬運上,而不是計算本身。因此,要想提升端邊通用AI的效率,就必須從根本上突破這兩大瓶頸。
我們認(rèn)為,存算一體是突破存儲墻和功耗墻的最佳路徑之一。它本質(zhì)上是通過拉近數(shù)據(jù)與計算的距離,來減少數(shù)據(jù)搬運,從而提升能效。存算一體有多種實現(xiàn)方式,比如基于SRAM和DRAM。SRAM更適合提升計算密度和能效,DRAM則更擅長解決帶寬問題。
后摩智能從成立之初,就專注于存算一體的大算力芯片研發(fā),也是第一家將存算一體大算力從論文推向?qū)嵺`的企業(yè)。經(jīng)過四五年的技術(shù)積累,我們已經(jīng)推出了兩代量產(chǎn)產(chǎn)品。今年7月,我們發(fā)布了最新的旗艦芯片——M50。
M50是我們首款專為端邊大模型設(shè)計的芯片,提供約100-160T的算力,功耗僅10W,能夠支持從140億、200億、300億直至1200億參數(shù)的大模型。我們提供了多種產(chǎn)品形態(tài),如M.2卡和Duo M.2卡,最小的M.2卡只有口香糖大小,卻可以運行140億甚至300億參數(shù)的模型,這在端邊場景中給客戶帶來了很大驚喜。
發(fā)布以來,我們一直在與客戶推動M50的落地。在端側(cè),我們合作的場景包括智能語音設(shè)備、AIPC、陪伴機(jī)器人、AI NAS等;在邊側(cè),主要聚焦AI網(wǎng)關(guān)、5G+AI、計算盒子等場景。
一個好的芯片離不開好的工具鏈。針對M50,我們提供了完整的工具鏈,支持各類已訓(xùn)練好的模型(包括開源模型)直接轉(zhuǎn)換到硬件運行,無需重新訓(xùn)練。由于M50支持bFP等浮點精度,整個編譯過程非常順暢,客戶可以快速完成模型適配。
從7月發(fā)布至今,我們與芯片上下游伙伴緊密合作,完成了與多種操作系統(tǒng)(包括Windows、Linux,以及麒麟、統(tǒng)信等信創(chuàng)系統(tǒng))的適配,也協(xié)同了各類主控芯片(x86、ARM及國產(chǎn)CPU)。同時,我們正與算法層、解決方案層的伙伴開展大量適配工作,預(yù)計從明年初開始,會有更多落地應(yīng)用推出。我們希望與更多伙伴共建端邊AI生態(tài)。
最后我想總結(jié),盡管當(dāng)前端邊計算仍以控制和邏輯為主,但我們堅信,未來五到十年,它將轉(zhuǎn)向以AI為主,端邊通用AI計算也將迎來爆發(fā)。這是一個歷史趨勢。后摩智能愿與上下游伙伴一起,共建端邊AI生態(tài),推動AI普及與普惠,讓生活更加美好。
大會上,36氪正式發(fā)布「WISE2025 商業(yè)之王 年度企業(yè)系列名冊」。本榜單聚焦十大關(guān)鍵方向,系統(tǒng)梳理在AI、數(shù)字化、先進(jìn)制造、消費品牌、文化內(nèi)容、低空經(jīng)濟(jì)、跨境服務(wù)、生態(tài)賦能、孵化支持、商業(yè)潛力等方面表現(xiàn)卓越的代表性企業(yè)與平臺。后摩智能憑借存算一體技術(shù)的創(chuàng)新突破及落地成果,成功入選大會重磅發(fā)布的“AI應(yīng)用場景突破企業(yè)榜單”。
-
AI
+關(guān)注
關(guān)注
91文章
39889瀏覽量
301533 -
存算一體
+關(guān)注
關(guān)注
1文章
121瀏覽量
5141 -
后摩智能
+關(guān)注
關(guān)注
0文章
52瀏覽量
1713
原文標(biāo)題:后摩智能吳強(qiáng)亮相WISE2025:存算一體重構(gòu)端邊通用AI計算新格局
文章出處:【微信號:后摩智能,微信公眾號:后摩智能】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
后摩智能斬獲多項人工智能行業(yè)大獎
后摩智能M50芯片成功部署OpenClaw
京東方亮相2025全球品牌經(jīng)濟(jì)大會
智行者斬獲WISE 2025商業(yè)之王年度AI應(yīng)用場景突破企業(yè)
后摩智能亮相2025中國移動全球合作伙伴大會
泰科電子亮相2025深圳eVTOL產(chǎn)業(yè)發(fā)展大會
后摩智能亮相2025中國國際消費電子博覽會
主線科技亮相2025中國智能產(chǎn)業(yè)大會
后摩智能與麒麟軟件達(dá)成戰(zhàn)略合作
后摩漫界M50亮相WAIC 2025
蘑菇車聯(lián)即將亮相2025世界人工智能大會
后摩智能入圍工信部算力強(qiáng)基揭榜行動
紫光展銳亮相2025上海世界移動通信大會
泰晶科技亮相2025亞洲AI智能眼鏡大會
KOWIN存儲亮相2025亞洲AI眼鏡大會
后摩智能吳強(qiáng)亮相WISE 2025商業(yè)之王大會
評論