1月22日，第31屆亞洲及南太平洋設(shè)計自動化會議（ASP-DAC 2026）在香港成功舉辦。后摩智能先進存算技術(shù)研發(fā)部負責(zé)人陳剛受邀出席，并在專題討論會"超越GPU：AI計算架構(gòu)與設(shè)計方法論之爭"中發(fā)表報告。

ASP-DAC始于1995年，由IEEE和ACM聯(lián)合主辦，是亞洲及南太平洋地區(qū)規(guī)模最大的VLSI和系統(tǒng)電子設(shè)計自動化 (EDA) 會議，也是集成電路設(shè)計自動化領(lǐng)域的國際頂級會議之一。本次會議中，ASP-DAC面向亞洲與南太平洋地區(qū)的設(shè)計人員，致力于展示LSI設(shè)計和設(shè)計自動化領(lǐng)域的最新技術(shù)和未來方向。

存算一體正重塑AI技術(shù)架構(gòu)，推動AI從云端走向端邊。后摩智能作為存算一體領(lǐng)域的企業(yè)代表之一，與包括清華大學(xué)、北京大學(xué)、香港科技大學(xué)、上海交通大學(xué)等高校共同參與技術(shù)交流，并圍繞AI計算架構(gòu)與設(shè)計中的“硬件架構(gòu)”、“存內(nèi)計算”、“評估范式”和“產(chǎn)學(xué)研協(xié)作”四大維度，分享對于技術(shù)趨勢與產(chǎn)業(yè)挑戰(zhàn)的見解。

以下摘取部分精彩觀點：

硬件架構(gòu)：通用化與專用化的終極路徑

Q：展望2030年，你認為主導(dǎo)AI計算的架構(gòu)將延續(xù)GPU的演進路線，還是會被ASIC或神經(jīng)形態(tài)計算、存內(nèi)計算等新興技術(shù)取代？

陳剛：在我看來，未來三到五年，GPU的地位會有所松動。因為AI需求過于多元化，且不同場景的需求差異巨大——有些應(yīng)用追求極致性能，有些需要超低功耗，還有些對成本極其敏感。面對如此多元的需求，很難設(shè)計出一種“一刀切”的架構(gòu)來滿足所有人。

Q：英偉達的黃仁勛與AMD的蘇姿豐都曾公開力推ASIC，目前也有從GPGPU向場景專用硬件演進的趨勢，這種“專用化”趨勢會成為未來主流嗎？

陳剛：我不這么認為。通用化代表靈活性，專用化則意味著更優(yōu)的PPA（性能、功耗、面積）。從我們實操來看，二者始終需要權(quán)衡取舍。它們應(yīng)當根據(jù)不同的產(chǎn)品定位協(xié)同滿足市場需求，而不是相互競爭。

同時，在硬件設(shè)計里，靈活性和PPA哪個更重要，得看產(chǎn)品的定位和市場需求。這本質(zhì)上是基于市場洞察的商業(yè)決策。決策前，我們需要問自己：是否需要增加冗余硬件資源、犧牲當前PPA，以換取對未來潛在市場機會的快速響應(yīng)？如果是，設(shè)計就應(yīng)更偏向通用化；否則，專用化才是優(yōu)先方向。

Q：Agentic AI要求硬件支持大規(guī)模持續(xù)上下文（KV-Cache）與低延遲決策，而非傳統(tǒng)的高吞吐計算。這一轉(zhuǎn)變會打破GPU的壟斷嗎？

陳剛：我認為GPU的主導(dǎo)地位會被打破。因為它過于通用，就必然會造成PPA損失。而對于那些對PPA極度敏感的場景，就需要專用的AI芯片——比如云端垂直整合或邊緣側(cè)專用NPU（dNPU）。

存內(nèi)計算：從概念到主流應(yīng)用的挑戰(zhàn)

Q：JEDEC正在推動LPDDR6-PIM標準。這是否意味著PIM即將被主流產(chǎn)業(yè)接納？還是算法的持續(xù)演進（如MHA→GQA→MLA）與GPU架構(gòu)的迭代將再次讓PIM錯失機會？

陳剛：這里討論的PIM實際上是2D PIM。如果能納入JEDEC標準，我認為它將獲得更大的市場機會。本質(zhì)上，2D PIM只是DDR的擴展——它還是標準產(chǎn)品，只是針對AI需求做了少量調(diào)整。由于其依賴專用產(chǎn)線，現(xiàn)在主導(dǎo)權(quán)仍掌握在傳統(tǒng)DRAM廠商手中。正如GDDR定義了圖形時代、LPDDR推動了智能手機爆發(fā)，AI時代也必將誕生專屬的DDR。未來，可能我們可以稱之為ADDR或AIDDR。

Q：2D PIM受限于DRAM工藝能效與互連瓶頸，而3D堆疊性能更優(yōu)但成本高昂。在性能與成本之間，PIM應(yīng)選擇怎樣的技術(shù)演進路徑？

陳剛：在我看來，技術(shù)應(yīng)為產(chǎn)品目標服務(wù)。因此技術(shù)路徑的選擇必須與產(chǎn)品定位匹配。2D與3D PIM各有優(yōu)勢——2D PIM更適合成本敏感場景，3D PIM適用于高性能需求，但相應(yīng)成本也更高。它們將共存而非相互替代。

Q：為何主流CPU/GPU廠商除高通收購UPMEM外，少有收購PIM公司？

陳剛：對于2D PIM，由于其依賴專用產(chǎn)線，主導(dǎo)權(quán)必然屬于傳統(tǒng)DRAM廠商——這些產(chǎn)線投資巨大，難以被輕易收購。至于3D PIM，我認為技術(shù)目前尚不成熟，因此行業(yè)巨頭仍在觀望。一旦技術(shù)成熟，他們會迅速入場。

評估范式：從理論指標到實際效率

Q：TOPS等傳統(tǒng)指標已無法有效反映生成式AI的實際性能。對于LLM推理，TOPS僅是理論峰值且已過時。真正的瓶頸在于TTFT、TPOT、TPS與MBU，為何行業(yè)仍基于TOPS宣傳芯片？

陳剛：我認為這可能源于CNN時代。如今進入LLM時代，它實際上已經(jīng)過時了。

Q：是否需要建立新的“生成式基準測試”以揭示架構(gòu)的實際可用性？應(yīng)采用哪些指標？

陳剛：我認為需要。也許在Prefill與Decode場景中，每秒生成token數(shù)、每美元token數(shù)、每瓦特token數(shù)等指標都比當前的TOPS基準更具參考價值。

產(chǎn)學(xué)研協(xié)作：從研發(fā)生態(tài)到創(chuàng)新循環(huán)

Q：學(xué)術(shù)界專注前沿探索與基礎(chǔ)創(chuàng)新，工業(yè)界致力于產(chǎn)品化與規(guī)?；瘧?yīng)用。許多學(xué)術(shù)論文提出新穎的AI加速器架構(gòu)，但工業(yè)界往往不予采納。你認為最大的脫節(jié)點在哪里？

陳剛：我認為關(guān)鍵在于學(xué)術(shù)界與工業(yè)界需要更緊密地系統(tǒng)性協(xié)作。以CIM IP設(shè)計為例，模擬與數(shù)字CIM都適合矩陣加速與降功耗，各有優(yōu)勢。在同一工藝節(jié)點下，模擬CIM能效更高，而數(shù)字CIM更能受益于工藝縮放。因此，兩者均能勝任矩陣處理。但這只是開始，如果想將技術(shù)推向大規(guī)模量產(chǎn)必須考慮后續(xù)問題。

比如，至少需要解決如何讓CIM設(shè)計與現(xiàn)有的DFT工具兼容，以實現(xiàn)更高的測試覆蓋率、更低的測試成本，并降低客戶的DPPM。因此，從量產(chǎn)角度看，為CIM設(shè)計開發(fā)專用DFT算法同樣關(guān)鍵，而不僅僅是提出一套電路設(shè)計方案。