近日，2025 CCF SYS 知存科技專場(chǎng)論壇《多模態(tài)大模型的存算一體加速》以超預(yù)期的火爆人氣與豐碩交流成果，在北京圓滿收官。由清華大學(xué)劉勇攀、清華大學(xué)胡楊、北京大學(xué)李萌、復(fù)旦大學(xué)陳遲曉四位講者帶來的精彩報(bào)告吸引了現(xiàn)場(chǎng)百余位觀眾學(xué)習(xí)交流。從“晶圓級(jí)芯片計(jì)算架構(gòu)與集成架構(gòu)探究”、到“突破內(nèi)存瓶頸的大模型推理軟硬件優(yōu)化”、再到“2.5D/3D/3.5D存算一體集成芯片”，以及“多模態(tài)智能生成式感知芯片”，講者們帶來的不僅是干貨拉滿的研究成果，也啟發(fā)了行業(yè)技術(shù)升級(jí)的新視角。我們摘選了每位講者的部分精彩內(nèi)容制作成海報(bào)，希望讓更多人聽見這場(chǎng)學(xué)術(shù)交流盛宴的回響。

01｜晶圓級(jí)芯片計(jì)算架構(gòu)與集成架構(gòu)探究

報(bào)告摘要：隨著大模型任務(wù)部署的普及，對(duì)算力的需求日益增長(zhǎng)。在當(dāng)前摩爾定律放緩以及嚴(yán)峻的工藝封鎖下，需要探究新的計(jì)算節(jié)點(diǎn)算力提升路徑。晶圓級(jí)芯片以超大規(guī)模的單片集成方式，成為支撐下一代人工智能算力的新型芯片架構(gòu)。然而，晶圓級(jí)芯片雖然帶來了高密度片上互連及海量的計(jì)算與存儲(chǔ)資源，但也具有獨(dú)特的設(shè)計(jì)約束。因此，協(xié)調(diào)片上互連架構(gòu)設(shè)計(jì)、計(jì)算資源高密度集成與前沿大模型任務(wù)的高效執(zhí)行，仍是亟待突破的關(guān)鍵問題。本報(bào)告從晶圓級(jí)芯片計(jì)算架構(gòu)與集成架構(gòu)兩個(gè)角度切入，嘗試提供參考性的解決方案。

02｜突破內(nèi)存瓶頸的大模型推理軟硬件優(yōu)化

報(bào)告摘要：以ChatGPT為代表的大模型快速發(fā)展，為自然語言處理、計(jì)算機(jī)視覺等領(lǐng)域帶來了重要的技術(shù)革新。然而，依據(jù)scaling law，大模型的參數(shù)量呈現(xiàn)指數(shù)級(jí)增長(zhǎng)的趨勢(shì)，造成了嚴(yán)峻的存儲(chǔ)和帶寬瓶頸。而大模型的自回歸解碼特性與長(zhǎng)文本處理需求則進(jìn)一步增加了訪存帶寬需求。在本次報(bào)告中，我將介紹課題組在大模型并行解碼、自適應(yīng)調(diào)度、長(zhǎng)文本壓縮等方面的一系列研究，通過模型/加速器協(xié)同設(shè)計(jì)和優(yōu)化，降低大模型推理的計(jì)算和訪存開銷，提升大模型推理效率。

03｜ 2.5D/3D/3.5D存算一體集成芯片

報(bào)告摘要：隨著像AI 大模型的快速擴(kuò)展，傳統(tǒng)計(jì)算架構(gòu)面臨了巨大的挑戰(zhàn)。為了克服“內(nèi)存墻”問題，內(nèi)存驅(qū)動(dòng)的架構(gòu)，如計(jì)算內(nèi)存（CIM）/近內(nèi)存計(jì)算（PNM）架構(gòu)應(yīng)運(yùn)而生，它們通過將計(jì)算與內(nèi)存集成，減少了延遲和能耗。本報(bào)告將探討通過先進(jìn)集成技術(shù)實(shí)現(xiàn)的2.5D/3D/3.5D異構(gòu)集成在CIM/PNM系統(tǒng)中的可擴(kuò)展性。在2.5D集成中，我們討論了一種層級(jí)流水并行映射方法，通過最小化芯片間通信來提高效率。在3D集成中，堆疊接口可提供更高的帶寬、減少互連延遲，并為AI工作負(fù)載提供可擴(kuò)展的性能。我們開發(fā)了一種基于有源硅中介層的3D存算集成芯片，以實(shí)現(xiàn)靈活的3D通信。本報(bào)告還將討論存算芯片向3.5D拓展的優(yōu)勢(shì)。這些2.5D/3D/3.5D方案為在后摩爾時(shí)代智能芯片持續(xù)推進(jìn)規(guī)?；▌t提供了可行的路徑，并對(duì)AI基礎(chǔ)設(shè)施、邊緣計(jì)算和高性能系統(tǒng)具有重要的意義。

04｜多模態(tài)智能生成式感知芯片

報(bào)告摘要：具身智能、自動(dòng)駕駛等新興應(yīng)用推動(dòng)了對(duì)邊緣端高效多模態(tài)處理的需求。然而，現(xiàn)有邊緣端多模態(tài)處理面臨兩個(gè)關(guān)鍵挑戰(zhàn)。一方面，多模態(tài)處理相比單模態(tài)處理帶來了更加顯著的數(shù)據(jù)搬運(yùn)開銷。傳統(tǒng)存算分離的馮·諾伊曼架構(gòu)在這種情況下會(huì)面臨顯著的計(jì)算延時(shí)和功耗開銷。為此，本團(tuán)隊(duì)提出了基于存算一體的多模態(tài)智能處理架構(gòu)。通過存內(nèi)計(jì)算設(shè)計(jì)有效提高了邊緣端多模態(tài)處理的能效和計(jì)算速度。另一方面，我們觀察到現(xiàn)有工作逐漸從數(shù)據(jù)處理轉(zhuǎn)向數(shù)據(jù)生成。傳統(tǒng)多模態(tài)處理受限于傳感器的物理局限，常常面臨感知維度不足或物體遮擋帶來的細(xì)節(jié)缺失等挑戰(zhàn)。為此，本團(tuán)隊(duì)提出可以將智能生成與多模態(tài)數(shù)據(jù)處理相結(jié)合，形成“虛實(shí)結(jié)合”的多模態(tài)智能處理，從而實(shí)現(xiàn)對(duì)傳統(tǒng)多模態(tài)處理的增強(qiáng)和突破。本報(bào)告將回顧本團(tuán)隊(duì)在存內(nèi)計(jì)算和多模態(tài)融合處理方面所作的加速芯片工作，進(jìn)而介紹本團(tuán)隊(duì)最新的生成式感知工作。最后，本報(bào)告會(huì)對(duì)多模態(tài)智能處理的未來發(fā)展趨勢(shì)做出展望。

再次感謝四位學(xué)者為參會(huì)同學(xué)們帶來的多維度的思考與啟發(fā)！知存科技期待能夠組織更多交流活動(dòng)，續(xù)寫更多精彩對(duì)話。