近期，上海 AI 實(shí)驗(yàn)室 DeepLink 團(tuán)隊(duì)推出的 DLInfer 通過支持 LMDeploy 主流模型推理，助力沐曦股份曦云 C500 落地 MinerU 多模態(tài)數(shù)據(jù)生成場景，Graph 模式下實(shí)現(xiàn)性能加速 60%。DLInfer 是一套專為國產(chǎn)硬件適配大模型推理框架的中間件解決方案，其核心功能在于通過標(biāo)準(zhǔn)化的融合算子接口，打通上層大模型推理框架與底層硬件廠商的異構(gòu)計(jì)算能力。目前，DLInfer 已實(shí)現(xiàn)軟硬適配工程中的有效解耦，支持包括 InternLM 系列、InternVL 系列、Qwen 系列、DeepSeek 系列在內(nèi)的多款主流模型在多元硬件上的推理適配，支撐包括沐曦股份曦云 C500 在內(nèi)的超 5 款主流硬件接入。

DLInfer GitHub:

https://github.com/DeepLink-org/dlinfer

Metax算子庫：

https://github.com/orgs/MetaXMACA/repositories

LMDeploy GitHub:

https://github.com/InternLM/lmdeploy

MinerU GitHub:

https://github.com/opendatalab/MinerU

聯(lián)手沐曦股份實(shí)現(xiàn)數(shù)據(jù)生成場景的實(shí)際落地，Graph 模式下性能加速超 60%

為了驗(yàn)證 DLInfer 在真實(shí)場景中的效能，科研團(tuán)隊(duì)與沐曦股份展開了深度合作，通過接入通用推理框架與賦能垂類應(yīng)用兩個維度，全面展示了 DLInfer 助力沐曦股份芯片釋放潛能的實(shí)戰(zhàn)成果。其中，Dlinfer + LMDeploy 推理部署方案表現(xiàn)突出。不僅能有效降低端到端延遲、提升吞吐性能，更憑借其出色的加速效果，為其成為國產(chǎn)主流硬件在推理場景下的重要選擇提供了有力支撐。

Graph 模式下精確的算子匹配加速推理效率

DLInfer 通過分層設(shè)計(jì)，在 Eager 模式下直接調(diào)用各廠商優(yōu)化后的融合算子，在 Graph 模式下則對接硬件廠商的圖編譯引擎，獲取更加精確匹配，實(shí)現(xiàn)端到端性能優(yōu)化。其接口設(shè)計(jì)不僅將框架與硬件適配工程解耦，降低多平臺開發(fā)成本，還能在 Graph 模式下通過精確的算子匹配提升推理效率。

Graph 模式是 DLInfer 實(shí)現(xiàn)性能躍遷的核心，它融合了兩種關(guān)鍵的優(yōu)化路徑：

一方面全面支持類似 CUDA Graph 的“執(zhí)行流捕獲”技術(shù)，支持將整個計(jì)算流程固化，消除 CPU 調(diào)度開銷，實(shí)現(xiàn)近乎零開銷的執(zhí)行；對于那些算子本身已經(jīng)足夠優(yōu)化但 CPU 與 GPU 交互成為主要性能瓶頸的場景，這種技術(shù)能帶來立竿見影的加速效果。

另一方面對于擁有豐富圖編譯生態(tài)的硬件平臺，DLInfer 將 Attention、MoE 等關(guān)鍵子圖整體映射到硬件廠商提供的圖優(yōu)化器上，這種做法能最大化利用硬件特性，實(shí)現(xiàn)深度的算子融合與內(nèi)存優(yōu)化。

DLInfer 架構(gòu)圖

沐曦股份算子優(yōu)化核心突破

沐曦股份算子庫提供的針對性適配優(yōu)化，進(jìn)一步補(bǔ)全了 DLInfer 在硬件底層的性能調(diào)用能力，讓芯片算力與軟件框架的適配更精準(zhǔn)、資源損耗更少。

在訪存延遲掩蓋方面，沐曦股份通過多重技術(shù)組合實(shí)現(xiàn)高效數(shù)據(jù)流轉(zhuǎn)。采用64/128bit 寬位顯存 load 指令提升帶寬利用率，針對非 2 的冪次對齊數(shù)據(jù)定制loop展開邏輯，借助運(yùn)行時(shí)mask實(shí)現(xiàn)顯存數(shù)據(jù)高效加載。通過預(yù)發(fā)射shared memory讀取指令、采用swizzle布局消除bank沖突，搭配多stage等機(jī)制讓計(jì)算指令精準(zhǔn)掩蓋訪存延遲，全方位突破訪存瓶頸。

生態(tài)兼容層面，沐曦股份以降低用戶遷移成本為核心，實(shí)現(xiàn)全方位適配。全面兼容 cuBlas 和 cuBlasLt 接口，完美適配官方 FlashAttention 與 FlashMLA，新增 Attention mask實(shí)現(xiàn)、KV cache 反量化融合支持、多 page size 選項(xiàng)等實(shí)用特性，讓用戶無需重構(gòu)代碼即可無縫銜接現(xiàn)有生態(tài)，加速業(yè)務(wù)落地進(jìn)程。

無縫接入 LMDeploy，釋放通用推理框架潛力

LMDeploy是業(yè)界領(lǐng)先的大模型推理引擎，為開發(fā)者提供了靈活高效的部署方案。DLInfer作為橋梁，讓異構(gòu)芯片能夠無縫融入此生態(tài)，用戶無需修改業(yè)務(wù)代碼即可享受硬件性能紅利。

一鍵切換的集成方式，實(shí)現(xiàn)零成本適配。DLInfer 作為“翻譯官”和“優(yōu)化器”，LMDeploy 與沐曦股份的對接變得非常簡單。用戶只需在 LMDeploy 的配置中指定后端為沐曦股份（--device maca），即可完成整個部署鏈路的切換。上層應(yīng)用（LMDeploy）依然調(diào)用 DLInfer API，便可在底層將計(jì)算任務(wù)精準(zhǔn)地分發(fā)到沐曦股份硬件上。

通用模型推理吞吐可實(shí)現(xiàn) 30%的提升?？蒲袌F(tuán)隊(duì)在 C500 上對多個主流大模型進(jìn)行了性能測試。測試結(jié)果表明，相較于算子模式，通過 DLInfer + LMDeploy 的部署方案，端到端延遲顯著降低，模型推理吞吐量提升了 30%以上，為高并發(fā)推理服務(wù)提供了堅(jiān)實(shí)的性能保障。

加速 MinerU 文檔處理，彰顯垂類模型應(yīng)用價(jià)值

如果說接入 LMDeploy 證明了 DLInfer 方案的“廣度”，那么賦能類似 MinerU 的復(fù)雜垂類應(yīng)用，則彰顯了其“深度”和解決特定領(lǐng)域難題的能力。MinerU 是上海AI實(shí)驗(yàn)室研發(fā)的一款開源的一站式文檔解析工具，目前GitHub星標(biāo)數(shù)近50K，在文檔解析領(lǐng)域有著重要的影響力，其核心任務(wù)是將 PDF 等復(fù)雜文檔轉(zhuǎn)換為結(jié)構(gòu)化的 Markdown，這是一個典型的多模態(tài)數(shù)據(jù)生成場景。DLInfer 通過 Mineru-LMDeploy-DLInfer 的技術(shù)路線，將 MinerU 無縫運(yùn)行在了曦云 C500 上，并實(shí)現(xiàn) Graph 模式性能相比 Eager 模式提升了 60%。通過雙方技術(shù)優(yōu)勢的互補(bǔ)，實(shí)現(xiàn)了此次復(fù)雜垂類場景的性能加速突破，為推理任務(wù)的高效運(yùn)行再添一重保障。

"芯片 + DLInfer + LMDepLoy + MinerU" 技術(shù)路線

多元硬件接入推理框架的通用方案

DLInfer 對上承接大模型推理框架，對下通過一套接口靈活支持各廠商不同粒度的融合算子與廠商自研圖引擎，將對接框架與對接廠商融合算子在適配工程中有效解耦。在 DLInfer 中，根據(jù)主流大模型推理框架與主流硬件廠商的融合算子粒度，定義了大模型推理的融合算子接口。同時(shí)，DLInfer 兼顧了 LLM（大語言模型）與 VLM（視覺語言模型）兩類主流多模態(tài)模型的推理需求，為國產(chǎn)硬件生態(tài)融入大模型技術(shù)棧提供了統(tǒng)一的中間層支持。

DLInfer 的核心架構(gòu)可以概括為“統(tǒng)一前端 + 可插拔后端”的模式：

統(tǒng)一前端：DLInfer 的頂層算子接口為上層應(yīng)用提供了一套與硬件無關(guān)的算子加載與執(zhí)行接口。開發(fā)者無需關(guān)心底層硬件，只需聚焦于業(yè)務(wù)邏輯本身。

可插拔后端： 每個硬件平臺都是一個獨(dú)立的“后端”模塊，而每個后端都負(fù)責(zé)實(shí)現(xiàn)兩套執(zhí)行路徑，即適合模型調(diào)試和新算子的快速驗(yàn)證 Eager 模式和 最大化利用硬件特性 Graph 模式。在 DLInfer 的vendor目錄下，可以清晰地看到這種解耦設(shè)計(jì)。

結(jié)語

DeepLink 聚焦多元芯片生態(tài)建設(shè)，深耕編譯優(yōu)化、異構(gòu)通信等核心技術(shù)，全力推進(jìn)國產(chǎn) AI 工具鏈研發(fā)與安全高效的方案落地。針對國產(chǎn)芯片特性優(yōu)化算子性能、構(gòu)建統(tǒng)一計(jì)算通信中間表達(dá)，打造兼容主流框架的開發(fā)環(huán)境，降低開發(fā)者國產(chǎn)芯片遷移門檻，不斷提高國產(chǎn)芯片的易用性和端到端性能。同時(shí)通過構(gòu)建多場景支撐平臺和垂域標(biāo)桿應(yīng)用，為科研和產(chǎn)業(yè)界提供更為強(qiáng)大的支持，推動 AI 全行業(yè)自主可控、可持續(xù)發(fā)展。

關(guān)于沐曦股份

沐曦股份致力于自主研發(fā)全棧高性能GPU芯片及計(jì)算平臺，為智算、通用計(jì)算、云渲染等前沿領(lǐng)域提供高能效、高通用性的算力支撐，助力數(shù)字經(jīng)濟(jì)發(fā)展。