近期，“國產(chǎn)之光”DeepSeek系列大模型發(fā)展迅猛，領(lǐng)跑開源大模型技術(shù)與生態(tài)，為中國人工智能行業(yè)帶來了前所未有的變革動力，對全球科技競爭格局產(chǎn)生積極影響。

1稀疏計算

助力DeepSeek R1模型高效部署

日前，墨芯人工智能（Moffett AI）已完成與DeepSeek R1全系列蒸餾模型的推理部署。憑借自研的雙稀疏算法技術(shù)，墨芯S40計算卡性能得到充分釋放，為DeepSeek R1的高效部署提供了強勁的算力后盾，并在較短時間內(nèi)完成DeepSeek-R1-70B* 和DeepSeek-R1-32B* 等中、大模型部署，且成功實現(xiàn)單卡支持DeepSeek-R1-32B*部署。

墨芯S40計算卡支持DeepSeek R1-70B和DeepSeek R1-32B推理部署

2軟硬件協(xié)同

提升DeepSeek R1模型推理效率

DeepSeek-R1蒸餾模型是DeepSeek在模型壓縮與優(yōu)化領(lǐng)域的重要創(chuàng)新，通過蒸餾技術(shù)實現(xiàn)了高效、低成本的AI推理，適合企業(yè)內(nèi)部實施部署，實現(xiàn)降本增效。

DeepSeek-R1-70B* 和DeepSeek-R1-32B*是DeepSeek-R1蒸餾模型的中大規(guī)模和大規(guī)模模型。DeepSeek-R1-32B*推理速度較快，實時性要求高的場景，擅長處理日常對話、文檔生成和基礎(chǔ)代碼輔助；DeepSeek-R1-70B*側(cè)重復雜邏輯推理、科研分析、高質(zhì)量內(nèi)容創(chuàng)作。

墨芯的稀疏計算技術(shù)則是通過算法與硬件的協(xié)同設(shè)計，有效地減少蒸餾模型部署所需的資源，其中稀疏化技術(shù)將模型中的稠密張量轉(zhuǎn)換為等效的稀疏張量，使張量中產(chǎn)生大量的零元素，通過剪枝，有效消減模型冗余，以顯著加快計算速度，實現(xiàn)了大模型的高效稀疏化，顯著提升DeepSeek-R1系列蒸餾模型的推理速度并降低能耗。

此外，相較于傳統(tǒng)推理平臺，墨芯S40算力卡能夠?qū)崿F(xiàn)“單卡推理大模型”，簡化了多卡分布式處理大模型的復雜部署流程，降低了時間、功耗和成本。這一優(yōu)勢在DeepSeek-R1蒸餾模型的部署中得到了充分體現(xiàn)，墨芯的S40計算卡滿足了高算力需求，降低了總擁有成本（TCO），為 AI大模型在各行業(yè)的應(yīng)用提供了支持。

墨芯人工智能與DeepSeek-R1蒸餾模型的成功部署，實現(xiàn)了國產(chǎn)AI算力基座和國產(chǎn)大模型在應(yīng)用層面的“雙向奔赴”，展示了稀疏計算技術(shù)在大模型領(lǐng)域的實踐成果，也為企業(yè)部署“高性能”且“用得起”的大模型提供新思路。

備注：

DeepSeek-R1-70B*：指DeepSeek-R1-Distill-Llama-70B模型

DeepSeek-R1-32B*：指DeepSeek-R1-Distill-Qwen-32B模型

關(guān)于墨芯人工智能

墨芯人工智能是稀疏計算引領(lǐng)者，致力于提供云端和終端AI計算平臺和服務(wù)。通過全球領(lǐng)先的稀疏計算技術(shù)優(yōu)勢，打造軟硬協(xié)同的新一代智能計算平臺。產(chǎn)品性能位居行業(yè)領(lǐng)先，相較行業(yè)主流產(chǎn)品，在算力、能效比與成本等方面均實現(xiàn)數(shù)量級優(yōu)化。面向互聯(lián)網(wǎng)、運營商、金融、制造、醫(yī)療、交通、能源、生命科學、自動駕駛等眾多行業(yè)與場景，提供高算力、低功耗、高性價比的AI算力服務(wù)，賦能前沿科技的進步與社會的智能化升級。