DeepSeek在開源周開源了部分關鍵模塊的代碼及推理系統(tǒng)參考架構，再次引發(fā)行業(yè)震動，但目前尚未開源DeepSeek-V3 滿血版完整訓練代碼。壁仞科技憑借八大自主創(chuàng)新技術，實現(xiàn)DeepSeek-V3滿血版在國產(chǎn)GPU平臺的高效全棧式訓練與推理，實現(xiàn)國產(chǎn)大模型與國產(chǎn)GPU的深度融合優(yōu)化，開啟國產(chǎn)算力新篇章。

01.首個國產(chǎn)化Megatron-LM

深度適配方案

DeepSeek業(yè)界首次提出了Multi-head Latent Attention (MLA) 、Multi-Token Prediction (MTP)、Auxiliary-Loss-Free Load Balancing等新特性，但并未開放訓練代碼，且Megatron-LM初期也未支持DeepSeek-V3。壁仞科技充分利用自研的Megatron-LM-BR插件、訓練框架BR-PyTorch以及高性能加速庫suDNN、suBLAS、suCCL等，在Megatron-LM框架上率先支持了這些新特性。針對DeepSeek-V3預訓練，壁仞支持四大并行策略（TP/EP/PP/DP）靈活組合，較原生方案（TP1PP16EP64DP2）更容易適應不同規(guī)模節(jié)點的靈活擴展。實現(xiàn)"Attention-MoE異構TP"技術，大幅降低了Attention顯存需求。

02.突破海外GPU高度依賴，

實現(xiàn)關鍵技術國產(chǎn)替代

DeepSeek基于海外GPU做了大量算法和軟硬件協(xié)同優(yōu)化，其實現(xiàn)高度依賴海外GPU微架構、NVLink互連、IB交換機等?；谧匝蠦IREN大算力TCore、高速互連BLink等技術，壁仞科技在DeepSeek開源周之前就已經(jīng)實現(xiàn)了FlashMLA、DeepGEMM、DeepEP等核心模塊類似功能和優(yōu)化技術，并進行了軟硬協(xié)同深度優(yōu)化，端到端打通了訓練全流程，實現(xiàn)了關鍵技術的國產(chǎn)自主可控。

03.業(yè)界首創(chuàng)顯存優(yōu)化雙擎技術，

實現(xiàn)滿血版高效訓練

DeepSeek-V3滿血版有671B參數(shù)，官方推薦方案至少需要1024個H800（TP1PP16EP64DP1）才能進行全參訓練。為了應對顯存挑戰(zhàn)，壁仞科技自主創(chuàng)新Async Offload、GPU-based Chunk Optimizer等精度無損的顯存優(yōu)化技術，將大量激活值及優(yōu)化器狀態(tài)異步卸載至CPU內(nèi)存，實現(xiàn)僅需4096GB顯存（8-16臺單機8卡GPU機器）即可支持DeepSeek-V3全參高效訓練。與此同時，通過巧妙地重疊計算與通信，上述顯存優(yōu)化技術幾乎沒有帶來訓練性能的損失。另外支持智能重計算策略，自動識別顯存瓶頸層，實現(xiàn)"算力換空間"智能決策。通過Async Offload和重計算顯存優(yōu)化雙擎技術，實現(xiàn)算力開銷和顯存節(jié)約的最佳均衡。

04.業(yè)界首創(chuàng)"虛擬層+動態(tài)重排"技術，

大幅降低流水線氣泡

DeepSeek的DualPipe技術能掩蓋部分傳輸開銷及大幅降低流水線氣泡，但DualPipe需要GPU微架構層面對計算單元進行精確控制才能實現(xiàn)計算和通信的高效并發(fā)，相比1F1B，DualPipe需要增加1倍的模型權重及部分激活值顯存消耗。相比1F1B，Interleave with Virtual Pipeline技術可以在不增加顯存消耗的情況下大幅降低流水線氣泡，但是要求每個PP Stage的layer數(shù)是均衡的。DeepSeek-V3有61個Layer，PP8/PP16都無法均衡切分Layer導致無法使能Virtual Pipeline，壁仞科技業(yè)界首創(chuàng)"虛擬層+動態(tài)重排"技術，通過插入3個虛擬層實現(xiàn)64層均勻切分，重排部分層實現(xiàn)負載均衡，避免流水線等待，最終實現(xiàn)高效PP并行。

05.融合算子加速體系，

釋放國產(chǎn)GPU性能潛力

針對DeepSeek-V3的Linear、Attention、YaRN RoPE、Dispatch、Combine等關鍵耗時算子，壁仞科技基于其GPU架構特點做了極致的圖算/通算融合優(yōu)化，從多計算操作極致的片上融合，張量處理器與矢量處理器極致異步融合，多級緩存的流水融合，到計算與通信融合，并進一步引入自動化的Kernel Selection技術，基于硬件計算/通信/訪存建模的CostModel針對不同工作負載自適應選擇最優(yōu)內(nèi)核實現(xiàn)，將芯片綜合能效發(fā)揮到極致。

06.整合關鍵技術模塊，實現(xiàn)DeepSeek-

V3滿血版端到端高效預訓練

壁仞科技壁礪TM系列產(chǎn)品如壁礪TM106M、106B等產(chǎn)品具備高算力、高能效、高通用性等優(yōu)勢，訓推一體，已在多個行業(yè)完成大規(guī)模商業(yè)化落地，其中在中國電信落地了國內(nèi)少有的真正實現(xiàn)市場化建設和運營的國產(chǎn)千卡集群，連續(xù)訓練30天不中斷，斷點續(xù)訓小于5分鐘，支持客戶完成大模型訓練，穩(wěn)定性、性能、精度各項指標達到客戶要求。此次基于壁礪TM106系列產(chǎn)品，壁仞科技快速高效完成了DeepSeek-V3各項關鍵技術落地，基于RedPajama-Data-1T-Sample主流開源數(shù)據(jù)集實現(xiàn)了端到端高效預訓練，Loss收斂正常。

07.實現(xiàn)W4A16細粒度量化技術，支持

DeepSeek-V3/R1滿血版高效推理

壁仞科技在此前已經(jīng)支持了BF16、INT8等版本的DeepSeek-V3/R1滿血版推理，此次新提出W4A16等細粒度混合量化技術，進一步降低了處理延時，提升了總吞吐。另外針對DeepSeek官方最新發(fā)布的推理系統(tǒng)參考架構，壁仞科技已初步實現(xiàn)了分布式EP以及PD分離架構，將進一步提供更高性價比的推理集群解決方案。

08.One More Thing

業(yè)界首創(chuàng)大模型彈性訓推一體架構，

實現(xiàn)集群最佳利用效率

DeepSeek 開放周最后一天公布了One More Thing-DeepSeek-V3/R1推理系統(tǒng)參考方案，為行業(yè)展示了如何實現(xiàn)高性能、低成本的分布式推理集群。其提到“由于白天的服務負荷高，晚上的服務負荷低，因此我們實現(xiàn)了一套機制，在白天負荷高的時候，用所有節(jié)點部署推理服務。晚上負荷低的時候，減少推理節(jié)點，以用來做研究和訓練”，在計算推理成本時，其將釋放給訓練使用的資源排除在外，因此降低了推理成本（大概20%= 100% - 226節(jié)點/278節(jié)點）。但如何實現(xiàn)訓練和推理任務高效共享資源呢？

此前在落地千卡集群時，壁仞科技已業(yè)界首創(chuàng)了大模型3D并行訓練任務自動彈性伸縮機制，可以在大模型訓練任務不中斷的情況下，根據(jù)集群的資源情況自動進行在線擴縮容。根據(jù)業(yè)務流量情況自動進行削峰填谷，對大模型推理服務進行實例縮容、擴容，相應的訓練任務則自動進行擴容、縮容。通過這套彈性訓推一體架構，可以將集群資源的使用率保持在近100%，大幅降低資源空閑浪費成本。

壁仞科技打造了軟硬一體、全棧優(yōu)化、異構協(xié)同、開源開放的大規(guī)模智算集群全棧解決方案，憑借其技術創(chuàng)新能力和商業(yè)化落地成果，先后獲得環(huán)球時報新質(zhì)生產(chǎn)力產(chǎn)業(yè)實踐“人工智能”示范標桿等多個權威技術獎項，技術方案和產(chǎn)品已在運營商、智算中心、行業(yè)AI、金融、電力等多個行業(yè)規(guī)模落地。此次通過八大核心技術賦能DeepSeek-V3滿血版全棧式訓練推理，進一步提升壁仞科技軟硬一體、開箱即用的產(chǎn)品實力，支持客戶利用好DeepSeek的新質(zhì)生產(chǎn)力實現(xiàn)業(yè)務創(chuàng)新落地！