在當(dāng)今數(shù)字化時(shí)代，人工智能（AI）技術(shù)正以前所未有的速度改變著我們的生活和工作方式。AI應(yīng)用的廣泛落地離不開強(qiáng)大的算力支持，而GPU作為AI計(jì)算的核心硬件，一直是推動(dòng)AI發(fā)展的關(guān)鍵力量。然而，隨著國際形勢的變化和技術(shù)競爭的加劇，依賴單一供應(yīng)商的GPU芯片已經(jīng)無法滿足國內(nèi)AI產(chǎn)業(yè)的長期發(fā)展需求。在這種背景下，將AI應(yīng)用從英偉達(dá)顯卡遷移到國產(chǎn)顯卡，不僅是技術(shù)發(fā)展的必然選擇，更是保障我國AI產(chǎn)業(yè)安全和可持續(xù)發(fā)展的緊迫任務(wù)。

一、遷移的緊迫性和必要性

（一）國際形勢的挑戰(zhàn)

近年來，美國對中國的高科技產(chǎn)業(yè)實(shí)施了一系列限制措施，尤其是對高端AI芯片的出口禁令，嚴(yán)重影響了國內(nèi)AI產(chǎn)業(yè)的正常發(fā)展。2024年12月3日，中國半導(dǎo)體行業(yè)協(xié)會(huì)等四大協(xié)會(huì)聯(lián)合發(fā)布聲明，呼吁企業(yè)謹(jǐn)慎采購美國芯片，并擴(kuò)大與其他國家和地區(qū)芯片企業(yè)的合作。這一舉措凸顯了我國在AI芯片領(lǐng)域?qū)崿F(xiàn)自主可控的緊迫性。

（二）技術(shù)自主可控的需求

依賴進(jìn)口芯片不僅存在供應(yīng)風(fēng)險(xiǎn)，還可能面臨技術(shù)封鎖和安全威脅。國產(chǎn)AI芯片的崛起為我國AI產(chǎn)業(yè)提供了新的選擇。通過將AI應(yīng)用遷移到國產(chǎn)顯卡，可以有效降低對國外芯片的依賴，確保技術(shù)的自主可控，保障國家信息安全。

（三）國內(nèi)市場的潛力

國內(nèi)AI市場龐大且應(yīng)用場景豐富，從智能安防到自動(dòng)駕駛，從醫(yī)療影像到金融科技，AI技術(shù)的應(yīng)用無處不在。國產(chǎn)顯卡的性能不斷提升，已經(jīng)具備了替代進(jìn)口芯片的能力。將AI應(yīng)用遷移到國產(chǎn)顯卡，不僅可以滿足國內(nèi)市場的多樣化需求，還能為國產(chǎn)芯片的發(fā)展提供廣闊的市場空間。

二、遷移到底難在哪？

痛點(diǎn)的核心在于缺乏一套基于國產(chǎn)顯卡的端到端遷移工具鏈和解決方案，支持算法人員無感知地從GPU遷移至國產(chǎn)算力。

三、JoyScale “零感知”遷移棧

京東云JoyScale異構(gòu)算力管理平臺(tái)經(jīng)過在京東內(nèi)場和外場萬卡集群打磨，完成了 40+ 主流模型遷移，沉淀出JoyScale 全棧方案，其核心思想是：

零侵入：算法代碼一行不改，僅通過后端切換完成遷移。

可驗(yàn)證：每一步都有黃金對照（GPU 基線），誤差可量化、可回滾。

可擴(kuò)展：新增芯片≈插件式接入，核心框架保持不變。

全鏈路：訓(xùn)練→微調(diào)→推理→上線監(jiān)控，端到端覆蓋。

3.1 系統(tǒng)架構(gòu)

3.2 遷移方案

硬件適配

加速卡調(diào)度適配針對國產(chǎn)顯卡的卡間互聯(lián)技術(shù)，開發(fā)適配的調(diào)度插件。例如，昇騰910B的HCCS架構(gòu)要求同一Pod內(nèi)的處理器必須在同一HCCS環(huán)內(nèi)，否則任務(wù)會(huì)失敗。

算子支持度分析通過工具（如Pytorch Profiler）提取GPU算子，與國產(chǎn)顯卡支持的API清單進(jìn)行對比，對不支持的算子進(jìn)行適配開發(fā)。

性能調(diào)優(yōu)結(jié)合國產(chǎn)顯卡的硬件特性，通過Profile獲取每個(gè)算子的執(zhí)行時(shí)間，對較慢算子進(jìn)行精細(xì)優(yōu)化，通常要結(jié)合底層硬件架構(gòu)特性進(jìn)行優(yōu)化，例如數(shù)據(jù)對齊，轉(zhuǎn)換為連續(xù)內(nèi)存等。同時(shí)也可以使用廠商API將多個(gè)算子進(jìn)行融合以及轉(zhuǎn)換為子圖方式提交到加速卡等加速手段。

軟件適配

程序遷移將基于CUDA的代碼遷移到國產(chǎn)顯卡支持的框架。例如，將torch.cuda.xxx()接口替換為torch.npu.xxx()接口。

框架優(yōu)化在框架層為國產(chǎn)顯卡和英偉達(dá)GPU提供統(tǒng)一的API接口，實(shí)現(xiàn)了一套API下NPU和GPU用戶無感、0成本無縫切換訓(xùn)練。

模型適配

模型量化通過模型量化技術(shù)，減少模型的計(jì)算量和存儲(chǔ)需求，提高在國產(chǎn)顯卡上的運(yùn)行效率。

軟硬協(xié)同深度優(yōu)化：通過Triton編譯和CANN融合等技術(shù)對熱點(diǎn)算子（如flash attention、rotary_embedding、npu_matmul_add_fp32等）進(jìn)行精細(xì)調(diào)優(yōu)，實(shí)施鋸齒Attention、動(dòng)態(tài)輸入拼接、全子圖下發(fā)以及重計(jì)算流水線的獨(dú)立調(diào)度和自適應(yīng)重計(jì)算等深度優(yōu)化措施，實(shí)現(xiàn)了百卡 MFU達(dá)60%。同時(shí)，通過權(quán)重更新通信隱藏、CoC計(jì)算通信并行、啟發(fā)式自動(dòng)并行策略搜索、BF16低精度通信和多機(jī)間RDMA通信等技術(shù)，達(dá)到了百卡擴(kuò)展系數(shù)0.93，從而實(shí)現(xiàn)了千億至萬億參數(shù)模型訓(xùn)練的近線性橫向擴(kuò)展。

推理優(yōu)化

通過GE圖編譯優(yōu)化和ATB高性能算子技術(shù)對Paged Attention、Flash Attention、Sub_Mul_Concat等操作進(jìn)行深度優(yōu)化，實(shí)現(xiàn)整圖下發(fā)能力，通過算子setup（workspace、tiling）、下發(fā)、計(jì)算實(shí)現(xiàn)流水線并行，有效隱藏了算子調(diào)度開銷。同時(shí)支持W8A8 SmoothQuant量化、W4A16 AWQ量化技術(shù)，顯著較少了計(jì)算量與訪存密度。

模型服務(wù)采用雙后端熱備，流量 5% → 30% → 100%逐級灰度上線國產(chǎn)算力，失敗率 > 0.1% 自動(dòng)回滾英偉達(dá)GPU。

統(tǒng)一調(diào)度和監(jiān)控

自研基于云原生的萬卡級異構(gòu)算力統(tǒng)一調(diào)度系統(tǒng)，自動(dòng)識別CPU NUMA和網(wǎng)絡(luò)拓?fù)?，確保任務(wù)被分配到最優(yōu)的計(jì)算和網(wǎng)絡(luò)資源上，從而最大化任務(wù)的執(zhí)行效率。通過Gang調(diào)度、算力切分池化等技術(shù)提高集群的整體占用率。

支持可視化監(jiān)控體系，統(tǒng)一監(jiān)控異構(gòu)顯卡的算力利用率、顯存利用率，以及AI負(fù)載的服務(wù)吞吐、失敗率、延時(shí)、token數(shù)等服務(wù)化指標(biāo)。

四、典型落地場景

零售場景：利用多模態(tài)模型對商品視頻進(jìn)行分析，抽取能夠表征視頻的一系列tag。從英偉達(dá)GPU無縫遷移到國產(chǎn)NPU，與GPU比對效果無明顯差異。在輸出Token數(shù)量一致的前提下，二者平均響應(yīng)時(shí)長基本保持一致。

智能客服基于大模型的客服Agent助手，使用過往沉淀QA數(shù)據(jù)對模型進(jìn)行微調(diào)，遷移到國產(chǎn)算力進(jìn)行微調(diào)后，與基于英偉達(dá)GPU微調(diào)的模型分析結(jié)果相似，且96%問題分配下游處理路徑相同。

物流場景基于國產(chǎn)算力微調(diào)的模型與基于英偉達(dá)GPU微調(diào)的模型在物流地址解析等任務(wù)的訓(xùn)練結(jié)果分別達(dá)到了91.03%與91.08%，二者表現(xiàn)基本一致，AI預(yù)分揀已上線多個(gè)省份，每天識別3萬條以上異常地址。

五、結(jié)語

將AI應(yīng)用從英偉達(dá)顯卡遷移到國產(chǎn)顯卡，不僅是技術(shù)發(fā)展的必然選擇，更是保障我國AI產(chǎn)業(yè)安全和可持續(xù)發(fā)展的緊迫任務(wù)。遷移不是可選項(xiàng)，而是生存項(xiàng)！越早動(dòng)手，窗口期越長。京東云JoyScale通過完整且成熟的遷移軟件堆棧，幫助客戶有效降低遷移成本，提高遷移效率，確保AI應(yīng)用在國產(chǎn)顯卡上的高效運(yùn)行，讓客戶更多地把精力更多放在算法創(chuàng)新上。京東云愿意與更多客戶攜手，一起把國產(chǎn)算力推向極致。

審核編輯 黃宇