近日，摩爾線程在人工智能前沿領(lǐng)域取得重要突破，其提出的新一代大語言模型對齊框架——URPO統(tǒng)一獎勵與策略優(yōu)化，相關(guān)研究論文已被人工智能領(lǐng)域的國際頂級學(xué)術(shù)會議AAAI 2026收錄。這一成果標志著摩爾線程在大模型基礎(chǔ)技術(shù)探索上邁出了關(guān)鍵一步，為簡化大模型訓(xùn)練流程、突破模型性能上限提供了全新的技術(shù)路徑。

圖示：URPO統(tǒng)一獎勵與策略優(yōu)化框架

在題為《URPO:A Unified Reward & Policy Optimization Framework for Large Language Models》的論文中，摩爾線程AI研究團隊提出了URPO統(tǒng)一獎勵與策略優(yōu)化（Unified Reward & Policy Optimization，URPO）框架，創(chuàng)新地將“指令遵循”（選手）和“獎勵評判”（裁判）兩大角色融合于單一模型中，并在統(tǒng)一訓(xùn)練階段實現(xiàn)同步優(yōu)化。URPO從以下三方面攻克技術(shù)挑戰(zhàn)：

數(shù)據(jù)格式統(tǒng)一：將異構(gòu)的偏好數(shù)據(jù)、可驗證推理數(shù)據(jù)和開放式指令數(shù)據(jù)，統(tǒng)一重構(gòu)為適用于GRPO訓(xùn)練的信號格式。

自我獎勵循環(huán)：針對開放式指令，模型生成多個候選回答后，自主調(diào)用其“裁判”角色進行評分，并將結(jié)果作為GRPO訓(xùn)練的獎勵信號，形成一個高效的自我改進循環(huán)。

協(xié)同進化機制：通過在同一批次中混合處理三類數(shù)據(jù)，模型的生成能力與評判能力得以協(xié)同進化。生成能力提升帶動評判更精準，而精準評判進一步引導(dǎo)生成質(zhì)量躍升，從而突破靜態(tài)獎勵模型的性能瓶頸。

實驗結(jié)果顯示，基于Qwen2.5-7B模型，URPO框架顯著超越依賴獨立獎勵模型的傳統(tǒng)基線：在AlpacaEval指令跟隨榜單上，得分從42.24提升至44.84；在綜合推理能力測試中，平均分從32.66提升至35.66。尤為突出的是，作為訓(xùn)練的“副產(chǎn)品”，該模型內(nèi)部自然涌現(xiàn)出卓越的評判能力，在RewardBench獎勵模型評測中取得85.15的高分，表現(xiàn)甚至優(yōu)于其替代的專用獎勵模型（83.55分）。

除了卓越的性能表現(xiàn)，URPO框架在工程落地方面同樣展現(xiàn)出顯著優(yōu)勢。該技術(shù)基于GRPO算法進行輕量化迭代實現(xiàn)，在代碼層面僅需添加少量補丁即可完成部署，大幅降低了技術(shù)遷移與應(yīng)用門檻。目前，URPO已在摩爾線程自研計算卡上實現(xiàn)穩(wěn)定高效運行，充分發(fā)揮軟硬件協(xié)同優(yōu)化的底層優(yōu)勢；同時，摩爾線程已完成VERL等主流強化學(xué)習(xí)框架的深度適配，讓這一簡潔高效的對齊方案能快速融入現(xiàn)有研發(fā)體系，既保留了技術(shù)延續(xù)性，又為行業(yè)提供了兼具性能、效率與兼容性的一體化解決方案。

URPO框架的成功，是摩爾線程堅持底層技術(shù)創(chuàng)新、攻堅大模型核心挑戰(zhàn)的重要成果。該研究不僅提供了一種更簡潔、高效、性能更強的對齊方案，更通過“選手-裁判”一體化的設(shè)計，為大模型實現(xiàn)持續(xù)自我進化開辟了新路徑。未來，摩爾線程將繼續(xù)深耕大模型等前沿技術(shù)領(lǐng)域，以堅實的創(chuàng)新成果推動人工智能產(chǎn)業(yè)實現(xiàn)跨越式發(fā)展。

關(guān)于摩爾線程

摩爾線程以全功能GPU為核心，致力于向全球提供加速計算的基礎(chǔ)設(shè)施和一站式解決方案，為各行各業(yè)的數(shù)智化轉(zhuǎn)型提供強大的AI計算支持。

我們的目標是成為具備國際競爭力的GPU領(lǐng)軍企業(yè)，為融合人工智能和數(shù)字孿生的數(shù)智世界打造先進的加速計算平臺。我們的愿景是為美好世界加速。