以DeepSeek模型為代表的MoE技術路線，正不斷突破通用大模型的效果上限。其創(chuàng)新的PD優(yōu)化與大EP推理方案，推動大模型邁向“高性能、低成本、強普惠”的新階段。

事實上，早在1991年，兩位人工智能界的泰斗Michael Jordan與Geoffrey Hinton在論文《Adaptive Mixture of Local Experts》中，就首次提出了MoE框架。隨著大模型應用場景愈加復雜和垂直，大模型參數(shù)增大的同時，消耗的算力資源和時間成本也隨之增加。憑借“稀疏激活、低資源消耗、高模型容量”的優(yōu)勢，MoE逐漸成為大模型開發(fā)者的新寵。

DeepSeek模型的成功實踐，為MaaS平臺廠商指明了方向，也帶來了挑戰(zhàn)：如何在提供高性能大模型推理服務的同時，實現(xiàn)對成本的極致控制?四月份，科大訊飛技術團隊通過深度解析DeepSeek-V3 / R1 推理系統(tǒng)成本，發(fā)現(xiàn)除了極致的推理性能及吞吐優(yōu)化外，大模型成本與算力資源有效利用率、首響用戶體驗等體系化的綜合策略緊密關聯(lián)。

基于以上洞察，訊飛星辰MaaS平臺成功復現(xiàn)了生產(chǎn)級PD(生產(chǎn)部署優(yōu)化)+大EP(大規(guī)?？绻?jié)點專家并行)，實現(xiàn)了高性能的DeepSeek V3上線：

萬路并發(fā)保障：大規(guī)模并發(fā)場景下，系統(tǒng)穩(wěn)定、延遲低，用戶體驗更流暢;

請求級指標提升 ：TTFT(首Token延遲)性能提升30%，TPOT(單Token生成時間)性能提升35%，顯著減少延遲，降低用戶「等候感」;

彈性混合云架構(gòu)：支持多源異構(gòu)算力調(diào)度，靈活應對流量波峰波谷。

高性能DeepSeek V3上線：

萬路并發(fā)無壓力，批量處理享半價

訊飛星辰 MaaS 平臺始終致力于打造高效、穩(wěn)定、低成本的大模型推理服務。目前平臺上提供星火全系列，以及DeepSeek、Qwen3等共50+個行業(yè)主流模型。在對DeepSeek V3推理系統(tǒng)成本進行深度分析基礎上，實現(xiàn)了DeepSeek V3推理性能的階躍:

關鍵指標對齊官網(wǎng)，萬路并發(fā)流暢響應

實現(xiàn)生產(chǎn)級PD+大EP復現(xiàn)，極致壓榨硬件性能，TTFT、TPOT等關鍵指標對齊DeepSeek官網(wǎng)，其中TTFT性能提升30%，TPOT性能提升35%。大規(guī)模生產(chǎn)集群吞吐再翻倍，即使在萬級并發(fā)壓力下，依然能保持低延遲與流暢響應。

Batch API升級，高效低價數(shù)據(jù)處理

重點升級了支持DeepSeek V3的Batch API，為需要處理大規(guī)模數(shù)據(jù)且非實時場景的任務，如：企業(yè)級數(shù)據(jù)分析、內(nèi)容生產(chǎn)、客戶反饋處理等，提供高性價比推理服務且無并發(fā)限制，可實現(xiàn)價格比傳統(tǒng)調(diào)用降低50%，并在24小時內(nèi)完成任務處理。

彈性混合云架構(gòu)，流量洪峰更有保障

星辰MaaS平臺自研了彈性多源異構(gòu)混合云架構(gòu)，以自建算力為中心擴展接入多個混合算力，提供穩(wěn)定可靠的算力保障用戶的流量洪峰，確保服務的穩(wěn)定性。 針對有大量調(diào)用需求的開發(fā)者和企業(yè)，訊飛星辰MaaS平臺提供了專人對接的定制化方案。

模型工具升級：

精調(diào)方案隨心用，500+開源模型自主托管

為進一步降低模型定制門檻，助力開發(fā)者快速創(chuàng)新，在提供高性能開源模型的同時，近期，訊飛星辰MaaS平臺實現(xiàn)了多項功能上新：精調(diào)方案共享：開放數(shù)據(jù)分類、表格問答、劇本生成等多個精調(diào)方案，零門檻上手，開箱即用，可快速落地在真實業(yè)務場景中。

星辰MaaS平臺提供了多種精調(diào)方案

以營銷創(chuàng)作腳本為例，用戶只需輸入推廣場景、產(chǎn)品賣點、腳本風格、面向人群等資料，即可實現(xiàn)從「創(chuàng)意構(gòu)思」到「爆款腳本」的全鏈路智能化生產(chǎn)。

Qwen3全系上線：繼率先支持Qwen3旗艦模型Qwen3-235B-A22B和Qwen3-30B-A3B推理之后，目前Qwen3全系模型均已在星辰MaaS平臺上線，支持推理/訓練，為開發(fā)者提供了更為多元的模型選擇空間。

開放自主托管渠道：支持開發(fā)者自主托管開源模型，包括HuggingFace提供的開源模型(500+)及平臺預置模型，均可一鍵部署，即用即銷，進一步降低了開發(fā)成本，使開發(fā)者和企業(yè)得以專注于業(yè)務邏輯創(chuàng)新，推動AI創(chuàng)新應用落地。

開發(fā)者可在“模型選擇”中搜索HuggingFace提供的開源模型平臺預置模型

秉承開放開源理念，下一步，星辰MaaS平臺將開源面向大規(guī)模生產(chǎn)級的支持PD調(diào)度的集群鏡像方案，實現(xiàn)拓撲感知調(diào)度，兼容SGlang、自研等多種推理框架、自帶多源異構(gòu)彈性混合云調(diào)度，支持訓推一體潮汐調(diào)度，進一步降低多模型、多算力、高并發(fā)的大模型集群部署復雜度。

關于訊飛星辰MaaS平臺：

低門檻一站式大模型精調(diào)訓練平臺，助力企業(yè)高效構(gòu)建專屬大模型。

開箱即用，上手快：覆蓋數(shù)據(jù)工程、精調(diào)訓練、推理服務等全生命周期工具鏈，提供開箱即用、即用即銷的平臺服務能力。

模型豐富，應用快：支持星火全系列并兼容DeepSeek、Qwen3等，共50+行業(yè)主流大模型版本的微調(diào)與服務，微調(diào)到應用的工期從幾天降低到小時級。

成熟訓推框架，高可用：構(gòu)建開箱即用的訓推工具與框架，支持lora、full sft等多種訓練方式，定制模型按需托管，服務可用性99.95%。

算力利用率高，成本低：實現(xiàn)基于彈性混合云訓推算力的潮汐調(diào)度，支持即用即銷的大模型自主托管推理模式，持續(xù)提升算力資源利用率，實現(xiàn)大模型推理成本持續(xù)降低。