具身智能正推動機(jī)器人從自動化向智能化演進(jìn)，系統(tǒng)軟件作為連接模型、應(yīng)用與算力的橋梁，成為技術(shù)突破的關(guān)鍵。當(dāng)前主流操作系統(tǒng)缺乏面向具身智能的成熟技術(shù)棧，而開源鴻蒙憑借其分布式、異構(gòu)協(xié)同等特性，有望在該領(lǐng)域?qū)崿F(xiàn)“換道超車”。本次開源鴻蒙領(lǐng)學(xué)課堂具身智能專題第一期直播，邀請了開源鴻蒙具身智能PMC（籌）主席、上海交通大學(xué)計算機(jī)學(xué)院副教授古金宇老師，分享具身智能操作系統(tǒng)相關(guān)內(nèi)容，介紹了具身智能操作系統(tǒng)的機(jī)遇與挑戰(zhàn)、開源鴻蒙具身智能項目情況。

一、開源鴻蒙具身智能PMC愿景：

面向具身智能，開源鴻蒙“換道超車”

無論傳統(tǒng)還是新型端側(cè)無人平臺，在具身智能技術(shù)發(fā)展下均呈現(xiàn)新趨勢：從自動化到智能化、智能體編程范式、新人機(jī)交互范式。開源鴻蒙具身智能PMC將主要聚集于以下幾個方面的工作：

●搶占關(guān)鍵窗口期：開源鴻蒙具身智能PMC可高效協(xié)同生態(tài)力量，加速開源鴻蒙在具身智能領(lǐng)域的布局與商用落地。

●系統(tǒng)能力創(chuàng)新：主流操作系統(tǒng)均缺乏成熟的具身智能關(guān)鍵技術(shù)棧，開源鴻蒙處于同一起跑線。開源鴻蒙具身智能PMC匯聚產(chǎn)學(xué)研資源，可助力快速構(gòu)建核心能力，搶占標(biāo)準(zhǔn)主導(dǎo)權(quán)。

●擴(kuò)展開源鴻蒙生態(tài)：當(dāng)前具身機(jī)器人操作系統(tǒng)多基于Linux碎片化自研，系統(tǒng)能力復(fù)用度低。開源鴻蒙作為智能終端底座，天然適配具身場景，通過開源鴻蒙具身智能PMC引領(lǐng)可打造統(tǒng)一具身操作系統(tǒng)平臺，降低開發(fā)門檻，提升產(chǎn)業(yè)整體競爭力。

二、具身智能系統(tǒng)軟件面臨的六大挑戰(zhàn)

●挑戰(zhàn)1：具身智能機(jī)器人任務(wù)實時性

機(jī)器人功能安全依賴系統(tǒng)實時性，但傳統(tǒng)實時性技術(shù)圍繞CPU設(shè)計。具身智能機(jī)器人使用AI算力/異構(gòu)算力，需構(gòu)建操作系統(tǒng)XPU實時技術(shù)。

通過統(tǒng)一任務(wù)隊列抽象（異構(gòu)XPU共有抽象）和多級搶占能力模型（L1搶占未加載任務(wù)、L2搶占未執(zhí)行任務(wù)、L3搶占執(zhí)行中任務(wù)），適配不同XPU硬件搶占能力（時延不同），保障任務(wù)實時性。

●挑戰(zhàn)2：具身模型推理性能 vs. 端側(cè)受限算力

端側(cè)算力成本、功耗與性能構(gòu)成“不可能三角”，制約模型推理效率。系統(tǒng)軟件需充分使能端側(cè)算力，通過CPU+NPU+GPU異構(gòu)協(xié)同，根據(jù)硬件特性劃分計算任務(wù)（參數(shù)加載、反量化、矩陣運算等），實現(xiàn)流水線并行，提升能效比。

●挑戰(zhàn)3：系統(tǒng)軟件缺乏對具身智能模型運行特征的感知

視覺-語言模型（VLM）運行時呈現(xiàn)明顯階段特征：Prefill階段GPU利用率高但時間短，Diffusion階段利用率低但時間長；相鄰時間步圖片的KV Cache相似度高達(dá)97%以上?；诖丝刹捎卯惒搅魉€優(yōu)化，利用上一幀VLM Prefill的KVCache并行啟動Diffusion階段。實驗數(shù)據(jù)表明，在保持成功率的前提下，端到端推理時延可降低30%（如LibTorch并行模型端到端時延從150.12ms降至106.19ms）。

●挑戰(zhàn)4：具身智能模型VLA推理的可靠性問題

當(dāng)訓(xùn)練集未覆蓋特定場景（如抓取物體數(shù)量超出范圍）時，模型成功率顯著下降。操作系統(tǒng)需具備經(jīng)驗管理與異常修復(fù)能力，對運行時異常進(jìn)行干預(yù)，提升任務(wù)可靠性。

●挑戰(zhàn)5：入端、入邊還是端云協(xié)同？

在工廠、酒店等場景中，多個機(jī)器人可共享一個“邊緣大腦”，降低單機(jī)BOM成本；端側(cè)僅保留輕量級執(zhí)行單元以延長續(xù)航。系統(tǒng)軟件需支持端云協(xié)同架構(gòu)，實現(xiàn)資源動態(tài)調(diào)度，提升運營ROI。

●挑戰(zhàn)6：具身智能應(yīng)用的可解釋性與高效開發(fā)

端到端模型難以解釋，而“智能體+工作流”的混合范式更利于構(gòu)建泛化易用的開發(fā)節(jié)點。系統(tǒng)軟件需提供可視化“拖拉拽”開發(fā)框架，降低開發(fā)門檻。

●其他挑戰(zhàn)與機(jī)會

具身智能仿真：

需構(gòu)建高保真物理引擎與環(huán)境，縮小Sim-to-Real差距，支持大規(guī)模并行訓(xùn)練與復(fù)雜交互模擬。

具身智能安全：

確保人機(jī)協(xié)作中的實時風(fēng)險評估、故障安全機(jī)制及倫理法規(guī)遵從。

異構(gòu)模型異構(gòu)算力適配：

實現(xiàn)端云協(xié)同計算、模型壓縮加速、統(tǒng)一軟件棧與接口標(biāo)準(zhǔn)化，提升跨平臺性能。

三、開源鴻蒙具身智能PMC組織結(jié)構(gòu)、成員單位以及技術(shù)架構(gòu)介紹

在組織結(jié)構(gòu)上，開源鴻蒙具身智能PMC下設(shè)Arch SIG、Release SIG、ROS Common SIG等14個技術(shù)專項組，覆蓋架構(gòu)設(shè)計、版本管理、ROS生態(tài)移植、具身模型適配、模擬器開發(fā)等核心方向。各SIG協(xié)同推進(jìn)從底層算力到上層應(yīng)用的系統(tǒng)能力構(gòu)建，為開源鴻蒙在具身智能領(lǐng)域的技術(shù)研發(fā)與生態(tài)落地提供組織保障。

開源鴻蒙具身智能PMC首批共建伙伴由上海交通大學(xué)牽頭，聯(lián)合了北京大學(xué)、清華大學(xué)、中科院軟件所等國內(nèi)多所頂尖高校及中科院軟件所，并匯聚了華為、智元機(jī)器人、Dora社區(qū)等在內(nèi)的科技企業(yè)與開源社區(qū)，匯聚了多家產(chǎn)學(xué)研用成員單位。

在架構(gòu)規(guī)劃上，目前已形成了覆蓋底層算力到上層應(yīng)用的系統(tǒng)架構(gòu)。該架構(gòu)以開源鴻蒙為底座，整合國產(chǎn)算力（如昇騰）、異構(gòu)協(xié)同框架、模型推理引擎及智能體開發(fā)工具，為具身智能系統(tǒng)提供全棧支撐。具體成員單位及架構(gòu)細(xì)節(jié)參見社區(qū)官方資料。

四、開源鴻蒙具身智能項目介紹

●項目產(chǎn)出目標(biāo)

標(biāo)準(zhǔn)/參考平臺：

提供開源鴻蒙具身本體+算力+模擬器，開箱即用。

開源系統(tǒng)軟件：

打造具身模型端側(cè)推理框架、具身智能體開發(fā)框架，補齊傳統(tǒng)機(jī)器人開發(fā)框架生態(tài)。

行業(yè)示范：

在工業(yè)柔性制造、家居服務(wù)、智慧農(nóng)業(yè)等領(lǐng)域推動應(yīng)用落地。

● 核心技術(shù)突破

打破壟斷，自主可控：

提供業(yè)界首個基于國產(chǎn)硬件的端到端方案，終結(jié)NVIDIA生態(tài)單一依賴，提供高性價比“第二選擇”。

攻克“三高”，極致能效：

在國產(chǎn)昇騰端側(cè)算力上實現(xiàn)對標(biāo)4090的極致性能，證明開源鴻蒙+國產(chǎn)算力是解決高延遲、高功耗、高成本的有效路徑。

填補空白，樹立標(biāo)桿：

打造首個支持全棧國產(chǎn)的具身智能標(biāo)桿系統(tǒng)，填補開源鴻蒙+國產(chǎn)算力在具身領(lǐng)域空白，激活萬億級賽道的底層生態(tài)。

●生態(tài)建設(shè)進(jìn)展

目前，開源鴻蒙具身智能PMC成果已支撐華為“RoboMind智能機(jī)器人開發(fā)者大賽”，推動技術(shù)普及。

五、結(jié)語

具身智能系統(tǒng)軟件正處于發(fā)展窗口期，開源鴻蒙憑借其協(xié)同優(yōu)勢，有望構(gòu)建統(tǒng)一的具身操作系統(tǒng)平臺，降低產(chǎn)業(yè)開發(fā)門檻，提升整體競爭力。未來，隨著更多產(chǎn)學(xué)研力量加入，具身智能將從“作詩做秀”走向創(chuàng)造技術(shù)與經(jīng)濟(jì)價值。

相關(guān)社區(qū)代碼倉庫已在gitcode開放（https://gitcode.com/openharmony-robot），歡迎各界參與共建。