演講嘉賓 | 鄭森文

回顧整理 | 廖 濤

排版校對 | 李萍萍

嘉賓簡介

鄭森文，中國科學院軟件研究所高級工程師，智能軟件研究中心開源基礎(chǔ)設(shè)施組負責人；OpenHarmony項目群工作委員會委員；華為HDE（HUAWEI Developer Experts）；開放原子教育認證講師；編著有書籍《鴻蒙操作系統(tǒng)應(yīng)用開發(fā)實踐》以及《鴻蒙第三方組件庫應(yīng)用開發(fā)實戰(zhàn)》。主要研究方向為人工智能和操作系統(tǒng)，發(fā)表二十余項相關(guān)領(lǐng)域論文、軟著、專利，并參與了多項國家課題項目，當前主要專注于開源軟件基礎(chǔ)設(shè)施和開源軟件供應(yīng)鏈的相關(guān)研究和實踐。

內(nèi)容來源

第一屆開放原子開源基金會OpenHarmony技術(shù)峰會——生態(tài)與互聯(lián)分論壇

視頻回顧

打開 嗶哩嗶哩APP 搜索 OpenHarmony-TSC 視頻更清晰

正 文 內(nèi) 容

Apple Vision Pro在蘋果WWDC2023開發(fā)者大會上正式發(fā)布，再次引起了虛擬現(xiàn)實與人機交互技術(shù)相關(guān)的熱烈討論?；ヂ?lián)是OpenHarmony重要特性之一， 在人工智能飛速發(fā)展的同時，OpenHarmony的交互技術(shù)有哪些發(fā)展方向和目標呢？中國科學院軟件研究所開源基礎(chǔ)設(shè)施組負責人、高級工程師鄭森文在第一屆OpenHarmony技術(shù)峰會上進行了精彩分享。

01?

交互方式演進

1828年，來自美國密歇根州的威廉·伯特制造了一部名為“排字機”的機器，并在不久之后就取得美國專利，第一臺打字機問世；1846年，最早的電腦輸入設(shè)備-穿孔紙帶（指令帶）正式出現(xiàn)，將程序和數(shù)據(jù)轉(zhuǎn)換二進制數(shù)碼：帶孔為1，無孔為0，經(jīng)過光電掃描輸入電腦；1915年，電傳打字機問世，實現(xiàn)了鍵盤直接輸出電信號，進而控制計算機相關(guān)操作；1964年，第一臺鼠標問世，圖形化界面的主要交互設(shè)備就以此誕生；觸摸屏以及語音識別系統(tǒng)等也相繼于1971年和1987年誕生，為人與計算機交互的發(fā)展奠定了重要基礎(chǔ)。

隨著計算機技術(shù)的發(fā)展，人與計算機交互的圖形界面也在同步演進，經(jīng)歷了穿孔紙帶批處理交互（也稱無交互）、CLI（Command Line Interface）交互、GUI（Graphical User Interface）交互以及NUI（Natural User Interface）交互等階段。其中，最初的穿孔紙帶批處理交互方式容易出現(xiàn)問題，有較大的錯誤成本，且效率低下；CLI交互，用戶在計算機上以文本形式輸入命令，但要求交互的使用者具有一定的專業(yè)能力，有一定的使用門檻；GUI交互，用戶通過指示系統(tǒng)（例如鼠標）操縱界面，但隨著時代的發(fā)展和人們對交互方式的新需求不斷增多，GUI交互已經(jīng)略顯疲態(tài)；NUI交互，用戶重用現(xiàn)有自然交互技能直接與內(nèi)容進行交互，例如智能手機、觸屏、觸摸、拖拽或者手勢等等，其交互方式是人本身就具備的技能，讓機器或者讓產(chǎn)品能夠去理解人已經(jīng)具備的技能，從而以人為中心來進行交互。

未來整個交互又有沒有可能產(chǎn)生一些新的變化以及出現(xiàn)一些新的交互模式呢？答案是肯定的。

計算機和交互方式的發(fā)展歷史從“以機器為中心”到“以人為中心”。以機器為中心即人與機器產(chǎn)生的所有的交互行為均通過指令下達的方式，機器依據(jù)指令理解人的意圖；以人為中心即機器需要主動的去感知和理解人到底想要去做什么樣的交互，并主動發(fā)生交互行為。因此，人是產(chǎn)品概念設(shè)計的核心和關(guān)鍵，實現(xiàn)產(chǎn)品設(shè)計交互最重要的是對用戶設(shè)計行為、意圖和認知習慣的提取和分析。

02?

從交互到互聯(lián)和智能

2.1??

新交互方式

跨設(shè)備分布式交互

在常見的交互方式中，每個設(shè)備都成為一座孤島，相互獨立運作。通過跨設(shè)備的分布式交互可以構(gòu)建起不同設(shè)備的溝通協(xié)作，避免不同的設(shè)備重復干同樣的事情。在跨設(shè)備交互時，設(shè)備間狀態(tài)與數(shù)據(jù)的連續(xù)性和一致性至關(guān)重要?？缭O(shè)備分布式交互，通常通過高效協(xié)同的異構(gòu)組網(wǎng)與分布式架構(gòu)設(shè)計，提供高效融合的通信鏈路與數(shù)據(jù)處理，實現(xiàn)跨設(shè)備軟硬件資源共享與分布式交互，以支持分布式多端協(xié)同與跨端遷移等交互模式，從而實現(xiàn)多智能終端相互融合協(xié)同，打造體系性的智能人機協(xié)同系統(tǒng)。其中多端協(xié)同以分布式數(shù)據(jù)鏈路與管理服務(wù)為支撐，建立跨設(shè)備的連接通路，在連接通道上傳遞狀態(tài)和數(shù)據(jù)，以進行業(yè)務(wù)協(xié)同并實時感知連接狀態(tài)變化。

跨端遷移基于分布式任務(wù)管理將數(shù)據(jù)傳遞到目標端，拆包數(shù)據(jù)并恢復系統(tǒng)狀態(tài)，從而實現(xiàn)數(shù)據(jù)與業(yè)務(wù)流轉(zhuǎn)。同時系統(tǒng)會通過分布式窗口管理能力保證體驗的一致性，實現(xiàn)跨端無縫顯示效果，并通過硬件資源池化與自動跟隨方式，實現(xiàn)硬件平臺的分布式狀態(tài)同步。系統(tǒng)通過將超級終端上所有設(shè)備硬件進行虛擬化，以使得任何一個設(shè)備都能夠使用所有超級終端設(shè)備內(nèi)的硬件，并非與某個特性硬件相綁定的虛擬句柄，由系統(tǒng)中的遷移決策模塊實現(xiàn)硬件資源的分布式共享與遷移，從而保障了分布式人機協(xié)同體驗的流暢性與一致性。

沉浸式無感交互

從人機的進化角度來看，未來的體驗將會是“沒有交互”或者是“無感體驗”，交互設(shè)計也不斷進化到新的應(yīng)用領(lǐng)域，未來無感交互體驗將會給交互設(shè)計帶來新契機，實現(xiàn)交互體驗的無感化升級。

無感交互強調(diào)交互過程以人為中心并立足于用戶自身的視野與體驗，建立產(chǎn)品設(shè)計情境模型，捕捉用戶設(shè)計過程中的環(huán)境信息，實時更新自動切換，最大程度提升系統(tǒng)對設(shè)計意圖的主動感知能力，弱化用戶對系統(tǒng)的感知需求，實現(xiàn)一種智能無感交互過程。未來的人機交互將趨同于 “感知”, 計算機的主要交互行為將變成感知行為、感知自然現(xiàn)象、感知人的現(xiàn)象、感知人類行為，從而實現(xiàn)為人類服務(wù)。

多模態(tài)情境感知交互

隨著計算機信息技術(shù)的不斷發(fā)展，雙向交互方式從早期的鼠標、鍵盤等單模態(tài)信息輸入，逐步向語音、圖像、行為等多模態(tài)智能交互方式發(fā)展。情境感知交互是利用設(shè)備各種傳感器來識別和推測用戶意圖，從而做出最合理的交互決策和推薦。多模態(tài)交互結(jié)合單一模態(tài)的優(yōu)點,充分發(fā)揮了人們對各個感知通道傳達信息的高度接收與處理能力,增強用戶對交互行為的理解,提高對大數(shù)據(jù)可視化的探索與分析效率。當前這種多模態(tài)交互中，主要包含很多基于AI的智能交互方式。

2.2??

智能交互產(chǎn)業(yè)進展

智能座艙

智能座艙是一個交互非常有趣的環(huán)境。1910年，汽車座艙里的交互方式以按鈕-觸覺的形式，通過全按鈕的方式進行汽車操控；1963年，座艙里出現(xiàn)了屏幕顯示，人能夠通過屏幕-視覺的形式進行汽車操控；2002年，語言命令的引入使人能夠通過語言-聽覺的形式進行汽車操控；至今，以綜合感知、場景智能為主的智能座艙正在逐步改變?nèi)藗儾倏仄嚨慕换バ问健Ｖ悄茏摰某霈F(xiàn)，不單單提高了人們操控汽車的體驗和效率，也能夠在一定程度上提升駕駛安全。

下一代的智能座艙，將繼續(xù)往個性化、高情商的主動交互設(shè)備發(fā)展，提供更簡單、更便攜、更多模態(tài)感知、決策更主動、交互更人性化的汽車操控體驗。

智能手機

與汽車座艙的人機交互發(fā)展趨勢類似，手機經(jīng)歷了自1973年起的全按鍵交互類型，到觸屏、手勢、語言命令和綜合感知的智能化交互。在智能手機不斷滿足人們交互需求的同時，科技的發(fā)展也影響人類本身的生活、交付等習慣。

03?

智能交互下的技術(shù)核心

AI——智能化體驗的關(guān)鍵技術(shù)支持

AI（人工智能技術(shù)）包括機器學習、深度學習、自然語言處理、計算機視覺等多種技術(shù)，通過AI可以讓計算機像人一樣進行思考、學習、推理和決策。目前，AI已經(jīng)廣泛應(yīng)用于各個領(lǐng)域，如智能家居、智能醫(yī)療、智能交通、智能制造等，為人們的生活和工作帶來了很多便利和效率提升。

同時，AI也是智能化體驗的關(guān)鍵技術(shù)支持。例如，如何分析獲取到的感知數(shù)據(jù)或由其加工獲得的更高層次的信息，對于完成預定的行為或動作有直接的、重要的意義，這就需要通過AI對這些數(shù)據(jù)和信息進行決策處理，以對感興趣的實體環(huán)境有一個中肯的了解或理解，并對感興趣的實體或事件最終做出“是什么”的結(jié)論。

分布式——操作系統(tǒng)的基礎(chǔ)核心能力底座

分布式是指將一個系統(tǒng)或應(yīng)用程序分散到多個計算機或服務(wù)器上，使得每個計算機或服務(wù)器都可以獨立地運行一部分系統(tǒng)或應(yīng)用程序，并且這些計算機或服務(wù)器之間可以相互通信和協(xié)作，共同完成整個系統(tǒng)或應(yīng)用程序的功能。分布式系統(tǒng)可以提高系統(tǒng)的可靠性、可擴展性和性能，并且可以更好地應(yīng)對大規(guī)模數(shù)據(jù)處理和高并發(fā)訪問的需求。

基于多模態(tài)感知的智能交互場景需要從多種傳感器及時獲取信息進行處理，這些傳感器分布于不同的物理空間且沒有線纜連接?；诙嗄B(tài)感知的智能交互場景需要實現(xiàn)復雜的模糊計算甚至大量AI的參與，因此會帶來龐大的計算量。而終端設(shè)備和物聯(lián)網(wǎng)設(shè)備的計算能力顯著不足。如何通過分布式技術(shù)在設(shè)備上實現(xiàn)高性能任務(wù)處理是實現(xiàn)智能交互能力的重要問題。

04?

OpenHarmony與交互的未來

基于OpenHarmony的system-subsystem-part-module體系結(jié)構(gòu)：分布式軟總線是OpenHarmony的一個部件（part），屬于OpenHarmony分布式子系統(tǒng)（subsystem）。分布式軟總線是OpenHarmony多種分布式場景實現(xiàn)的底層基礎(chǔ)。通過分布式軟總線，OpenHarmony能夠?qū)崿F(xiàn)分布式的設(shè)備管理、分布式數(shù)據(jù)管理、分布式任務(wù)調(diào)度等能力，通過不同的組合搭配，能夠向上層提供特定的能力支持，使開發(fā)者不需要考慮多個設(shè)備之間如何互聯(lián)，就可以在單個設(shè)備的開發(fā)模式下開發(fā)分布式場景下的復雜交互應(yīng)用。

未來人機交互界面的發(fā)展，應(yīng)該是基于現(xiàn)實的交互 (reality-based interaction，RBI)。RBI是對未來人機交互方式的概括, 如自然用戶界面、虛擬現(xiàn)實技術(shù)、增強現(xiàn)實技術(shù)、上下文感知計算、手持或移動交互、感知和情感計算、語音交互及多模態(tài)界面。RBI強調(diào)利用用戶的已有知識和技能, 不需要額外學習太多新的知識，從不同層面來對新的交互模式進行描述, 包括人們對基本常識的理解、對自身肢體動作的理解、對環(huán)境的理解, 以及對其他人的理解，并基于這4個層面建立了基于現(xiàn)實的感知框架。

05?

總結(jié)

未來，鄭森文研究員所在團隊將繼續(xù)在一站式可定制智能交互支撐框架，快速通信建立，無感式主動服務(wù)，基于語音、圖像、行為等AI多模態(tài)人機交互模式等方向探索OpenHarmony互聯(lián)與交互相關(guān)技術(shù)，也歡迎感興趣的開發(fā)者參與進來，共同為OpenHarmony技術(shù)生態(tài)貢獻智慧。

E N D

點擊下方閱讀原文獲取演講PPT。

關(guān)注我們，獲取更多精彩。