一、 多模輸入概述

多模輸入服務(wù)旨在支撐開發(fā)者面向用戶提供豐富多樣的人機(jī)交互方式，在持續(xù)完善支持傳統(tǒng)輸入的基礎(chǔ)上，多模輸入還會(huì)發(fā)揮 OpenAtom OpenHarmony（以下簡(jiǎn)稱“OpenHarmony”）的分布式優(yōu)勢(shì)，提升跨設(shè)備交互體驗(yàn)，面向新場(chǎng)景、新業(yè)務(wù)提供系統(tǒng)級(jí)支撐能力。 多模輸入 Input 部件是 OpenHarmony 系統(tǒng)級(jí)輸入事件管理框架；南向?qū)佣喾N輸入設(shè)備，匯聚多種輸入事件(按鍵、觸摸)，通過歸一/標(biāo)準(zhǔn)化處理后，分發(fā)給消費(fèi)者(系統(tǒng)服務(wù)、應(yīng)用)。 南向輸入設(shè)備對(duì)接包括多種類型的輸入設(shè)備，如：觸屏、鼠標(biāo)、鍵盤、觸摸板、遙控器。

二、輸入事件和設(shè)備狀態(tài)數(shù)據(jù)流介紹

首先，我們看下多模輸入體系架構(gòu)下的關(guān)鍵數(shù)據(jù)流程，方便深入了解用戶從發(fā)起一次交互請(qǐng)求，到系統(tǒng)、應(yīng)用給予一次交互響應(yīng)的全流程。

如下圖所示，包括兩類關(guān)鍵數(shù)據(jù)流：

●輸入設(shè)備狀態(tài)數(shù)據(jù)流：

輸入設(shè)備狀態(tài)數(shù)據(jù)描述輸入設(shè)備的狀態(tài)變化及其設(shè)備屬性信息，包括：設(shè)備插入、移除狀態(tài)、設(shè)備唯一標(biāo)識(shí)、設(shè)備名稱、設(shè)備支持的輸入方式等。

輸入設(shè)備狀態(tài)數(shù)據(jù)，經(jīng)過內(nèi)核設(shè)備驅(qū)動(dòng)上報(bào)給多模輸入服務(wù)端的輸入設(shè)備狀態(tài)管理模塊。在輸入設(shè)備管理模塊對(duì)全局輸入設(shè)備狀態(tài)進(jìn)行管理和維護(hù)，同時(shí)設(shè)備狀態(tài)會(huì)封裝為可監(jiān)聽接口提供給上層業(yè)務(wù)模塊用來監(jiān)聽系統(tǒng)輸入外設(shè)的狀態(tài)。 ●交互輸入事件數(shù)據(jù)流： 交互輸入事件數(shù)據(jù)用來描述鍵盤、鼠標(biāo)、觸摸屏輸入事件；鍵盤事件包括：按鍵碼、按鍵時(shí)間戳、按鍵所屬設(shè)備等信息；鼠標(biāo)事件包括：鼠標(biāo) X/Y 坐標(biāo)、鼠標(biāo)按鈕(如：鼠標(biāo)左|中|右)事件等；觸摸事件包括：時(shí)間戳、觸摸位置 X/Y 坐標(biāo)等。 輸入事件數(shù)據(jù)由設(shè)備驅(qū)動(dòng)上報(bào)給輸入事件接收模塊完成輸入事件從內(nèi)核空間到用戶空間的轉(zhuǎn)發(fā)，然后再給輸入事件預(yù)處理模塊完成輸入事件標(biāo)準(zhǔn)化處理(按鍵 KeyCode 映射標(biāo)準(zhǔn)化等)，最后由輸入事件分發(fā)模塊以系統(tǒng)預(yù)設(shè)分發(fā)機(jī)制和原則完成事件的分發(fā)。 參考以下數(shù)據(jù)流圖，我們可以很清晰地了解到在用戶通過輸入設(shè)備發(fā)起一次交互請(qǐng)求后，輸入事件上報(bào)和分發(fā)全流程。

圖1 輸入事件和設(shè)備狀態(tài)數(shù)據(jù)流圖 注：數(shù)據(jù)流圖箭頭示意說明 輸入事件分發(fā)模塊對(duì)于事件預(yù)處理說明： 1)輸入事件分發(fā)過程會(huì)優(yōu)先經(jīng)過輸入事件攔截模塊，當(dāng)有攔截器注冊(cè)時(shí)，輸入事件會(huì)終止繼續(xù)上報(bào)，相應(yīng)的攔截器會(huì)攔截所有輸入事件。該事件攔截特性當(dāng)前主要支持無(wú)障礙模式。 2)當(dāng)沒有攔截器注冊(cè)時(shí)，輸入事件會(huì)上報(bào)給輸入事件監(jiān)聽模塊，系統(tǒng)級(jí)應(yīng)用(如：系統(tǒng)設(shè)置、桌面)通過監(jiān)聽輸入事件，支持系統(tǒng)級(jí)特性(如：狀態(tài)欄隱藏/消失等)。 3)事件監(jiān)聽模塊對(duì)事件的監(jiān)聽不會(huì)阻斷事件繼續(xù)上報(bào)；支持事件監(jiān)聽的同時(shí)，輸入事件還會(huì)繼續(xù)上報(bào)。 4)對(duì)于按鍵事件會(huì)上報(bào)給訂閱按鍵分發(fā)模塊處理，分發(fā)給對(duì)應(yīng)的應(yīng)用處理，事件分發(fā)流程結(jié)束； 5)其他觸摸屏事件和鼠標(biāo)事件不會(huì)經(jīng)過訂閱按鍵分發(fā)模塊，會(huì)繼續(xù)上報(bào)給應(yīng)用窗口處理。

三、多模輸入事件分發(fā)原則

1. 鼠標(biāo)/觸摸屏事件分發(fā)原則

鼠標(biāo)/觸摸屏坐標(biāo)指向哪個(gè)目標(biāo)，輸入事件就分發(fā)給對(duì)應(yīng)的目標(biāo)。 鼠標(biāo)/觸摸屏事件分發(fā)特殊場(chǎng)景說明： 1)如沒有鼠標(biāo)上的按鈕按下，當(dāng)前鼠標(biāo)指向哪個(gè)目標(biāo)，鼠標(biāo)輸入事件就分發(fā)給坐標(biāo)鎖定的目標(biāo)。 2)如果有鼠標(biāo)上的按鈕按下，以第一個(gè)按鈕按下時(shí)刻鼠標(biāo)坐標(biāo)鎖定的目標(biāo)作為分發(fā)標(biāo)的，直到所有的按鈕都抬起。 3)觸摸屏輸入時(shí)，將第一個(gè)手指按下鎖定的目標(biāo)作為輸入事件分發(fā)標(biāo)的，直到所有的手指都抬起。

2. 按鍵事件分發(fā)原則

按鍵事件分發(fā)以當(dāng)前用戶可視界面中的焦點(diǎn)作為分發(fā)標(biāo)的，當(dāng)前界面焦點(diǎn)在哪個(gè)目標(biāo)上，按鍵事件就分發(fā)給對(duì)應(yīng)的標(biāo)的。

四、OpenHarmony 3.1版本新增接口說明

為了更好的支持上層應(yīng)用和系統(tǒng)服務(wù)實(shí)時(shí)檢測(cè)和處理輸入設(shè)備熱插拔狀態(tài)變更事件，在 OpenHarmony 3.1 版本新增開放了 JS API 接口，可支持通過 JS API 監(jiān)聽設(shè)備的熱插拔事件。同時(shí)提供通過注冊(cè)回調(diào)接口的方式獲取熱插拔輸入設(shè)備唯一標(biāo)識(shí)。輸入設(shè)備熱插拔監(jiān)聽接口與 inputDevice.getDevice 接口配合即可獲取熱插拔設(shè)備的詳細(xì)信息，包括：輸入設(shè)備名稱、設(shè)備支持的輸入類型(鍵盤|觸摸屏|鼠標(biāo)|游戲手柄)等。

1. 多模輸入子系統(tǒng)新增接口說明

輸入外設(shè)熱插拔監(jiān)聽接口： function on(type: "change", listener: Callback): void; 輸入外設(shè)取消監(jiān)聽接口： function off(type: “change”, listener?: CallbackDeviceListener): void;

2. 新增接口接口參數(shù)說明

【DeviceListener】

【ChangeType】

3. 輸入設(shè)備熱插拔接口應(yīng)用場(chǎng)景

軟鍵盤自適應(yīng)顯示：在文本編輯場(chǎng)景下，輸入法通過監(jiān)聽物理鍵盤輸入設(shè)備的熱插拔操作，可自適應(yīng)決策軟鍵盤是否顯示。當(dāng)有物理鍵盤設(shè)備時(shí)，軟鍵盤無(wú)需顯示，用戶輸入操作通過物理鍵盤完成輸入。當(dāng)無(wú)物理鍵盤時(shí)，輸入法彈出軟鍵盤，用戶通過軟鍵盤完成輸入操作。

4. 輸入設(shè)備熱插拔接口使用范例

對(duì)于鼠標(biāo)熱插拔監(jiān)聽接口有了初步的認(rèn)識(shí)后，讓我們來詳細(xì)了解下，在實(shí)際開發(fā)中如何使用輸入設(shè)備熱插拔接口： 1)首先導(dǎo)入模塊 import inputDevice from '@ohos.multimodalInput.inputDevice'; 2)通過監(jiān)聽接口實(shí)現(xiàn)輸入設(shè)備熱插拔事件監(jiān)聽：

// 輸入法在軟鍵盤顯示邏輯中通過訂閱物理鍵盤的狀態(tài)：插入/拔出// 根據(jù)isPhysicalkeyboardExist的值決定軟鍵盤是否彈出...let isPhysicalkeyboardExist = false;inputDevice.on("change", (callback) => { console.log("type: " + callback.type + ", deviceId: " + callback.deviceId); inputDevice.getDevice(callback.deviceId, (ret) => { console.log("The keyboard type of the device is: " + ret); if (ret == keyboard.ALPHABETIC_KEYBOARD && callback.type == 'add') { // 熱插拔設(shè)備為鍵盤 isPhysicalkeyboardExist = true; } else if (ret == keyboard.ALPHABETIC_KEYBOARD && callback.type == 'remove') { isPhysicalkeyboardExist = false; } });});...3)通過取消監(jiān)聽接口實(shí)現(xiàn)輸入設(shè)備熱插拔事件取消監(jiān)聽：
listener: function(data) { console.log("type: " + data.type + ", deviceId: " + data.deviceId);}// 單獨(dú)取消listener的監(jiān)聽。inputDevice.off("change", this.listener);// 取消所有監(jiān)聽inputDevice.off("change");//取消監(jiān)聽后，軟鍵盤默認(rèn)都彈出

注：取消熱插拔事件監(jiān)聽接口中，入?yún)istener可選；當(dāng)入?yún)istener代表取消特定監(jiān)聽回調(diào)。當(dāng)入?yún)⒉粠istener，代表取消所有監(jiān)聽回調(diào)。

通過上述介紹，相信大家對(duì) OpenHarmony 多模輸入子系統(tǒng)的輸入事件處理和分發(fā)機(jī)制有了一個(gè)全面的了解。同時(shí)我們也對(duì) OpenHarmony 3.1 版本新增的輸入設(shè)備熱插拔監(jiān)聽接口做了詳細(xì)的介紹，更多有關(guān)多模輸入子系統(tǒng)為開發(fā)者提供的 API 接口歡迎訪問 Gitee 詳細(xì)了解：

https://gitee.com/openharmony/docs/blob/master/zh-cn/application-dev/reference/apis/js-apis-inputdevice.md

相信大家在后續(xù)開發(fā)中有了上面這些基礎(chǔ)知識(shí)作為鋪墊，在后續(xù)開發(fā)中便可以更加游刃有余，開發(fā)出交互體驗(yàn)更好的應(yīng)用來。期待與廣大開發(fā)者一起共同構(gòu)建極致用戶體驗(yàn)。最后，期待諸位攜手一起共建，可在 OpenHarmony 社區(qū)(https://gitee.com/openharmony)一起交流探討。

審核編輯 ：李倩