物聯(lián)網(wǎng)是物理對(duì)象與虛擬再現(xiàn)和服務(wù)的結(jié)合。增強(qiáng)現(xiàn)實(shí)通過將有關(guān)智能對(duì)象和服務(wù)的虛擬信息疊加到用戶對(duì)現(xiàn)實(shí)世界的看法上，為物聯(lián)網(wǎng)應(yīng)用程序提供了一個(gè)理想的界面。這允許用戶與物理對(duì)象交互，并接收關(guān)于該對(duì)象的附加上下文感知信息，如大小、速度和溫度，以及關(guān)于附近對(duì)象的信息。然而,用戶不必直接與物理對(duì)象或傳感器作為增強(qiáng)現(xiàn)實(shí)交互可以是一個(gè)有效的方法提供額外的物聯(lián)網(wǎng)信息服務(wù)的環(huán)境中,如服務(wù)的QoS屬性或其他用戶提供的評(píng)級(jí)在之前調(diào)用。

物聯(lián)網(wǎng)(IoT)技術(shù)的發(fā)展使得通過一系列通信工具將各種智能設(shè)備連接在一起成為可能。聯(lián)網(wǎng)設(shè)備的數(shù)量預(yù)計(jì)將以指數(shù)級(jí)速度增長，預(yù)計(jì)到2020年將有大約260億部聯(lián)網(wǎng)設(shè)備。這些設(shè)備將帶來多種多樣的服務(wù)，如監(jiān)控傳感器、監(jiān)控?cái)z像頭和交流器等。這些設(shè)備提供的服務(wù)的管理被認(rèn)為是未來技術(shù)最重要的領(lǐng)域之一，并獲得了包括交通、醫(yī)療和應(yīng)急響應(yīng)等多個(gè)不同領(lǐng)域的研究機(jī)構(gòu)和行業(yè)的廣泛關(guān)注。

服務(wù)提供者和消費(fèi)者都需要能夠以一種上下文感知的方式參與物聯(lián)網(wǎng)應(yīng)用程序，根據(jù)環(huán)境和用戶上下文進(jìn)行感知和反應(yīng)。增強(qiáng)現(xiàn)實(shí)(AR)為物聯(lián)網(wǎng)提供了一個(gè)直觀的界面，因?yàn)樗试S上下文以及在現(xiàn)實(shí)世界中疊加虛擬信息，例如在認(rèn)知建筑[4]中。服務(wù)使用者可以以可視的方式與建議的附近服務(wù)進(jìn)行自然交互，這些服務(wù)由面向上下文的中間件處理。服務(wù)提供商可以通過顯示設(shè)備提供的服務(wù)的關(guān)鍵QoS指標(biāo)(如響應(yīng)時(shí)間和吞吐量)，使用AR調(diào)試和修復(fù)故障的IoT設(shè)備。與設(shè)備相關(guān)的指標(biāo)，如設(shè)備的溫度、CPU和內(nèi)存使用情況，也可以顯示出來。該設(shè)備的內(nèi)部組件可以連接對(duì)象，這將允許現(xiàn)場操作員看到修復(fù)故障的物聯(lián)網(wǎng)設(shè)備內(nèi)部組件的具體可視化。這樣便于維修和恢復(fù)到合適的操作性能。

基于應(yīng)用的敏感性和關(guān)鍵度，物聯(lián)網(wǎng)應(yīng)用可以應(yīng)用于具有不同QoS要求的領(lǐng)域。物聯(lián)網(wǎng)應(yīng)用的QoS通常可分為最佳努力(無QoS)、差異化服務(wù)(軟QoS)和保證服務(wù)(硬QoS)[6]。在硬QoS情況下，有嚴(yán)格的硬實(shí)時(shí)QoS保證。這適用于安全標(biāo)準(zhǔn)的應(yīng)用，例如在醫(yī)院中監(jiān)控病人或在自動(dòng)駕駛汽車系統(tǒng)中避免碰撞。軟QoS不需要硬實(shí)時(shí)保證，但需要能夠重新配置和替換失敗的服務(wù)。這可能是一個(gè)路由應(yīng)用程序，它利用空氣質(zhì)量、洪水和行人流量預(yù)測，提供穿過城市的最佳路線。如果其中一個(gè)服務(wù)即將失敗，應(yīng)該使用合適的替代服務(wù)重新組合應(yīng)用程序。最后一種情況是盡最大努力，當(dāng)服務(wù)失敗時(shí)，例如測量室內(nèi)溫度的簡單原子服務(wù)，就沒有保證了。因?yàn)橛睶oS和軟QoS可以提供一種直觀的方式來警告用戶某個(gè)服務(wù)可能即將失敗，他們可能需要重新控制，尤其是在自動(dòng)駕駛汽車場景中。利用LSTM網(wǎng)絡(luò)可以實(shí)現(xiàn)對(duì)物聯(lián)網(wǎng)服務(wù)故障的預(yù)測。

AR應(yīng)用于IoT

AR在近年來發(fā)展迅速，有一系列的商業(yè)軟件和硬件可以創(chuàng)造AR體驗(yàn)。今天，在消費(fèi)者層面上有各種各樣的api，它們使得大多數(shù)利用智能手機(jī)或平板電腦等移動(dòng)技術(shù)來創(chuàng)建增強(qiáng)現(xiàn)實(shí)體驗(yàn)成為可能。蘋果最近發(fā)布了ARKit，允許在不了解其技術(shù)的情況下構(gòu)建AR環(huán)境。我們?cè)谘菔局惺褂玫牧硪粋€(gè)示例是用于Unity的Vuforia開發(fā)人員庫，其中包括谷歌的ARCore，它允許所有現(xiàn)代android設(shè)備上的AR應(yīng)用程序。這將允許更多的設(shè)備通過AR接口與物聯(lián)網(wǎng)服務(wù)進(jìn)行交互，并鼓勵(lì)開發(fā)人員創(chuàng)建基于AR的物聯(lián)網(wǎng)應(yīng)用程序。

隨著智能手機(jī)的廣泛普及，以及蘋果和谷歌發(fā)布的新api，我們預(yù)計(jì)未來幾年移動(dòng)增強(qiáng)現(xiàn)實(shí)將會(huì)增加。移動(dòng)電話作為增強(qiáng)現(xiàn)實(shí)視鏡的使用將是允許應(yīng)用程序開發(fā)和評(píng)估增強(qiáng)現(xiàn)實(shí)在物聯(lián)網(wǎng)中的有效性的必要步驟。在此之后的過渡可以是一些替代的頭戴顯示器，如谷歌玻璃，微軟Hololens或Magic Leap Lightwear。這些頭戴式顯示器允許與物聯(lián)網(wǎng)服務(wù)和對(duì)象進(jìn)行無手交互，這將有助于現(xiàn)場技術(shù)人員與設(shè)備進(jìn)行交互，并查看顯示需要更換哪些連接組件以修復(fù)智能設(shè)備的可視化圖像。

考慮到AR和物聯(lián)網(wǎng)的巨大潛力，以及在每種技術(shù)上投入的大量研究，這兩個(gè)組件的集成仍處于早期階段。大多數(shù)當(dāng)前的方法顯示對(duì)象的特征，而沒有考慮其他上下文，如用戶偏好、附近的對(duì)象/位置、時(shí)間、天氣等。一些建議，例如一個(gè)感知的程序，使用上下文接口服務(wù)器來推斷用戶的高級(jí)上下文，從而改變信息顯示給用戶的方式。然而，智能澆水設(shè)備的應(yīng)用過于簡單，只需要本地傳感器信息，而推理的中央服務(wù)器不考慮物聯(lián)網(wǎng)作為智能對(duì)象的愿景。在我們的演示中，我們展示了結(jié)合來自傳統(tǒng)web服務(wù)和物聯(lián)網(wǎng)服務(wù)的動(dòng)態(tài)和異構(gòu)服務(wù)的更高級(jí)的示例，并使用額外的上下文信息來提供直觀的應(yīng)用程序。最近的一些工作，如ARIoT，提供了一個(gè)可伸縮的AR框架，用于與物聯(lián)網(wǎng)設(shè)備交互，但重點(diǎn)關(guān)注目標(biāo)對(duì)象，而不是通過連接對(duì)象派生上下文。其他方法，如Second Surface，用戶可以通過中的遠(yuǎn)程服務(wù)器創(chuàng)建、標(biāo)記和共享日常對(duì)象周圍的數(shù)據(jù)。

上下文感知中間件

下圖顯示了一個(gè)上下文感知的面向服務(wù)的中間件，它可以在圖1b的深層邊緣架構(gòu)上實(shí)現(xiàn)，以管理城市中的物聯(lián)網(wǎng)服務(wù)的注冊(cè)、執(zhí)行和上下文。中間件以一種分布式的方式跨每個(gè)通道管理環(huán)境中的用戶上下文。當(dāng)用戶請(qǐng)求應(yīng)用程序時(shí)，中間件首先在請(qǐng)求處理程序上接收用戶請(qǐng)求，該處理程序與用戶建立請(qǐng)求/響應(yīng)通信通道，并將請(qǐng)求轉(zhuǎn)發(fā)給上下文管理器。上下文管理器負(fù)責(zé)獲取和維護(hù)關(guān)于服務(wù)和環(huán)境的元數(shù)據(jù)，以支持智能服務(wù)管理。元數(shù)據(jù)包括服務(wù)屬性(例如，位置、類型、域等)、QoS屬性(例如，響應(yīng)時(shí)間、能耗等)、城市環(huán)境(例如，地點(diǎn)及其在城市中的含義、興趣點(diǎn)等)和用戶偏好(例如，用戶反饋、QoS體驗(yàn)、用戶行為等)。服務(wù)屬性和QoS屬性是從提供者和監(jiān)控過程中獲取的。此數(shù)據(jù)作為服務(wù)描述的一部分存儲(chǔ)。城市環(huán)境是從開放街道地圖(OSM)中獲得的，并使用OWL格式的本體進(jìn)行形式化。用戶首選項(xiàng)是在發(fā)現(xiàn)和組合過程中獲得的。該數(shù)據(jù)作為獨(dú)立的JSON文檔存儲(chǔ)在service registry中。

lw