盡管早期的消費(fèi)型智能眼鏡也嘗試過(guò)使用觸控板和手持或可穿戴控制器用于信息輸入，但實(shí)際上HoloLens 2的手勢(shì)控制界面和Magic Leap One代表著智能眼鏡輸入的未來(lái)。

谷歌的研究部門(mén)開(kāi)發(fā)了一種新的機(jī)器學(xué)習(xí)模型，可以在輕量智能眼鏡中實(shí)現(xiàn)高端AR系統(tǒng)中的復(fù)雜手勢(shì)控制，無(wú)需額外的體積或者深度感測(cè)和運(yùn)動(dòng)傳感器的成本。

本周，谷歌人工智能團(tuán)隊(duì)公布了手掌/手指追蹤的最新方法。新方法使用了開(kāi)源、跨平臺(tái)的MediaPipe框架，在移動(dòng)設(shè)備上（而不是在云端）即時(shí)處理視頻，通過(guò)機(jī)器學(xué)習(xí)模型映射多達(dá)21個(gè)手部和手指點(diǎn)。

“我們希望向更廣泛的研究和開(kāi)發(fā)團(tuán)隊(duì)提供這種手感功能，帶來(lái)更多創(chuàng)造性案例，刺激新的應(yīng)用程序和研究途徑的產(chǎn)生，”谷歌團(tuán)隊(duì)在一篇詳博客文章中寫(xiě)道。

手掌/手指追蹤方法實(shí)際上把任務(wù)劃分成為三個(gè)機(jī)器學(xué)習(xí)模型。谷歌的研究人員沒(méi)有使用機(jī)器學(xué)習(xí)模型來(lái)識(shí)別手掌本身，而是用的手掌檢測(cè)算法，平均準(zhǔn)確率接近96%。

檢測(cè)到手掌后，另一個(gè)機(jī)器學(xué)習(xí)模型識(shí)別出了相機(jī)視圖中手掌的21個(gè)關(guān)節(jié)坐標(biāo)點(diǎn)。第三種算法通過(guò)記錄每個(gè)手指的手勢(shì)，與預(yù)定義的手勢(shì)進(jìn)行匹配，學(xué)習(xí)模型支持分辨計(jì)數(shù)和其他各種手勢(shì)。

換句話說(shuō)，這種機(jī)器學(xué)習(xí)方法可以直接應(yīng)用在Android或iOS設(shè)備上，無(wú)需專門(mén)的運(yùn)動(dòng)或深度傳感器。谷歌團(tuán)隊(duì)還在研發(fā)開(kāi)放源代碼方式的模型，以便其他開(kāi)發(fā)人員和研究人員使用。團(tuán)隊(duì)的計(jì)劃也會(huì)不斷提高機(jī)器學(xué)習(xí)模型的準(zhǔn)確性和性能。

在不久的將來(lái)，這款手控跟蹤系統(tǒng)將幫助開(kāi)發(fā)者打造類似于Snapchat和Facebook的AR體驗(yàn)，將手控識(shí)別和跟蹤技術(shù)融入自拍中。

谷歌還可以利用這項(xiàng)技術(shù)與Pixel 4上的Soli雷達(dá)傳感器合作，打造一些獨(dú)特的AR體驗(yàn)，類似于iPhone X系列上的Animojis，后者把蘋(píng)果的ARKit和TrueDepth相機(jī)組合使用。

然而，通過(guò)這一進(jìn)步，我們更要思考機(jī)器學(xué)習(xí)方法可以給智能眼鏡帶來(lái)什么。硬件制造商不再使用運(yùn)動(dòng)深度傳感器，更接近HoloLens 2和Magic Leap One上的用戶輸入方法。

越來(lái)越多的科技公司需要人工智能來(lái)解決AR可穿戴設(shè)備在外形和功能方面的問(wèn)題。甚至微軟也在混合使用ARKit和ARcore的人工智能方法來(lái)檢測(cè)界面瑕疵，以更好地實(shí)現(xiàn)HoloLens 2的新場(chǎng)景理解能力。軟件應(yīng)該是研發(fā)智能眼鏡的關(guān)鍵。只能眼鏡足夠輕薄，可以每天佩戴，而不僅限于家里或辦公室區(qū)域。