虹膜追蹤(Iris tracking) 可廣泛應(yīng)用于多個(gè)領(lǐng)域，如輔助技術(shù)中的免觸摸界面，以及了解除點(diǎn)擊和手勢(shì)以外的用戶(hù)行為。虹膜追蹤同時(shí)也是一項(xiàng)具有挑戰(zhàn)性的計(jì)算機(jī)視覺(jué)問(wèn)題。眼睛在環(huán)境光照條件不同時(shí)會(huì)經(jīng)常變化，且眼睛經(jīng)常會(huì)被遮擋住，而當(dāng)觀察對(duì)象轉(zhuǎn)動(dòng)頭部或做不同的表情時(shí)，其眼睛形狀也可能隨之變化。現(xiàn)有的解決方法非常依賴(lài)專(zhuān)用硬件，通常需要使用昂貴的頭戴式設(shè)備或遠(yuǎn)程的眼動(dòng)追蹤器系統(tǒng)。這些方法并不適合計(jì)算資源有限的移動(dòng)設(shè)備。

實(shí)現(xiàn)眼球重新著色的示例

今年 3 月，我們宣布推出了一個(gè)可在瀏覽器中檢測(cè)面部特征點(diǎn)的新軟件包。今天，我們很高興可以通過(guò) TensorFlow.js 面部特征點(diǎn)檢測(cè)模型將虹膜追蹤添加到此軟件包中。而這要?dú)w功于 MediaPipe Iris 模型。我們已棄用原來(lái)的 Facemesh 模型，因此我們之后將為面部特征點(diǎn)檢測(cè)模型提供更新。

TensorFlow.js 面部特征點(diǎn)檢測(cè)模型
https://www.npmjs.com/package/@tensorflow-models/face-landmarks-detection

MediaPipe Iris 模型
https://google.github.io/mediapipe/solutions/iris

原來(lái)的 Facemesh 模型
https://www.npmjs.com/package/@tensorflow-models/facemesh

請(qǐng)注意，虹膜追蹤不會(huì)推斷人們正在注視的位置，也不會(huì)提供任何形式的身份識(shí)別。在我們模型的文檔和隨附的模型卡中，我們?cè)斒隽四Ｐ偷念A(yù)期用途、限制和公平性屬性（與 Google 的 AI 原則保持一致）。

Google 的 AI 原則
https://www.blog.google/technology/ai/ai-principles/

MediaPipe Iris 模型能夠使用單個(gè) RGB 攝像頭實(shí)時(shí)追蹤涉及虹膜和瞳孔的特征點(diǎn)，而無(wú)需借助專(zhuān)用硬件。模型還能返回眼瞼和眉毛區(qū)域的特征點(diǎn)，實(shí)現(xiàn)對(duì)眨眼等輕微眼球運(yùn)動(dòng)的檢測(cè)（立即在瀏覽器中嘗鮮）。

嘗鮮

https://storage.googleapis.com/tfjs-models/demos/face-landmarks-detection/index.html

faceLandmarksDetection簡(jiǎn)介

熟悉我們現(xiàn)有 Facemesh 模型的用戶(hù)，只需更改少量的代碼，就可以升級(jí)到新的 faceLandmarksDetection 模型，詳細(xì)的操作說(shuō)明將在下方列出。faceLandmarksDetection 對(duì) Facemesh 進(jìn)行了三項(xiàng)重大改進(jìn)：

虹膜關(guān)鍵點(diǎn)檢測(cè)

改進(jìn)了對(duì)眼瞼輪廓的檢測(cè)

改進(jìn)了對(duì)轉(zhuǎn)動(dòng)的面部的檢測(cè)

我們?cè)谏戏降?GIF 中突出顯示了這些改進(jìn)，該 GIF 展示了對(duì)于同一個(gè)圖像序列，faceLandmarksDetection 和 Facemesh 所返回的特征點(diǎn)有何不同。

安裝

faceLandmarksDetection 軟件包有兩種安裝方法：

1. 通過(guò)腳本標(biāo)記：

2. 通過(guò) NPM（使用 yarn(https://yarnpkg.com/) 軟件包管理工具）：

$ yarn add @tensorflow-models/face-landmarks-detection@0.0.1 $ yarn add @tensorflow/tfjs@2.6.0

用法

安裝軟件包后，您只需加載模型權(quán)重，然后輸入圖像即可開(kāi)始檢測(cè)面部特征點(diǎn)：

// 如果您使用 NPM，需請(qǐng)求加載模型。如果您使用腳本標(biāo)簽，您可以跳過(guò)此步驟，因?yàn)?faceLandmarksDetection 在全局范圍內(nèi)已經(jīng)可用 const faceLandmarksDetection = require('@tensorflow-models/face-landmarks-detection'); // 加載 faceLandmarksDetection 模型 const model = await faceLandmarksDetection.load( faceLandmarksDetection.SupportedPackages.mediapipeFacemesh); // 將視頻流輸入模型，并從 MediaPipe 計(jì)算圖中獲取真檢測(cè)到的面部數(shù)組。 // 對(duì)于 Node 用戶(hù)，estimateFaces API 還接受 tf.Tensor3D 或 ImageData 對(duì)象。 const video = document.querySelector("video"); const faces = await model.estimateFaces({ input: video });

對(duì) estimateFaces 的輸入可以是視頻、靜態(tài)圖像、“tf.Tensor3D”函數(shù)，甚至是供 node.js 管道使用的 ImageData 對(duì)象。FaceLandmarksDetection 隨后會(huì)為輸入的面部返回一組預(yù)測(cè)對(duì)象，其中包括每個(gè)面部的相關(guān)信息（例如，置信度得分和面部 478 個(gè)特征點(diǎn)的位置）。

tf.Tensor3D
https://js.tensorflow.org/api/latest/#tensor3d

ImageData
https://developer.mozilla.org/en-US/docs/Web/API/ImageData

以下是預(yù)測(cè)對(duì)象示例：

{ faceInViewConfidence: 1, boundingBox: { topLeft: [232.28, 145.26], // [x, y] bottomRight: [449.75, 308.36], }, mesh: [ [92.07, 119.49, -17.54], // [x, y, z] [91.97, 102.52, -30.54], ... ], // 每個(gè)面部特征值在輸入空間中的 x,y,z 位置 scaledMesh: [ [322.32, 297.58, -17.54], [322.18, 263.95, -30.54] ], // x,y,z 位置的語(yǔ)意分組 annotations: { silhouette: [ [326.19, 124.72, -3.82], [351.06, 126.30, -3.00], ... ], ... } }

請(qǐng)參閱我們的 README，了解更多有關(guān)此 API 的詳情。

README
https://github.com/tensorflow/tfjs-models/tree/master/face-landmarks-detection

性能

FaceLandmarksDetection 是輕量級(jí)軟件包，其占用空間僅有 3MB 左右，因此非常適合用于在各種移動(dòng)設(shè)備上執(zhí)行實(shí)時(shí)推理。在測(cè)試時(shí)，請(qǐng)注意 TensorFlow.js 還會(huì)提供幾種不同的后端供您選擇，包括 WebGL 和帶 XNNPACK 的 WebAssembly (WASM)，可在搭載低端 GPU 的設(shè)備上使用。下表顯示的是該軟件包在幾種不同的設(shè)備和 TensorFlow.js 后端中的表現(xiàn)：

桌面設(shè)備：

移動(dòng)設(shè)備：

XNNPACK
https://github.com/google/XNNPACK

所有基準(zhǔn)測(cè)試結(jié)果均收集自 Chrome 瀏覽器。如需詳細(xì)了解如何為 TF.js WebAssembly 后端激活 SIMD，請(qǐng)參閱這篇文章。

展望

TensorFlow.js 和 MediaPipe 團(tuán)隊(duì)都計(jì)劃利用經(jīng)過(guò)改進(jìn)的虹膜坐標(biāo)，為我們的面部特征點(diǎn)檢測(cè)解決方案添加深度預(yù)測(cè)功能。我們堅(jiān)信分享代碼可以實(shí)現(xiàn)研究重現(xiàn)、快速實(shí)驗(yàn)，并期待看到 MediaPipe Iris 模型在社區(qū)中得到更廣泛的使用。

快來(lái)嘗鮮！

通過(guò)此鏈接在您的網(wǎng)絡(luò)瀏覽器中試用我們的新軟件包。我們期待看到您在自己的應(yīng)用中使用此模型。

此鏈接
https://storage.googleapis.com/tfjs-models/demos/face-landmarks-detection/index.html

更多信息

點(diǎn)擊此處以詳細(xì)了解 MediaPipe Iris 模型：MediaPipe Iris

MediaPipe Iris
https://google.github.io/mediapipe/solutions/iris.html

了解模型的預(yù)期用途、限制和公平性屬性：模型卡

模型卡
https://mediapipe.page.link/iris-mc

閱讀我們宣布推出 MediaPipe Iris 的原始 Google AI 文章：推出 MediaPipe Iris: 不受限的虹膜跟蹤和深度估

閱讀我們?cè)?arXiv 上發(fā)表的論文：《用于數(shù)字木偶的單目視頻實(shí)時(shí)瞳孔追蹤》Z(Real-time Pupil Tracking from Monocular Video for Digital Puppetry)

用于數(shù)字木偶的單目視頻實(shí)時(shí)瞳孔追蹤
https://arxiv.org/abs/2006.11341

責(zé)任編輯：xj

原文標(biāo)題：推出 MediaPipe Iris，升級(jí)瀏覽器中的虹膜追蹤模型！

文章出處：【微信公眾號(hào)：TensorFlow】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。