介紹

　　在現(xiàn)代世界中，機(jī)器學(xué)習(xí)被用于各個(gè)領(lǐng)域：圖像分類(lèi)、消費(fèi)者需求預(yù)測(cè)、針對(duì)特定人群的電影和音樂(lè)推薦、聚類(lèi)。同時(shí)，對(duì)于相當(dāng)大的模型，結(jié)果計(jì)算（以及更大程度的模型訓(xùn)練）可能是一項(xiàng)資源密集型操作。

　　為了在最強(qiáng)大的設(shè)備以外的設(shè)備上使用經(jīng)過(guò)訓(xùn)練的模型，谷歌推出了其 TensorFlow Lite 框架。要使用它，您需要訓(xùn)練使用 TensorFlow 框架（不是 Lite?。?gòu)建的模型，然后將其轉(zhuǎn)換為 TensorFlow Lite 格式。之后，該模型可以很容易地在嵌入式或移動(dòng)設(shè)備上使用。

　　在本文中，我們將描述在 Android 上運(yùn)行模型的所有步驟。

　　模型的訓(xùn)練和遷移

　　例如，采用標(biāo)準(zhǔn) MobileNet 模型之一。培訓(xùn)將在一組圖片 ILSVRC-2012-CLS 上進(jìn)行。

　　為了訓(xùn)練，我們將在一個(gè)相當(dāng)強(qiáng)大的 Linux OS 機(jī)器上下載一組模型：

　　git 克隆https://github.com/tensorflow/models.git

　　根據(jù)網(wǎng)站https://docs.bazel.build/versions/master/install.html上的說(shuō)明安裝名為 Bazel的構(gòu)建系統(tǒng)。

　　啟動(dòng)模型訓(xùn)練：

　　bazel build -c opt mobilenet_v1_{eval，train}

　　。/bazel-bin/mobilenet_v1_train --dataset_dir 圖片集的路徑

　　--checkpoint_dir 檢查點(diǎn)的路徑

　　這些命令將執(zhí)行模型的訓(xùn)練并創(chuàng)建帶有 * .tflite 擴(kuò)展名的文件，以供 TensorFlow Lite 解釋器使用。

　　在更一般的情況下，如果需要使用使用 TensorFlow 框架描述的模型，那么在訓(xùn)練之后，應(yīng)該使用轉(zhuǎn)換器將其保存并轉(zhuǎn)換為 TensorFlow Lite 格式：https://www.tensorflow.org/lite /轉(zhuǎn)換/索引。在我們的例子中，這一步不是必需的。

　　安卓應(yīng)用

　　該應(yīng)用程序?qū)韵鹿δ埽?/p>

　　實(shí)時(shí)從相機(jī)捕獲圖像

　　使用 TensorFlow Lite 模型進(jìn)行圖像分類(lèi)

　　在屏幕上顯示分類(lèi)結(jié)果

　　來(lái)自https://github.com/tensorflow/examples/網(wǎng)站的“image_classification”示例的源代碼可用作此應(yīng)用程序的模板。

　　實(shí)時(shí)圖像捕捉

　　將使用“android.hardware.camera2”框架，從 Android 5 開(kāi)始可用。使用 CameraManager 系統(tǒng)服務(wù)，我們將通過(guò)實(shí)現(xiàn) OnImageAvailableListener 接口在 onImageAvailable 方法中訪問(wèn)相機(jī)并接收幀。

　　幀每秒會(huì)出現(xiàn)幾次，頻率取決于內(nèi)置攝像頭的硬件實(shí)現(xiàn)。為了清楚起見(jiàn)，我們還將通過(guò)將 TextureView 組件放置在尺寸與屏幕尺寸匹配的布局中，將從相機(jī)接收到的圖像顯示在屏幕上（除了 TextureView 底部的一小部分，我們將在其中放置信息關(guān)于對(duì)象分類(lèi)的結(jié)果）。為此，我們將此組件與相機(jī)的輸出相關(guān)聯(lián)。

　　在onImageAvailable方法中，我們會(huì)首先通過(guò)調(diào)用acquireLatestImage（）獲取最后一個(gè)可用幀?？赡軙?huì)出現(xiàn)幀分類(lèi)耗時(shí)較長(zhǎng)的情況，在此期間，相機(jī)可能會(huì)發(fā)出多幀。這就是為什么我們?nèi)∽詈笠粠^(guò)未處理的幀?？蚣懿捎?YUV420 格式。讓我們通過(guò)將 convertYUV420 調(diào)用到 ImageUtils 庫(kù)來(lái)將其轉(zhuǎn)換為 ARGB8888 格式。由于我們需要的格式是范圍從 -1 到 1 的單精度浮點(diǎn)數(shù)數(shù)組，因此我們也將執(zhí)行此轉(zhuǎn)換。

　　圖像分類(lèi)

　　在執(zhí)行分類(lèi)之前，在應(yīng)用程序執(zhí)行開(kāi)始時(shí)，需要從存儲(chǔ)在 Assets 目錄中的應(yīng)用程序本身的連線文件中加載模型。需要將“模型的訓(xùn)練與遷移”階段獲得的模型文件mobilenet_v1_1.0_224.tflite復(fù)制到該目錄，以及分類(lèi)對(duì)象的描述label.txt。

　　之后，將創(chuàng)建一個(gè) TensorFlow Lite 解釋器對(duì)象。模型作為構(gòu)造函數(shù)參數(shù)傳遞。

　　通過(guò)簡(jiǎn)單地調(diào)用解釋器的 run 方法來(lái)執(zhí)行分類(lèi)。該方法的第一個(gè)參數(shù)是一個(gè)可識(shí)別的幀，格式為浮點(diǎn)數(shù)數(shù)組，我們從相機(jī)中獲得。第二個(gè)參數(shù)是一個(gè)浮點(diǎn)數(shù)組。這些數(shù)組將填充模型的性能結(jié)果。在我們的例子中，結(jié)果是一個(gè)概率數(shù)組。索引為 i 的數(shù)組的每個(gè)元素是第 i 個(gè)對(duì)象在幀中的概率。

　　在屏幕上顯示分類(lèi)結(jié)果

　　讓我們?cè)谄聊簧巷@示最可能的對(duì)象的名稱，使用文件中預(yù)加載的對(duì)象名稱，名稱存儲(chǔ)在 Assets 中。在我們使用的模型中，名稱是英文的，但您可以通過(guò)更改文件 labels.txt 預(yù)先將它們翻譯成俄文。

　　或者，您不僅可以顯示最可能對(duì)象的名稱，還可以顯示 3-5 個(gè)最可能對(duì)象的列表以及相應(yīng)的概率。

　　結(jié)論

　　我們考慮了如何在 Android 操作系統(tǒng)中使用預(yù)訓(xùn)練的圖像分類(lèi)模型。此外，模型的使用也可以在嵌入式設(shè)備上使用，因?yàn)?TensorFlow Lite 解釋器還具有 C++ 接口并占用約 300 KB 的內(nèi)存。

　　審核編輯：郭婷