一、 前言

臉部辨識(shí)是一個(gè)從影像或影片中識(shí)別人物的系統(tǒng)，此技術(shù)已經(jīng)存在幾十年，但在過(guò)去的幾年里，它的應(yīng)用越來(lái)越明顯和普及，因?yàn)樗F(xiàn)在為創(chuàng)新解決方案提供技術(shù)支援，像蘋果推出Face ID功能取代指紋辨識(shí)，讓消費(fèi)者也注意人臉辨識(shí)的應(yīng)用。

臉部辨識(shí)在許多應(yīng)用程式和行業(yè)垂直領(lǐng)域都很實(shí)用，在臉部上取出具有“辨別度”的特征值，相同的一個(gè)人在不圖裝扮、表情與視角的情境之下，還具有非常類似的特征值。相反地？？，對(duì)于不同人的臉部，特征值是不同的，必需很容易區(qū)別出來(lái)。在使用人工智能（AI）之前，使用特定算法：每個(gè)工程師必須開(kāi)不同的算法，使用不同的模型，去準(zhǔn)確達(dá)到臉部偵測(cè)、人臉特征值的擷取以達(dá)到臉部辨識(shí)效果。

二、硬體介紹

本方案推薦使用GreenWaves Technologies GAPuino開(kāi)發(fā)板搭配PixArt PAJ6100U6攝像頭模組，GAPuino使用SPI設(shè)定PAJ6100U6暫存器參數(shù)，透過(guò)CPI從PAJ6100U6取得圖像資料傳送至GAPuino，GAPuino進(jìn)行推論算法CNN或SSD，透過(guò)推論結(jié)果產(chǎn)生圖像歸類，例如人臉、貓及狗，當(dāng)推論結(jié)果辨識(shí)為人臉時(shí)，即可控制門鎖開(kāi)門或其他應(yīng)用。

GreenWaves Technologies GAPuino內(nèi)置GAP8芯片，GAP8是一款多核可編程超低功耗應(yīng)用處理器，旨在為物聯(lián)網(wǎng)邊緣端（傳感器端）提供新一代超低功耗應(yīng)用平臺(tái)，用于將圖像，聲音等復(fù)雜信息在本地即完成一些較復(fù)雜運(yùn)算，如卷積神經(jīng)網(wǎng)絡(luò)推理等。GAP8物聯(lián)網(wǎng)應(yīng)用處理器采用臺(tái)積電55nm超低功耗制程，以致于讓長(zhǎng)期依賴電池供電的邊緣設(shè)備可以智能化。GAP8采用八加一個(gè)基于RISC-V的高效內(nèi)核的方式設(shè)計(jì)，并植入了自己的擴(kuò)展指令集（DSP，向量化， SIMD，復(fù)數(shù)運(yùn)算等），這讓它擁有極致的能效架構(gòu)。

原相（PixArt）科技的always-on低功耗電腦視覺(jué)感測(cè)器 （Ultra-Low Power Computer Vision） 產(chǎn)品以獨(dú)特的省電架構(gòu)進(jìn)行開(kāi)發(fā)，PAJ6100U6 系由一個(gè)低功耗全域快門 QVGA （320x240） 感測(cè)器，以及一個(gè)具 90 度對(duì)角視野 （diagonal field of view） 的可回流焊光學(xué)鏡頭而組成。其可低至 1400uW （30fps QVGA） 的耗電功率，極低功耗下持續(xù)支援智慧觸發(fā)機(jī)制和視覺(jué)決策能力，對(duì)于須透過(guò)視覺(jué)來(lái)感知周遭環(huán)境的裝置，是不可或缺的一部分，適合為人工智能學(xué)習(xí)裝置提供視覺(jué)相關(guān)服務(wù)，可應(yīng)用于智能門鎖、智能玩具（Always ON臉部與表情偵測(cè)）、智能家電與物聯(lián)網(wǎng)。

三、系統(tǒng)流程

使用云端平臺(tái)或電腦進(jìn)行訓(xùn)練模型，當(dāng)模型訓(xùn)練完成后，使用gap_sdk內(nèi)的nntool進(jìn)行轉(zhuǎn)換，將轉(zhuǎn)換后的模型導(dǎo)入程式碼中，搭配PixArt全局式快門（Global Shutter）功能，取得完整圖像進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network；CNN ）推論判斷，GAPuino只具備推論功能，模型的部分請(qǐng)使用者自行訓(xùn)練。GAPuino可視為超低功耗Edge AI，無(wú)需連接網(wǎng)路，當(dāng)模型訓(xùn)練完后，燒錄制GAPuino內(nèi)即可運(yùn)作。

卷積神經(jīng)網(wǎng)路（Convolutional Neural Network， CNN）是一種前饋神經(jīng)網(wǎng)路，一直是深度學(xué)習(xí)中最重要的一部分，CNN 在影像辨識(shí)中甚至可以超越人類辨識(shí)的精準(zhǔn)度，許多影樣辨識(shí)的模型也都是以CNN的架構(gòu)為基礎(chǔ)去做延伸。

SSD（Single Shot MultiBox Detector）其中Single shot表示SSD算法屬于one-stage方法，MultiBox表示SSD是多框預(yù)測(cè)。將邊界框的輸出空間離散為不同層特征圖上的一組不同尺寸和長(zhǎng)寬比的默認(rèn)框，其主要為在圖片的不同位置進(jìn)行密集抽樣，抽樣時(shí)可以采用不同尺度和長(zhǎng)寬比，適用于處理多種尺寸的對(duì)象。

四、場(chǎng)景應(yīng)用1

智能門鎖，程式內(nèi)部流程請(qǐng)查看方案方塊圖， GAPuino透過(guò)CPI取得PixArt PAJ6100U6圖像資料后，經(jīng)由內(nèi)部CNN計(jì)算輸出結(jié)果，再根據(jù)CNN結(jié)果輸入至SSD取得臉型框的座標(biāo)，過(guò)濾框座標(biāo)大小，若框座標(biāo)過(guò)小則代表為誤判區(qū)需要做移除，進(jìn)行過(guò)濾后才是最終結(jié)果，如果臉型座標(biāo)列表長(zhǎng)度不為0則能夠開(kāi)啟門鎖，反之則回到PixArt PAJ6100U6進(jìn)行下一次的循環(huán)，下方為部分程式碼。

GAPuino搭配PixArt PAJ6100U6攝像頭，應(yīng)用臉部辨識(shí)功能，配置于智能門鎖上，當(dāng)判別為臉型時(shí)，門鎖系統(tǒng)可以判斷是否開(kāi)門，當(dāng)距離攝像頭1.4米時(shí)，發(fā)現(xiàn)照片內(nèi)有臉型就進(jìn)行開(kāi)門，下圖為顯示結(jié)果，藍(lán)色方匡為辨識(shí)區(qū)域，辨識(shí)到臉型后右上方顯紅色區(qū)塊。

智能門鎖整體搭配GAPuino與PixArt PAJ6100U6攝像頭，門鎖整體方案于（基于Qualcomm QCA4024 的雙模全自動(dòng)智能門鎖Turnkey 方案）將控制線對(duì)接至GAPuino開(kāi)發(fā)板上，透過(guò)GAPuino做判斷是否開(kāi)門，目前專案為當(dāng)發(fā)現(xiàn)臉型時(shí)驅(qū)動(dòng)門鎖開(kāi)門，整體圖片如產(chǎn)品應(yīng)用圖所示。

五、場(chǎng)景應(yīng)用2

貓/狗臉辨識(shí)智能喂食器，將TFlite模型抽換為狗或貓模型，并針對(duì)模型進(jìn)行程式碼調(diào)整，當(dāng)辨識(shí)到貓或狗才開(kāi)啟食物閘門，保持飼料新鮮不受潮。

參考資料

PixArt PAJ6100U6

GreenWaves Technologies.

基于Qualcomm QCA4024 的雙模全自動(dòng)智能門鎖Turnkey 方案

卷積神經(jīng)網(wǎng)路- 維基百科

目標(biāo)檢測(cè)|SSD原理與實(shí)現(xiàn)- 知乎
編輯：hfy