電子發(fā)燒友App
一、項目介紹前言
人臉識別作為一種生物特征識別技術(shù)，具有非侵擾性、非接觸性、友好性和便捷性等優(yōu)點。人臉識別通用的流程主要包括人臉檢測、人臉裁剪、人臉校正、特征提取和人臉識別。人臉檢測是從獲取的圖像中去除干擾，提取人臉信息，獲取人臉圖像位置，檢測的成功率主要受圖像質(zhì)量，光線強弱和遮擋等因素影響。下圖是整個人臉檢測過程。 
二、識別檢測方法傳統(tǒng)識別方法
?。?）基于點云數(shù)據(jù)的人臉識別
?。?）基于面部特征的3D人臉識別深度學習識別方法
?。?）基于深度圖的人臉識別
（2）基于RGB-3DMM的人臉識別
?。?）基于RGB-D的人臉識別 本文方法關(guān)鍵點定位概述
一般人臉中有5個關(guān)鍵點，其中包括眼睛兩個，鼻子一個，嘴角兩個。還可以細致的分為68個關(guān)鍵點，這樣的話會概括的比較全面，我們本次研究就是68個關(guān)鍵點定位。 
上圖就是我們定位人臉的68個關(guān)鍵點，其中他的順序是要嚴格的進行排序的。從1到68點的順序不能錯誤。 
項目解析 使用機器學習框架dlib做本次的項目。首先我們要指定參數(shù)時，要把dlib中的68關(guān)鍵點人臉定位找到。設(shè)置出來的68關(guān)鍵點人臉定位找到。并且設(shè)置出來。
from collecTIons import OrderedDict
import numpy as np
import argparse
import dlib
import cv2
首先我們導入工具包。其中dlib庫是通過這個網(wǎng)址http://dlib.net/files/進行下載的。然后我們導入?yún)?shù)。
ap = argparse.ArgumentParser（）
ap.add_argument（“-p”， “--shape-predictor”， required=True，
help=“path to facial landmark predictor”）
ap.add_argument（“-i”， “--image”， required=True，
help=“path to input image”）
args = vars（ap.parse_args（））
這里我們要設(shè)置參數(shù)，--shape-predictor shape_predictor_68_face_landmarks.dat --image images/lanqiudui.jpg。
如果一張圖像里面有多個人臉，那么我們分不同部分進行檢測，裁剪出來所對應(yīng)的ROI區(qū)域。我們的整體思路就是先檢測人臉所在的一個區(qū)域位置，然后檢測鼻子相對于人臉框所在的一個位置，比如說人的左眼睛在0.2w，0.2h的人臉框處。
FACIAL_LANDMARKS_68_IDXS = OrderedDict（［
?。ā癿outh”， （48， 68）），
?。ā皉ight_eyebrow”， （17， 22）），
?。ā發(fā)eft_eyebrow”， （22， 27）），
?。ā皉ight_eye”， （36， 42）），
?。ā發(fā)eft_eye”， （42， 48）），
?。ā皀ose”， （27， 36）），
?。ā癹aw”， （0， 17））
?。荩?/p>
這個是68個關(guān)鍵點定位的各個部位相對于人臉框的所在位置。分別對應(yīng)著嘴，左眼、右眼、左眼眉、右眼眉、鼻子、下巴。
FACIAL_LANDMARKS_5_IDXS = OrderedDict（［
?。ā皉ight_eye”， （2， 3）），
?。ā發(fā)eft_eye”， （0， 1）），
（“nose”， （4））
?。荩?/p>
如果是5點定位，那么就需要定位左眼、右眼、鼻子。0、1、2、3、4分別表示對應(yīng)的5個點。
detector = dlib.get_frontal_face_detector（）
predictor = dlib.shape_predictor（args［“shape_predictor”］）
加載人臉檢測與關(guān)鍵點定位。加載出來。其中detector默認的人臉檢測器。然后通過傳入?yún)?shù)返回人臉檢測矩形框4點坐標。其中predictor以圖像的某塊區(qū)域為輸入，輸出一系列的點（point locaTIon）以表示此圖像region里object的姿勢pose。返回訓練好的人臉68特征點檢測器。
image = cv2.imread（args［“image”］）
?。╤， w） = image.shape［：2］
width=500
r = width / float（w）
dim = （width， int（h * r））
image = cv2.resize（image， dim， interpolaTIon=cv2.INTER_AREA）
gray = cv2.cvtColor（image， cv2.COLOR_BGR2GRAY）
這里我們把數(shù)據(jù)讀了進來，然后進行需處理，提取h和w，其中我們自己設(shè)定圖像的w為500，然后按照比例同比例設(shè)置h。然后進行了resize操作，最后轉(zhuǎn)化為灰度圖。
rects = detector（gray， 1）
這里調(diào)用了detector的人臉框檢測器，要使用灰度圖進行檢測，這個1是重采樣個數(shù)。這里面返回的是人臉檢測矩形框4點坐標。然后對檢測框進行遍歷
for （i， rect） in enumerate（rects）：
# 對人臉框進行關(guān)鍵點定位
# 轉(zhuǎn)換成ndarray
shape = predictor（gray， rect）
shape = shape_to_np（shape）
這里面返回68個關(guān)鍵點定位。shape_to_np這個函數(shù)如下。
def shape_to_np（shape， dtype=“int”）：
# 創(chuàng)建68*2
coords = np.zeros（（shape.num_parts， 2）， dtype=dtype）
# 遍歷每一個關(guān)鍵點
# 得到坐標
for i in range（0， shape.num_parts）：
coords［i］ = （shape.part（i）.x， shape.part（i）.y）
return coords
這里shape_to_np函數(shù)的作用就是得到關(guān)鍵點定位的坐標。
for （name， （i， j）） in FACIAL_LANDMARKS_68_IDXS.items（）：
clone = image.copy（）
cv2.putText（clone， name， （10， 30）， cv2.FONT_HERSHEY_SIMPLEX，
0.7， （0， 0， 255）， 2）
# 根據(jù)位置畫點
for （x， y） in shape［i:j］：
cv2.circle（clone， （x， y）， 3， （0， 0， 255）， -1）
# 提取ROI區(qū)域
（x， y， w， h） = cv2.boundingRect（np.array（［shape［i:j］］））
roi = image［y:y + h， x:x + w］
?。╤， w） = roi.shape［：2］
width=250
r = width / float（w）
dim = （width， int（h * r））
roi = cv2.resize（roi， dim， interpolaTIon=cv2.INTER_AREA）
# 顯示每一部分
cv2.imshow（“ROI”， roi）
cv2.imshow（“Image”， clone）
cv2.waitKey（0）
這里字典FACIAL_LANDMARKS_68_IDXS.items（）是同時提取字典中的key和value數(shù)值。然后遍歷出來這幾個區(qū)域，并且進行顯示具體是那個區(qū)域，并且將這個區(qū)域畫圓。隨后提取roi區(qū)域并且進行顯示。后面部分就是同比例顯示w和h。然后展示出來。
output = visualize_facial_landmarks（image， shape）
cv2.imshow（“Image”， output）
cv2.waitKey（0）
最后展示所有區(qū)域。 其中visualize_facial_landmarks函數(shù)就是：
def visualize_facial_landmarks（image， shape， colors=None， alpha=0.75）：
# 創(chuàng)建兩個copy
# overlay and one for the final output image
overlay = image.copy（）
output = image.copy（）
# 設(shè)置一些顏色區(qū)域
if colors is None：
colors = ［（19， 199， 109）， （79， 76， 240）， （230， 159， 23），
（168， 100， 168）， （158， 163， 32），
?。?63， 38， 32）， （180， 42， 220）］
# 遍歷每一個區(qū)域
for （i， name） in enumerate（FACIAL_LANDMARKS_68_IDXS.keys（））：
# 得到每一個點的坐標
?。╦， k） = FACIAL_LANDMARKS_68_IDXS［name］
pts = shape［j:k］
# 檢查位置
if name == “jaw”：
# 用線條連起來
for l in range（1， len（pts））：
ptA = tuple（pts［l - 1］）
ptB = tuple（pts［l］）
cv2.line（overlay， ptA， ptB， colors［i］， 2）
# 計算凸包
else：
hull = cv2.convexHull（pts）
cv2.drawContours（overlay， ［hull］， -1， colors［i］， -1）
# 疊加在原圖上，可以指定比例
cv2.addWeighted（overlay， alpha， output， 1 - alpha， 0， output）
return output
這個函數(shù)是計算cv2.convexHull凸包的，也就是下圖這個意思。 
這個函數(shù)cv2.addWeighted是做圖像疊加的。
src1， src2：需要融合疊加的兩副圖像，要求大小和通道數(shù)相等 alpha：src1 的權(quán)重 beta：src2 的權(quán)重 gamma：gamma 修正系數(shù)，不需要修正設(shè)置為 0 dst：可選參數(shù)，輸出結(jié)果保存的變量，默認值為 None dtype：可選參數(shù)，輸出圖像數(shù)組的深度，即圖像單個像素值的位數(shù)（如 RGB 用三個字節(jié)表示，則為 24 位），選默認值 None 表示與源圖像保持一致。 dst = src1 × alpha + src2 × beta + gamma;上面的式子理解為，結(jié)果圖像 = 圖像 1× 系數(shù) 1+圖像 2× 系數(shù) 2+亮度調(diào)節(jié)量。
編輯：黃飛
工商網(wǎng)監(jiān)
評論