對(duì)視覺AI領(lǐng)域的開發(fā)者而言，選到一款合適算法，堪稱項(xiàng)目成功了一半：算法與項(xiàng)目需求匹配，可以顯著提升開發(fā)效率、減少后期磨合調(diào)試，快速實(shí)現(xiàn)產(chǎn)品落地，

然而什么樣的算法才叫“合適”？?jī)?yōu)秀的算法模型需要投入大量且全面的數(shù)據(jù)用以訓(xùn)練，同樣，在測(cè)試算法時(shí)，開發(fā)者需要結(jié)合實(shí)際應(yīng)用場(chǎng)景，先設(shè)計(jì)算法測(cè)試集，再用充足的數(shù)據(jù)進(jìn)行測(cè)試，這才能得出算法是否適合項(xiàng)目的準(zhǔn)確評(píng)判。

虹軟視覺開放平臺(tái)除提供免費(fèi)、離線的人臉識(shí)別等算法外，也致力于打造系統(tǒng)化的開發(fā)者培訓(xùn)體系，為全行業(yè)輸送高質(zhì)量人才，官網(wǎng)最近上線了“從零學(xué)習(xí)人臉識(shí)別“之《人臉識(shí)別算法測(cè)試》培訓(xùn)課程，從一線實(shí)戰(zhàn)角度系統(tǒng)闡述了算法測(cè)試的要點(diǎn)。

【算法測(cè)試集設(shè)計(jì)原則】

無論是算法訓(xùn)練，還是針對(duì)應(yīng)用場(chǎng)景進(jìn)行測(cè)試，都需要大量場(chǎng)景數(shù)據(jù)的支撐。正如虹軟視覺開放平臺(tái)的ArcFace人臉識(shí)別SDK，在算法研發(fā)時(shí)就考慮了樓宇、工地、社區(qū)、校園和景區(qū)等一系列場(chǎng)景的共性及個(gè)性，并進(jìn)行針對(duì)訓(xùn)練，因此在百余個(gè)垂直行業(yè)的細(xì)分領(lǐng)域中得到了普遍應(yīng)用。

同樣，設(shè)計(jì)算法測(cè)試集的第一步是分析具體應(yīng)用場(chǎng)景，再根據(jù)場(chǎng)景特點(diǎn)抽象出場(chǎng)景屬性。譬如樓宇、工地、社區(qū)、校園和景區(qū)等常見應(yīng)有場(chǎng)景，這些場(chǎng)景需要關(guān)注的屬性就各不相同。

當(dāng)算法應(yīng)用在工地上，我們需要考慮算法在室外頂棚環(huán)境下的表現(xiàn)、IPC設(shè)備高度對(duì)識(shí)別效果的影響、排隊(duì)及多人臉狀況下算法識(shí)別速度，同時(shí)工地場(chǎng)景下識(shí)別目標(biāo)通常為戴安全帽的成年人，也就需要格外這類群體的識(shí)別效果。

當(dāng)應(yīng)用場(chǎng)景在學(xué)校時(shí)，就需要主要考慮快速成長過程中兒童和青少年的識(shí)別效果；部署場(chǎng)景在社區(qū)和景區(qū)時(shí)，就需要考慮各個(gè)年齡段的識(shí)別效果……所有場(chǎng)景屬性都需要因地制宜，結(jié)合實(shí)際情況來總結(jié)，但總體遵循內(nèi)部因素和外部因素兩大原則：

內(nèi)因包括人臉姿態(tài)、妝容、身高、性別、表情、年齡、人種等，外因則包括室內(nèi)/室外、光線方向、攻擊道具、妝容道具、光照強(qiáng)度、設(shè)備高度、背景、遮擋等。

此外，測(cè)試素材集需要同時(shí)具備正樣本、負(fù)樣本，所謂正樣本是指與真值對(duì)應(yīng)的目標(biāo)類別，負(fù)樣本則是與真值不對(duì)應(yīng)的其他所有目標(biāo)類別，這樣才能比對(duì)判斷算法是否進(jìn)行正確識(shí)別。

以“智慧樓宇門禁場(chǎng)景”為例，我們就需要全面模擬目標(biāo)場(chǎng)景的應(yīng)用環(huán)境，考慮場(chǎng)景、屬性、設(shè)計(jì)和規(guī)模四大要素：場(chǎng)景上需要囊括室內(nèi)/室外、樓宇/樓層/辦公室等常見環(huán)境；屬性上對(duì)外模擬采集環(huán)境須涵蓋全屬性，對(duì)內(nèi)需要針對(duì)性采集人員選取須涵蓋全屬性；在素材設(shè)計(jì)上要模擬模擬真實(shí)用戶的行為動(dòng)作，譬如快走、慢走、跑步，以及戴帽子、眼鏡或首飾引起的遮擋；素材規(guī)模上則需要根據(jù)測(cè)試需求決定，譬如實(shí)際場(chǎng)景常為暗光環(huán)境，就需要多采集暗光素材，同時(shí)測(cè)試集整體大小也要足夠完成算法指標(biāo)的評(píng)定。

測(cè)試素材的采集同樣有嚴(yán)格要求：首先，我們必須選取目標(biāo)設(shè)備進(jìn)行采集，這樣才不會(huì)因?yàn)橛布O(shè)備的變化導(dǎo)致測(cè)試結(jié)果有偏差；其次，注冊(cè)照需要在正常光環(huán)境下采集，即光線在面部反光均勻、沒有明顯的陰影、反光現(xiàn)象，光線強(qiáng)度沒有明顯的分化現(xiàn)象環(huán)境，識(shí)別照則需要模擬實(shí)際應(yīng)用場(chǎng)景下的抓拍照；再次，素材要進(jìn)行清洗，測(cè)試集要求是無噪點(diǎn)且準(zhǔn)確的；最后，需要標(biāo)記每張素材的屬性，包括內(nèi)部屬性和外部屬性。

【人臉識(shí)別算法評(píng)測(cè)方法】

在理想狀態(tài)下，人臉識(shí)別準(zhǔn)確率越高越好，但算法在產(chǎn)品化時(shí)會(huì)受到光線、遮擋、圖片質(zhì)量、遮擋等外部因素，以及人臉姿態(tài)、年齡、性別、人種和表情等內(nèi)部因素的綜合影響。因此，評(píng)價(jià)一款算法是否適用于產(chǎn)品，需要結(jié)合實(shí)際場(chǎng)景并進(jìn)行測(cè)試后才能做出評(píng)價(jià)。

多數(shù)情況下，我們以基于FAR（錯(cuò)誤接受率，又稱誤識(shí)率，即把某人誤識(shí)為其他人的概率）和FRR（錯(cuò)誤拒絕率率，即本人注冊(cè)在底庫中，但比對(duì)相似度達(dá)到不預(yù)定的值）的DET曲線作為評(píng)判參考。

理想狀況下，F(xiàn)AR和FRR都越低越好，但兩個(gè)指標(biāo)是一個(gè)蹺蹺板，一個(gè)指標(biāo)的降低通常意味著另一個(gè)指標(biāo)會(huì)升高，所以需要實(shí)現(xiàn)兩者間的平衡。一般認(rèn)為在FAR達(dá)到市場(chǎng)正常水準(zhǔn)時(shí)，F(xiàn)RR越低，該人臉識(shí)別算法性能就越好。

在實(shí)際測(cè)試時(shí)，開發(fā)者需要根據(jù)對(duì)應(yīng)項(xiàng)目建立相應(yīng)的測(cè)試集，采集場(chǎng)景需要貼近實(shí)際使用場(chǎng)景；盡可能涵蓋識(shí)別目標(biāo)的全屬性，包括性別、膚色、發(fā)型等因素；屬性權(quán)重按照評(píng)測(cè)偏重點(diǎn)分配；測(cè)試集本身也需要有足夠的容量，來保證測(cè)試結(jié)果可信。

另外，還有一些常見的評(píng)測(cè)常見指標(biāo)，在評(píng)價(jià)人臉檢測(cè)算法好壞時(shí)，我們會(huì)考慮以下四個(gè)指標(biāo)，其他條件不變時(shí)，查全率越高越好，漏檢率和誤檢率越低越好，IOU則是重合面積越大效果越好，但為了提高效率，超過設(shè)定閾值后可直接合并，視為同一個(gè)人臉框：

查全率=正確檢測(cè)的人臉數(shù)/標(biāo)注的總?cè)四様?shù)

漏檢率=1-正確檢測(cè)的人臉數(shù)/標(biāo)注的總?cè)四様?shù)

誤檢率=錯(cuò)誤檢測(cè)的人臉數(shù)/標(biāo)注的總?cè)四様?shù)

IOU=檢測(cè)出來的人臉框A/實(shí)際的人臉框B

在評(píng)價(jià)活體檢測(cè)算法時(shí)，我們則考慮真人誤檢率和假體誤檢率，其他條件不變時(shí)，這兩者都是越低越好：

真人誤檢率 = 錯(cuò)誤判斷為真人數(shù)量/活體檢測(cè)總次數(shù)

假體誤檢率 = 錯(cuò)誤判斷為假體數(shù)量/活體檢測(cè)總次數(shù)

了解相關(guān)測(cè)試原則和方法之后，很多開發(fā)者仍然難以順利進(jìn)行算法選型，這往往是受限于實(shí)際條件，譬如缺乏專門的采集場(chǎng)地、采集人員，或者無法采集大規(guī)模測(cè)試集。

需要快速進(jìn)行算法評(píng)測(cè)時(shí)，可以因地制宜，創(chuàng)造簡(jiǎn)易條件，譬如就地選取盡可能貼近使用場(chǎng)景的場(chǎng)地，省去場(chǎng)地租金、搭建成本，同時(shí)邀請(qǐng)公司員工充當(dāng)采集人員。盡管從簡(jiǎn)，測(cè)試集規(guī)模原則上仍然需要覆蓋全屬性。

【算法評(píng)測(cè)需軟硬一體】

前文提到，采集素材時(shí)最好選用目標(biāo)設(shè)備，合適硬件、攝像模組采集有利于優(yōu)化素材集。實(shí)際上，在項(xiàng)目開發(fā)的過程中，算法與硬件的磨合經(jīng)常耗時(shí)日久，這往往是阻礙產(chǎn)品落地的重要因素。

為此，虹軟開放平臺(tái)則提供配套的軟硬件資源對(duì)接平臺(tái)——產(chǎn)業(yè)鏈?zhǔn)袌?chǎng)，上架了豐富的攝像頭模組、開發(fā)板、整機(jī)、行業(yè)解決方案供需求方選擇。同時(shí)，所有上線產(chǎn)品都經(jīng)過虹軟視覺開發(fā)平臺(tái)的認(rèn)證與調(diào)優(yōu)，實(shí)現(xiàn)軟硬件的整合優(yōu)化，確保算法運(yùn)行高效流暢，大幅縮短產(chǎn)品落地時(shí)間。

想要完整學(xué)習(xí)《人臉識(shí)別算法測(cè)試》培訓(xùn)課程的開發(fā)者，請(qǐng)搜索“從零學(xué)習(xí)人臉識(shí)別“或登陸虹軟視覺開放平臺(tái)官網(wǎng)公開課頁面瀏覽。