作者 | Video++極鏈科技AI實(shí)驗(yàn)室謝錦濱

整理 | 包包

個(gè)人對(duì)移動(dòng)端神經(jīng)網(wǎng)絡(luò)開發(fā)一直饒有興致。去年騰訊開源了NCNN框架之后，一直都在關(guān)注。近期嘗試將分割網(wǎng)絡(luò)移植到NCNN，能夠在手機(jī)端實(shí)現(xiàn)一些有趣的應(yīng)用，本文就幾個(gè)技術(shù)話題作相關(guān)介紹。

神經(jīng)網(wǎng)絡(luò)選擇

目前做segmentation常用的一些神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)有如下幾個(gè)可以選擇:

• MaskRCNN

• FCN

• UNET

• SegNet

• Tiramisu

在移動(dòng)端做人像分割有兩大優(yōu)勢(shì)，首先是隱私，其次是可以做到實(shí)時(shí)，能夠創(chuàng)造更多玩法。因?yàn)閁NET模型比較簡(jiǎn)單，干脆就從這個(gè)入手。下面是UNET網(wǎng)絡(luò)結(jié)構(gòu)：

首先我采用了基于keras的版本: https://github.com/TianzhongSong/Person-Segmentation-Keras，訓(xùn)了一個(gè)基本模型，大小為39M, iphone X上15秒處理一幀。明顯這個(gè)速度太慢，需要進(jìn)行改造。

移動(dòng)端Inference框架

經(jīng)過(guò)調(diào)研，粗略比較了幾個(gè)神經(jīng)網(wǎng)絡(luò)框架:

其中使用難易程度，主要跟我個(gè)人習(xí)慣有關(guān)。NCNN框架比較好，代碼不多，而且兼容iOS和安卓（臺(tái)式機(jī)以及嵌入式環(huán)境同樣支持），同時(shí)底層計(jì)算采用匯編做了優(yōu)化。NCNN只實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的forward部分，沒(méi)有反向傳播，所以訓(xùn)練仍舊依賴其他開源框架，現(xiàn)在幾大框架都遵守ONNX協(xié)議，理論上各種框架模型之間互相轉(zhuǎn)換并不存在什么問(wèn)題，工具也都是開源的。

不過(guò)keras沒(méi)辦法直接轉(zhuǎn)成ncnn模型，研究過(guò)通過(guò)onnx模型做中間跳板，采用了一些開源的轉(zhuǎn)換工具，也是一堆問(wèn)題。NCNN支持幾個(gè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練框架:caffe/mxnet/pytorch，在ncnn的github有一篇issue里nihui推薦采用MXNET，因此MXNET也成為了我的首選。其他框架往NCNN轉(zhuǎn)換工具:

NCNN轉(zhuǎn)換Tensorflow模型有問(wèn)題； Caffe沒(méi)有Pytorch和MXNET好用; 最終在MXNet和Pytorch之間選擇了MXNet。

人像數(shù)據(jù)集

• https://github.com/lemondan/HumanParsing-Dataset

• https://github.com/ZhaoJ9014/Multi-Human-Parsing_MHP

• COCO人像數(shù)據(jù)集 – 加入后效果質(zhì)的飛躍

• ADE20K

網(wǎng)上找了上面幾個(gè)數(shù)據(jù)集，抽取出人像部分，采用基本的flip/crop/rotate操作做了擴(kuò)充，得到228423張訓(xùn)練樣本，另外湊了9064張驗(yàn)證樣本。

模型轉(zhuǎn)換（MXNET->NCNN）

MXNET的UNET版本并沒(méi)有現(xiàn)成可用的合適版本。參照其他版本的UNET，自己coding完成一個(gè)版本。代碼請(qǐng)參考: https://github.com/xuduo35/unet_mxnet2ncnn。

在這個(gè)基礎(chǔ)上訓(xùn)練完成，用來(lái)測(cè)試ncnn轉(zhuǎn)換基本可用。這里提一下轉(zhuǎn)換過(guò)程遇到的一些問(wèn)題和解決方案。

一個(gè)是調(diào)用ncnn extract函數(shù)會(huì)crash，經(jīng)過(guò)調(diào)查，發(fā)現(xiàn)mxnet2ncnn工具也有bug，blob個(gè)數(shù)算錯(cuò)，其次是input層one_blob_only標(biāo)志我的理解應(yīng)該是false，不知道什么原因轉(zhuǎn)換過(guò)來(lái)的模型這邊是true，導(dǎo)致forward_layer函數(shù)里面bottoms變量訪問(wèn)異常。后來(lái)一層層extract出來(lái)打印輸出的channel/width/height調(diào)查后又發(fā)現(xiàn)，自己代碼里unet.py里的name為pool5寫成了pool4，前面的crash跟這個(gè)致命錯(cuò)誤有關(guān)系也有直接關(guān)聯(lián)。

第二個(gè)問(wèn)題是轉(zhuǎn)成ncnn后的預(yù)測(cè)結(jié)果死活不對(duì)。只能一層層去檢查，寫了幾個(gè)簡(jiǎn)單的工具可以打印中間隱藏層的結(jié)果（代碼: https://github.com/xuduo35/unet_mxnet2ncnn/check.py）。在這個(gè)基礎(chǔ)之上，發(fā)現(xiàn)是第一次反卷積就出了問(wèn)題（mxnet神經(jīng)網(wǎng)絡(luò)trans_conv6的輸出）。結(jié)果完全不一致，按個(gè)人理解，反卷積算法會(huì)出問(wèn)題的可能性基本為0，所以把mxnet這一層的權(quán)重值打印了出來(lái)。再在mxnet2ncnn的代碼里把對(duì)應(yīng)的參數(shù)打印，最后發(fā)現(xiàn)是num_group出了問(wèn)題，簡(jiǎn)單處理就是把mxnet2ncnn.cpp里的反卷積num_group固定為1，終于解決問(wèn)題。得到正確的輸出結(jié)果：

中間還遇到一些ncnn和mxnet之間圖像格式之類的轉(zhuǎn)換問(wèn)題，特別是浮點(diǎn)數(shù)的處理，就不啰嗦了。另外，調(diào)試過(guò)程發(fā)現(xiàn)，ncnn的中間層輸出和mxnet的輸出不是完全一致，可能是有一些參數(shù)或者運(yùn)算細(xì)節(jié)問(wèn)題，不影響最后mask結(jié)果，暫時(shí)忽略。

幾個(gè)問(wèn)題

到目前為止還存在幾個(gè)問(wèn)題，1. 模型比較大；2. 單幀處理需要15秒左右的時(shí)間（Mac Pro筆記本，ncnn沒(méi)有使用openmp的情況）；3. 得到的mask結(jié)果不是特別理想。針對(duì)這三個(gè)問(wèn)題，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行調(diào)整。

1. 模型比較大

采取將網(wǎng)絡(luò)卷積核數(shù)量減少4倍的方式，模型大小下降到2M，粗略用圖片測(cè)試，效果也還可以。同時(shí)把之前用0值填充圖片的方式，改成用邊界值填充，因?yàn)闇y(cè)試的時(shí)候發(fā)現(xiàn)之前的方式總在填充的邊界往往會(huì)出現(xiàn)檢測(cè)錯(cuò)誤。

2. 單幀處理需要15秒左右的時(shí)間

按照第一步處理之后，基本上一張圖片只要1秒鐘就處理完成，。在手機(jī)上由于NCNN做了優(yōu)化，經(jīng)過(guò)測(cè)試速度是Mac Pro的好幾倍。

3. 得到的mask結(jié)果不是特別理想

在權(quán)衡模型大小和準(zhǔn)確率的基礎(chǔ)上修改UNET網(wǎng)絡(luò)結(jié)構(gòu)，具體不再贅述。

最終結(jié)果