【GiantPandaCV導(dǎo)語】修改開源的 3D 檢測算法，使用了 pytorch 自帶的 DConv，省去 linux 下編譯 DConv 的 cuda 代碼，可以直接在 window 下訓(xùn)練和測試。在源碼基礎(chǔ)上增加了 finetune 和 resume 等功能，并提供了重新訓(xùn)練的模型。

代碼：https://github.com/Huangdebo/SMOKE-window

[x] 模型效果

1 網(wǎng)絡(luò)結(jié)構(gòu)

smoke 的網(wǎng)絡(luò)機構(gòu)比較簡單粗暴，一個 DLA 直接出 w/4, h/4 的特征圖，然后分成兩路：（1） 關(guān)鍵點檢測，用以得出每個類別的目標的 3D 中心點在 2D 圖像中的投影（2） 3D 信息的回歸， depth_offset(1), keypoint_offset(2), dimension_offset(3), orientation(2)，共 8 個channel。

2 ?3D 檢測

2.1 關(guān)鍵點分支

類似 centernet，把目標看成點來檢測，但不同的是，smoke 利用的是 3D box 的中心投影點，而不是 2D box 的中心點。

2.2 回歸分支

首先是 location，網(wǎng)絡(luò)回歸的都是偏差，對于 Z 方向的值，通過預(yù)設(shè)的偏移量和尺度因子來計算：對于 x,y，則是通過關(guān)鍵點分支得到的投影中心點和回歸的偏移量計算得出，然后在通過反投影計算出 location：

dimension 也是通過統(tǒng)計預(yù)設(shè)值和回歸值來計算：

對于航向角的計算比較繞，smoke 并不是直接回歸航向角，而是通過間接計算：

在下圖中將小車沿著y軸順時針旋轉(zhuǎn)，待小車和camera連線與相機坐標系的z軸重合時停止，那么紫色的角是沒有發(fā)生變化的。于是有

r_y 和 alpha 就是 KITTI label 中的 rotation_y 和 alpha，β 就是論文中的 αz。但 smoke 也不是直接回歸 ?αz，而且轉(zhuǎn)化成另外一個變量 ?αx，αx 也是編碼成 [sin(α), cos(α)]，進行歸一化處理

基于上面的計算值，就可以 3D box 的8個頂點坐標了

3 loss 計算

3.1 關(guān)鍵點分類 loss

與 centernet 類似，在 focal loss 的基礎(chǔ)上加權(quán)，對中心點附近的位置降低loss權(quán)重，并通過巧妙的設(shè)計來抑制中心附近的回歸值，讓只有中心一個尖峰：

3.2 回歸 loss

smoke 使用了 disentangling loss 形式來計算回歸分支的 loss，計算 3D box 需要 rotation_y，dimension 和 location 三個變量，disentangling 則是用一個預(yù)測值 + 兩個 groundtruth 值來計算，從而得到三個 3D box，在進行 L1 loss 計算。所以總的 loss 就是 分類 loss 和 3 個不同的 L1 回歸 loss

結(jié)論：

SMOKE 的backbone 使用了 DLA，而且依賴 Dcnv，所以模型比較大，對落地部署不是很友好。而且是依賴鏡頭的內(nèi)參的，不清楚多種數(shù)據(jù)訓(xùn)和訓(xùn)練效果如何。3D框的回歸比較穩(wěn)定，但存在漏檢，尤其是小目標和只出現(xiàn)一部分的目標。如果能參考主流 2D 檢測的多層檢測，和優(yōu)化關(guān)鍵點分支的策略，也許能緩解這些問題。

編輯：黃飛

?