該方法將激光雷達(dá)投影的BEV和前向視角、與攝像頭視角圖像作為檢測輸入，在特征融合中，提出attentive pointwise fusion (APF) 模塊。設(shè)計attentive pointwise weighting (APW) 模塊學(xué)習(xí)，附加另外兩個任務(wù)foreground分類和中心回歸。

如圖是架構(gòu)圖：整個MVAF-Net包括三個部分

1）單視圖特征提取（SVFE），

2）多視圖特征融合（MVFF）

3）融合特征檢測（FFD）。

在SVFE部分，原始的RGB圖像和點云由3-stream CNN主干（CV，BEV和RV）處理，生成多視圖特征圖，在BEV和RV做點云體素化。在MVFF部分，多視圖特征與attentive pointwise fusion模塊逐點自適應(yīng)融合。融合的點特征通過attentive pointwise weighting模塊進(jìn)一步處理，對點特征進(jìn)行加權(quán)并學(xué)習(xí)結(jié)構(gòu)信息。在FFD部分，對融合和重加權(quán)的點特征再次體素化，并作融合主干輸入給最終的3D檢測。

RV投影表示為柱面坐標(biāo)系統(tǒng)：

attentive pointwise fusion模塊架構(gòu)如下：

而attentive pointwise weighting模塊架構(gòu)如下：

MVAF-Net的主干網(wǎng)絡(luò)細(xì)節(jié)如下圖：

檢測頭包括：分類（focal loss）、框回歸（SmoothL1 loss）和方向分類（softMax loss）。其總loss函數(shù)為

最后兩個是前景分類項（focal loss）和中心回歸項（SmoothL1 loss）。

結(jié)果如下：

結(jié)論

我們提出了一種端到端的單階段多視圖融合3D檢測方法MVAF-Net，它由三部分組成：單視圖特征提?。⊿VFE），多視圖特征融合（MVFF）和融合特征檢測（FFD）。在SVFE部分，三流CNN主干（CV，BEV和RV主干）使用LiDAR點云和RGB圖像來生成多視圖特征圖。在MVFF部分，使用我們提出的注意點向融合（APF）模塊實現(xiàn)了多視圖特征的自適應(yīng)融合，該模塊可以使用注意力機(jī)制自適應(yīng)地確定從多視圖輸入中引入了多少信息。此外，我們通過提出的注意點加權(quán)（APW）模塊進(jìn)一步改善了網(wǎng)絡(luò)的性能，該模塊可以對點特征進(jìn)行加權(quán)并通過兩個額外的任務(wù)來學(xué)習(xí)結(jié)構(gòu)信息：前景分類和中心回歸。大量實驗驗證了所提出的APF和APW模塊的有效性。此外，所提出的MVAF-Net產(chǎn)生了競爭性結(jié)果，并且在所有單階段融合方法中均達(dá)到了最佳性能。此外，我們的MVAF-Net勝過大多數(shù)兩階段融合方法，在KITTI基準(zhǔn)上實現(xiàn)了速度和精度之間的最佳平衡。

責(zé)任編輯：lq