1. 介紹

人類可以在幾毫秒內(nèi)在我們的視線中挑選出物體。事實(shí)上，你現(xiàn)在就環(huán)顧四周，你將觀察到周圍環(huán)境并快速檢測到存在的物體，并且把目光回到我們這篇文章來。大概需要多長時(shí)間？

這就是實(shí)時(shí)目標(biāo)檢測。如果我們能讓機(jī)器做到這一點(diǎn)有多酷？開心的是現(xiàn)在我們就可以做到！主要由于最近在深度學(xué)習(xí)和計(jì)算機(jī)視覺方面的突破，我們不僅可以依靠目標(biāo)檢測算法來檢測圖像中的物體，而且還可以以人類的速度和準(zhǔn)確度來實(shí)現(xiàn)。

我們將首先看看目標(biāo)檢測的各種細(xì)微差別（包括你可能面臨的潛在挑戰(zhàn)）。然后，我將介紹SlimYOLOv3框架并深入探討它如何工作以實(shí)時(shí)檢測目標(biāo)。

2. 什么是目標(biāo)檢測?

在我們深入研究如何實(shí)時(shí)檢測目標(biāo)之前，讓我們首先介紹一下基礎(chǔ)知識。如果你是計(jì)算機(jī)視覺領(lǐng)域初學(xué)者，這一點(diǎn)尤為重要。

目標(biāo)檢測是我們用于識別圖像中目標(biāo)位置的技術(shù)。如果圖像中有單個(gè)目標(biāo)，并且我們想要檢測該目標(biāo)，則稱為圖像定位。如果圖像中有多個(gè)目標(biāo)怎么辦？嗯，這就是目標(biāo)檢測！讓我用一個(gè)例子解釋一下：

左側(cè)的圖像具有單個(gè)目標(biāo)（狗），因此檢測該目標(biāo)將是圖像定位問題。右邊的圖像有兩個(gè)目標(biāo)（一只貓和一只狗）。檢測這兩個(gè)目標(biāo)則是目標(biāo)檢測問題。

現(xiàn)在，你可能想知道為什么需要目標(biāo)檢測？更重要的是，為什么我們需要執(zhí)行實(shí)時(shí)目標(biāo)檢測？我們將在下一節(jié)回答這些問題。

3. 目標(biāo)檢測的應(yīng)用

目標(biāo)檢測現(xiàn)在正在業(yè)界廣泛使用。任何從事計(jì)算機(jī)視覺工作的人都應(yīng)該清楚地了解這些應(yīng)用。

目標(biāo)檢測的使用范圍從個(gè)人安全到自動車輛系統(tǒng)。讓我們討論一些當(dāng)前和無處不在的應(yīng)用。

3.1. 自動駕駛

這是目標(biāo)檢測最有趣和最新的應(yīng)用之一。

自動駕駛汽車是能夠在很少或沒有人為引導(dǎo)的情況下自行移動的車輛?，F(xiàn)在，為了讓汽車決定它的行動，即要么向前移動，要么停車，要么轉(zhuǎn)彎，它必須知道它周圍所有物體的位置。使用目標(biāo)檢測技術(shù)，汽車可以檢測其他汽車，行人，交通信號等物體。

3.2. 人臉檢測與人臉識別

人臉檢測和識別可能是計(jì)算機(jī)視覺中應(yīng)用最廣泛的應(yīng)用。每次在Facebook，Instagram或Google相冊上傳圖片時(shí)，它都會自動檢測圖像中的人物。

3.3. 行為識別

你會喜歡這個(gè)，目的是識別一個(gè)或多個(gè)圖像系列的活動或動作。目標(biāo)檢測是其背后的核心概念，它檢測行為然后識別操作。這是一個(gè)很酷的例子：

3.4. 目標(biāo)計(jì)數(shù)

我們可以使用目標(biāo)檢測算法來計(jì)算圖像中的目標(biāo)數(shù)量，甚至是實(shí)時(shí)視頻中的目標(biāo)數(shù)量。計(jì)算目標(biāo)的數(shù)量有很多方面，包括分析存儲表現(xiàn)或估計(jì)人群中的人數(shù)。

而大多數(shù)應(yīng)用程序需要實(shí)時(shí)分析。我們行業(yè)的動態(tài)性質(zhì)傾向于即時(shí)結(jié)果，而這正是實(shí)時(shí)目標(biāo)檢測的結(jié)果。

4. 為什么要進(jìn)行實(shí)時(shí)目標(biāo)檢測？

我們以自動駕駛汽車為例。考慮到我們已經(jīng)訓(xùn)練了一個(gè)目標(biāo)檢測模型，它需要幾秒鐘（比如每個(gè)圖像2秒）來檢測圖像中的物體，我們最終將這個(gè)模型部署在自動駕駛汽車中。

你覺得這個(gè)模型會好嗎？汽車能夠檢測到它前面的物體并采取相應(yīng)的措施嗎？

當(dāng)然不是！這里的推理時(shí)間太多了。汽車將花費(fèi)大量時(shí)間做出可能導(dǎo)致事故等嚴(yán)重情況的決策。因此，在這種情況下，我們需要一個(gè)能夠?yàn)槲覀兲峁?shí)時(shí)結(jié)果的模型。該模型應(yīng)該能夠檢測目標(biāo)并在幾微秒內(nèi)進(jìn)行推斷。

用于目標(biāo)檢測的一些常用算法包括RCNN，F(xiàn)ast RCNN，F(xiàn)aster RCNN和YOLO。

本文的目的不是深入研究這些技術(shù)，而是了解用于實(shí)時(shí)目標(biāo)檢測的SlimYOLOv3架構(gòu)。當(dāng)我們不需要實(shí)時(shí)檢測時(shí)，這些技術(shù)非常有效。不幸的是，當(dāng)面對實(shí)時(shí)分析時(shí)，他們往往不是很好。讓我們來看看在嘗試構(gòu)建自己的實(shí)時(shí)目標(biāo)檢測模型時(shí)可能遇到的一些挑戰(zhàn)。

5. 實(shí)時(shí)目標(biāo)檢測的挑戰(zhàn)

實(shí)時(shí)目標(biāo)檢測模型應(yīng)該能夠感知環(huán)境，解析場景并最終做出相應(yīng)的反應(yīng)。模型應(yīng)該能夠識別場景中存在的所有類型的目標(biāo)。一旦識別出目標(biāo)的類型，模型應(yīng)該通過在每個(gè)目標(biāo)周圍定義邊界框來定位這些目標(biāo)的位置。

所以，這里有兩個(gè)功能。首先，對圖像中的目標(biāo)進(jìn)行分類（圖像分類），然后使用邊界框（目標(biāo)檢測）定位目標(biāo)。

當(dāng)我們處理實(shí)時(shí)問題時(shí)，我們可能面臨多重挑戰(zhàn)：

我們?nèi)绾翁幚碜兓?？變化可能與物體形狀，亮度等有所不同。

部署目標(biāo)檢測模型。這通常需要大量的內(nèi)存和計(jì)算能力，特別是在我們每天使用的機(jī)器上

最后，我們還必須在檢測性能和實(shí)時(shí)要求之間保持平衡。通常，如果滿足實(shí)時(shí)要求，我們會看到性能會有所下降，反之亦然。因此，平衡這兩個(gè)方面也是一個(gè)挑戰(zhàn)

那么我們?nèi)绾慰朔@些挑戰(zhàn)呢？好吧，這是文章的關(guān)鍵所在--SlimYOLOv3框架！SlimYOLOv3旨在處理這些限制并以令人難以置信的精度執(zhí)行實(shí)時(shí)目標(biāo)檢測。

讓我們首先了解SlimYOLOv3是什么，然后我們將介紹架構(gòu)細(xì)節(jié)以更好地理解框架。

6. SlimYOLOv3介紹

你能猜出深度學(xué)習(xí)管道是如何工作的嗎？以下是典型流程的基本摘要：

首先，我們設(shè)計(jì)模型結(jié)構(gòu)

微調(diào)該模型的超參數(shù)

訓(xùn)練模型

最后評估模型

模型中有多個(gè)組件或連接。經(jīng)過幾次迭代后，其中一些連接變得多余，因此我們可以從模型中刪除這些連接。刪除這些連接稱為剪枝。

剪枝不會顯著影響模型的性能，并且計(jì)算要求將顯著降低。因此，在SlimYOLOv3中，在卷積層上執(zhí)行剪枝。我們將在下一部分中了解有關(guān)如何完成此剪枝的更多信息。

剪枝后，我們對模型進(jìn)行微調(diào)以補(bǔ)償模型性能的下降。

與原始YOLOv3相比，剪枝后的模型導(dǎo)致較少的訓(xùn)練參數(shù)和較低的計(jì)算要求，因此對于實(shí)時(shí)目標(biāo)檢測更方便。

現(xiàn)在讓我們討論一下SlimYOLOv3的結(jié)構(gòu)，以便更好，更清楚地理解這個(gè)框架底層的工作原理。

7. 了解SlimYOLOv3的結(jié)構(gòu)

下圖說明了SlimYOLOv3的工作原理：

SlimYOLOv3是YOLOv3的修改版本。YOLOv3的卷積層被剪枝以實(shí)現(xiàn)小和更快的版本。但是等等， 為什么我們首先使用YOLOv3？為什么不用RCNN，F(xiàn)aster RCNN等其他目標(biāo)檢測算法呢？

7.1. 為什么是YOLOv3?

基本上有兩種類型深度目標(biāo)檢測模型：

Two-stage detectors

屬于RCNN系列的探測器屬于Two-stage detectors。該過程包含兩個(gè)階段。首先，我們提取候選區(qū)域，然后對每個(gè)候選區(qū)域進(jìn)行分類并預(yù)測邊界框。這些探測器通?？梢蕴峁┝己玫奶綔y精度，但這些探測器對于候選區(qū)域的推斷時(shí)間需要大量的計(jì)算和實(shí)時(shí)存儲

Single-stage detectors

屬于YOLO系列的探測器屬于Single-stage detectors。這是一個(gè)單階段的過程。這些模型利用預(yù)定義的錨點(diǎn)來覆蓋圖像中的空間位置，比例和縱橫比。因此，我們不需要額外的分支來提取候選區(qū)域。由于所有計(jì)算都在單個(gè)網(wǎng)絡(luò)中，因此它們比Single-stage detectors更可能運(yùn)行得更快。YOLOv3也是Single-stage detectors，目前是目標(biāo)檢測的最先進(jìn)技術(shù)

7.2. 稀疏訓(xùn)練(Sparsity training)

下一步是YOLOv3模型的稀疏訓(xùn)練：

在這里，我們使用以下步驟剪枝YOLOv3模型：

首先，我們評估YOLOv3模型的每個(gè)組件的重要性。我將簡要討論如何確定這些組件的重要性的細(xì)節(jié)

一旦評估了重要性，我們就會刪除不太重要的組件

移除的組件可以是單獨(dú)的神經(jīng)連接或網(wǎng)絡(luò)結(jié)構(gòu)。為了定義每個(gè)組件的重要性，我們根據(jù)它們的貢獻(xiàn)對網(wǎng)絡(luò)的每個(gè)神經(jīng)元進(jìn)行排序。有多種方法可以做到：

我們可以采用L1 / L2正則化神經(jīng)元權(quán)重的平均值

每個(gè)神經(jīng)元的平均激活

神經(jīng)元輸出不為零的次數(shù)

在SlimYOLOv3中，基于被認(rèn)為是縮放因子的L1正則化神經(jīng)元權(quán)重的平均值來計(jì)算重要性。這些縮放因子的絕對值是通道的重要性。為了加速收斂并改進(jìn)YOLOv3模型的泛化，在每個(gè)卷積層之后使用批量歸一化層。

7.3. SlimYOLOv3

然后我們定義一個(gè)全局閾值，比如說?，并丟棄任何縮放因子小于此閾值的通道。通過這種方式，我們修剪了YOLOv3架構(gòu)并獲得了SlimYOLOv3架構(gòu)：

在評估縮放因子時(shí)，尚未考慮YOLOv3架構(gòu)的最大池化層和上采樣層。

7.4. Fine-tuning

我們現(xiàn)在有SlimYOLOv3模型，那么下一步是什么？我們對其進(jìn)行微調(diào)以補(bǔ)償性能下降，并最終評估微調(diào)模型以確定修剪后的模型是否適合部署。

稀疏訓(xùn)練實(shí)際上在減小比例因子方面非常有效，因此使得卷積層的特征通道稀疏。以較大的懲罰因子α= 0.01訓(xùn)練會導(dǎo)致比例因子衰減，并且模型開始過度擬合。

在SlimYOLOv3中，懲罰因子α= 0.0001用于執(zhí)行通道修建。

8. 結(jié)語

我們在本文中介紹了很多內(nèi)容。我們看到了不同的目標(biāo)檢測算法，如RCNN，F(xiàn)ast RCNN，F(xiàn)aster RCNN，以及目前最先進(jìn)的目標(biāo)檢測YOLO。

然后，我們介紹了SlimYOLOv3架構(gòu)，它是YOLO的修改版本，可用于實(shí)時(shí)目標(biāo)檢測。