我們這一年來做的一些工作（總結(jié)見文章最下方）現(xiàn)在差不多形成了一個(gè)較完善的計(jì)算機(jī)視覺工具鏈——CVChain。我們這一年來做的一些工作（總結(jié)見文章最下方）現(xiàn)在差不多形成了一個(gè)較完善的計(jì)算機(jī)視覺工具鏈——CVChain。

縱向上它涵蓋了一個(gè)計(jì)算機(jī)視覺任務(wù)的生命周期：數(shù)據(jù)分析與模型選型、模型訓(xùn)練、發(fā)現(xiàn)模型存在的問題并優(yōu)化、模型加速、模型SDK編寫；橫向上它包含了計(jì)算機(jī)視覺中三個(gè)基本任務(wù)：分類、語(yǔ)義分割、目標(biāo)檢測(cè)；與此同時(shí)它還總結(jié)了計(jì)算機(jī)視覺入門到進(jìn)階的學(xué)習(xí)框架。一言以蔽之：有了CVChain，媽媽再也不用擔(dān)心我搞不定計(jì)算機(jī)視覺！

CVChain是我們平常做項(xiàng)目或者打比賽過程中打磨出來的，它們可以滿足計(jì)算機(jī)視覺算法工程師日常大部分需求，比如：

1.剛踏入計(jì)算機(jī)視覺領(lǐng)域，不知道從何學(xué)起，需要一張學(xué)習(xí)的地圖：

https://github.com/mileistone/study_resources/blob/master/modeling/learning_framework/learning_framework_general.md

部分示例

帶著自己一步一步領(lǐng)略計(jì)算機(jī)視覺的風(fēng)采；

2.已經(jīng)成為一名合格的計(jì)算機(jī)視覺算法工程師，開始接任務(wù)。當(dāng)任務(wù)來了，需要分析數(shù)據(jù)分析數(shù)據(jù)以進(jìn)行模型選型、模型超參的初步設(shè)定；

https://github.com/Media-Smart/volkscv/tree/master/volkscv/analyzer/statistics

3.模型確定后，得訓(xùn)練模型（可能涉及到分類、語(yǔ)義分割、文字識(shí)別、目標(biāo)檢測(cè)等等），這個(gè)時(shí)候需要一個(gè)趁手的訓(xùn)練工具；

分類：
https://github.com/Media-Smart/vedacls

語(yǔ)義分割
https://github.com/Media-Smart/vedaseg

示例

文字識(shí)別
https://github.com/Media-Smart/vedastr

示例

目標(biāo)檢測(cè)
https://github.com/Media-Smart/vedadet

4.模型訓(xùn)練完之后，效果不夠好，我們需要把FP、FN打印出來，分析模型存在的問題；

https://github.com/Media-Smart/volkscv/tree/master/volkscv/analyzer/visualization

5.模型訓(xùn)練好之后，需要將模型轉(zhuǎn)換為應(yīng)用并進(jìn)行部署，這里需要用TensorRT對(duì)模型進(jìn)行加速，然后根據(jù)業(yè)務(wù)需求編寫Python前端或者C++前端的SDK；

加速
https://github.com/Media-Smart/volksdep

Python前端
https://github.com/Media-Smart/flexinfer

示例

C++前端
https://github.com/Media-Smart/cheetahinfer

6.計(jì)算機(jī)行業(yè)競(jìng)爭(zhēng)激烈，平常得抽空加強(qiáng)學(xué)習(xí)，無論是工程、模型還是算法方面，都需要持續(xù)不斷學(xué)習(xí)，把自己訓(xùn)練為一名六邊形戰(zhàn)士。

工程
https://github.com/mileistone/study_resources/tree/master/engineering

模型
https://github.com/mileistone/study_resources/tree/master/modeling

算法
https://github.com/mileistone/study_resources/tree/master/modeling/optimization_and_generalization

上述的“2、數(shù)據(jù)分析”提供以下功能。

1、瀏覽圖片和標(biāo)注

比如分類、目標(biāo)檢測(cè)、語(yǔ)義分割等等，這可以幫助我們對(duì)數(shù)據(jù)有一個(gè)感性的認(rèn)識(shí)，可以定性出來這個(gè)任務(wù)有哪些挑戰(zhàn)。

2、圖片和標(biāo)注分析

比如圖片大小分布，圖片長(zhǎng)寬比分布，圖片中GT框數(shù)量分布，GT框長(zhǎng)寬分布等等，這可以讓我們對(duì)數(shù)據(jù)有一些理性的認(rèn)識(shí)，讓我們可以定量這個(gè)任務(wù)存在的挑戰(zhàn)。

3、打印模型預(yù)測(cè)結(jié)果中的FP、FN

比如分類。

比如目標(biāo)檢測(cè)。

比如語(yǔ)義分割。

打印FP、FN可以讓我們發(fā)現(xiàn)模型存在的問題，進(jìn)而有助于我們分析問題、定位問題直至解決問題。

4、anchor分析

比如GT匹配上的anchor數(shù)量分布，GT與匹配上anchor的IoU分布等等。這有助于我們?cè)O(shè)計(jì)出更好的anchor策略，比如anchor應(yīng)該放在哪幾層，每一層anchor數(shù)量應(yīng)該設(shè)置多少，對(duì)應(yīng)的大小和長(zhǎng)寬比是多少，以及l(fā)abel assignment該怎么做等等。

匯總

https://github.com/Media-Smart/vedaseg

https://github.com/Media-Smart/vedastr

https://github.com/Media-Smart/vedacls

https://github.com/Media-Smart/vedadet

Media-Smart/volksdep,https://github.com/Media-Smart/volksdep

Media-Smart/flexinfer,https://github.com/Media-Smart/flexinfer

https://github.com/Media-Smart/cheetahinfer

https://github.com/Media-Smart/volkscv

https://github.com/mileistone/study_resources

- 數(shù)據(jù)分析 - [volkscv](https://github.com/Media-Smart/volkscv/tree/master/volkscv/analyzer/) - 數(shù)據(jù)瀏覽 -> 獲取感性認(rèn)識(shí) - 圖片、標(biāo)注 - 數(shù)據(jù)統(tǒng)計(jì) -> 獲取理性認(rèn)識(shí) - 圖片統(tǒng)計(jì) - 大小 - 長(zhǎng)寬比 - 等等 - 標(biāo)注統(tǒng)計(jì) - 類別 - 各個(gè)類別有多少實(shí)例 - 等等 - GT框 - 大小 - 長(zhǎng)寬比 - 等等 - anchor分析 - GT掛上anchor的數(shù)量分布 - GT與掛上anchor的IoU分布- 模型訓(xùn)練 - [vedaseg](https://github.com/Media-Smart/vedaseg) - semantic segmentation - [vedastr](https://github.com/Media-Smart/vedastr) - scene text recognition - [vedacls](https://github.com/Media-Smart/vedacls) - classification - [vedadet](https://github.com/Media-Smart/vedadet) - object detection - 應(yīng)用部署 - [volksdep](https://github.com/Media-Smart/volksdep) - increase efficiency and decrease latency - convert PyTorch，ONNX model to TensorRT engine - [flexinfer](https://github.com/Media-Smart/flexinfer) -> Python front end SDK based on TensorRT engine - classification - semantic segmentation - scene text recognition - object detection - [cheetahinfer](https://github.com/Media-Smart/cheetahinfer) -> C++ front end SDK based on TensorRT engine - classification - semantic segmentation - object detection- 學(xué)習(xí)資源 - [學(xué)習(xí)框架]

(https://github.com/mileistone/study_resources/tree/master/modeling/learning_framework) - 知識(shí)點(diǎn) - 相關(guān)課程與書籍 - 基礎(chǔ) - [工程](https://github.com/mileistone/study_resources/tree/master/engineering) - 編程語(yǔ)言 - Python - C++ - 軟件工程 - 設(shè)計(jì)模式 - 操作系統(tǒng) - Linux - Bash - Vim - 編譯工具鏈 - [模型](https://github.com/mileistone/study_resources/tree/master/modeling) - 內(nèi)容 - 機(jī)器學(xué)習(xí) - 深度學(xué)習(xí) - 計(jì)算機(jī)視覺 - 形式 - 課程 - 書籍 - 論文 - [算法](https://github.com/mileistone/study_resources/tree/master/modeling/optimization_and_generalization) - 凸優(yōu)化 - 數(shù)值優(yōu)化

責(zé)任編輯：xj

原文標(biāo)題：CVChain：一條用視覺競(jìng)賽和項(xiàng)目經(jīng)驗(yàn)打磨出的計(jì)算機(jī)視覺完整工具鏈

文章出處：【微信公眾號(hào)：新機(jī)器視覺】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。