點(diǎn)贊再看，養(yǎng)成習(xí)慣，微信公眾號(hào)搜索【JackCui-AI】關(guān)注這個(gè)愛(ài)發(fā)技術(shù)干貨的程序員。本文 GitHub https://github.com/Jack-Cherish/PythonPark 已收錄，有一線大廠面試完整考點(diǎn)、資料以及我的系列文章。

1 前言

剛剛過(guò)去的 2020 年 ECCV，有一項(xiàng) AI“隱身”技術(shù)引人矚目。

正在坐秋千的小孩，突然只剩下秋千架。

讓漫步的行人消失，讓奔馳的汽車(chē)消失。

這么好玩的 AI 算法，你想學(xué)嗎？

老規(guī)矩，今天，繼續(xù)手把手教學(xué)。

算法原理、環(huán)境搭建、效果實(shí)現(xiàn)，一條龍服務(wù)，盡在下文！

2 FGVC

FGVC 的作者是一位 90 后北京小伙，目前在弗吉尼亞理工大學(xué)計(jì)算機(jī)工程專業(yè)就讀博士三年級(jí)，師從華人教授 Jia-Bin Huang。

FGVC 算法本質(zhì)上是一個(gè)基于光流法的視頻修復(fù)算法。

光流法是視域中物體運(yùn)動(dòng)檢測(cè)的概念，其用于描述運(yùn)動(dòng)所造成的觀測(cè)目標(biāo)、表面或邊緣的運(yùn)動(dòng)，主要應(yīng)用于計(jì)算機(jī)視覺(jué)和影像處理等。

使用光流法，可尋到不同幀之間的關(guān)系，并通過(guò)在不同幀之間傳播信息來(lái)補(bǔ)全視頻。

FGVC 主要包含三個(gè)步驟：Flow completion、Temporal propagation、Fusion。

Flow completion：具體操作時(shí)，要計(jì)算相鄰幀之間的正向光流和反向光流、以及一組非相鄰幀 (Non-local) 的正向光流和反向光流。

Temporal propagation：按照光流的軌跡，為每個(gè)丟失的像素找到一組候選像素，對(duì)于每個(gè)候選幀，都要估計(jì)一個(gè)置信分?jǐn)?shù)以及一個(gè)二進(jìn)制有效性指標(biāo)。

Fusion：使用置信加權(quán)平均值，將每個(gè)缺失像素的候選像素與至少一個(gè)有效候選像素融合。對(duì)于沒(méi)有候選像素，則使用一個(gè)關(guān)鍵幀，并使用單個(gè)圖像補(bǔ)全技術(shù)來(lái)填充它。

更具體的原理，比如邊緣引導(dǎo)的光流補(bǔ)充等，可以去「啃下」論文，學(xué)習(xí)一下。

Paper 地址：

https://arxiv.org/abs/2009.01835

3 環(huán)境配置

想要測(cè)試算法效果，先要部署下開(kāi)發(fā)環(huán)境。

Github 開(kāi)源項(xiàng)目地址：

https://github.com/vt-vl-lab/...

Github 下載慢的，可以下載我已經(jīng)打包的代碼（提取碼：jack）：

https://pan.baidu.com/s/1t/_EDDDgMCHBS83QFywuFdg

這里推薦使用 Anaconda 完成部署，不知道 conda 用法的，可以看下我寫(xiě)過(guò)的另一篇基礎(chǔ)教程：

《別再折騰開(kāi)發(fā)環(huán)境了，一勞永逸的搭建方法》

FGVC 算法依賴于另外兩個(gè)算法 DeepFill 和 RAFT。

所以，可以創(chuàng)建兩個(gè)虛擬環(huán)境 FGVC 和 raft。

FGVC 環(huán)境使用 PyTorch 0.4.0，并配置算法 DeepFill 的環(huán)境。

DeepFill 環(huán)境配置方法：

https://github.com/nbei/Deep-...

直接使用指令安裝依賴庫(kù)：

pip install -r requirements.txt

raft 環(huán)境使用 PyTorch 1.6.0，并配置算法 RAFT 的環(huán)境。

RAFT 環(huán)境配置方法：

https://github.com/princeton-...

這里比較簡(jiǎn)單，使用 conda 安裝需要的庫(kù)即可。

都配置完畢，就可以測(cè)試算法效果了！

4 效果測(cè)試

先激活 raft 虛擬環(huán)境，直到運(yùn)行結(jié)果出現(xiàn)提示：

「Please switch to Pytorch 0.4.0」

然后切換到 FGVC 虛擬環(huán)境，然后再運(yùn)行一次代碼。

Object removal：

cd tool

FOV extrapolation：

cd tool

想要計(jì)算速度更快些，可以去掉 seamless 參數(shù)。

算法需要 rgb 圖片和 mask 圖片，這些數(shù)據(jù)是已知的，想要去除什么物體，給個(gè)物體的 mask 即可。

運(yùn)行效果示意圖：

5 最后

關(guān)注我?guī)阃孓D(zhuǎn)各種好玩的 AI 算法，我是 Jack Cui，我們下期見(jiàn)！

作者：Jack Cui
原文：https://mp.weixin.qq.com/s/2c...
關(guān)注作者公眾號(hào)，獲取更多有趣AI應(yīng)用~

系列篇

• 偷天換日，逼真的天空置換算法
• 太強(qiáng)了！基于深度學(xué)習(xí)的文本自動(dòng)解密算法

更多AIoT領(lǐng)域有趣的算法應(yīng)用及產(chǎn)品請(qǐng)關(guān)注有趣的AIoT應(yīng)用專欄。

審核編輯：符乾江