本文翻譯自《ACM技術(shù)洞察》科學(xué)雜志上的一篇文章：《Survey on Digital Video Stabilization: Concepts, Methods, and Challenges》，原文鏈接如下：

1名深圳大學(xué)大三學(xué)生

2名中原工學(xué)院研一學(xué)生

1名安陽工學(xué)院大三學(xué)生

1名南通科技學(xué)院大三學(xué)生

我們在OpenHarmony成長計(jì)劃啃論文俱樂部里，與華為、軟通動(dòng)力、鴻湖萬聯(lián)等公司一起，學(xué)習(xí)和研究操作系統(tǒng)技術(shù)…

1.1 本文摘要

數(shù)字視頻穩(wěn)定是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，旨在通過平滑相機(jī)軌跡將可能不穩(wěn)定的視頻轉(zhuǎn)換為令人愉快的視頻。

穩(wěn)定可以借助硬件（穩(wěn)定器）的方式實(shí)現(xiàn)，也可以通過軟件算法的方式實(shí)現(xiàn)。本文談的是后者。

盡管在解決這一任務(wù)的文獻(xiàn)中發(fā)現(xiàn)了各種作品，但它們的組織和分析尚未受到太多關(guān)注。在這項(xiàng)工作中，我們根據(jù)提議的分類法對視頻穩(wěn)定的文獻(xiàn)進(jìn)行了全面回顧。介紹了該問題的正式定義，以及物理術(shù)語的簡要解釋。我們還就這一活躍領(lǐng)域的主要挑戰(zhàn)和未來趨勢進(jìn)行了全面討論。

1.2 數(shù)字視頻穩(wěn)定的定義

數(shù)字視頻穩(wěn)定就是通過平滑相機(jī)軌跡將可能不穩(wěn)定的視頻轉(zhuǎn)換為令人愉快的視頻。視頻可以表示為一系列照片（幀）。

圖中，真實(shí)世界裁剪（白色）產(chǎn)生的照片和視頻（藍(lán)色）的表示。左：以矩形表示的照片。中間和右側(cè)：以音量表示的穩(wěn)定和不穩(wěn)定視頻。

數(shù)字視頻穩(wěn)定就想解決不用設(shè)備（直接用手）的情況下，把視頻拍得好看，很有商業(yè)價(jià)值。

2.1 相機(jī)運(yùn)動(dòng)方法

我拿著相機(jī)，可以前后左右走，舉高舉低（第一個(gè)圖），我拍特別角度，拿著相機(jī)轉(zhuǎn)（第二個(gè)圖），合起來就是復(fù)雜運(yùn)動(dòng)（第三個(gè)圖）。

2.2數(shù)字視頻穩(wěn)定的一些方法

2.2.1 經(jīng)典的方法（三步走）：

數(shù)字視頻穩(wěn)定的典型過程涉及三個(gè)不同的步驟，如下圖所示：(1) 攝像機(jī)運(yùn)動(dòng)估計(jì)，(2) 不需要的運(yùn)動(dòng)確定，以及 (3) 穩(wěn)定視圖渲染。

2.2.2 基于深度學(xué)習(xí)的方法：

深度學(xué)習(xí)的方法提出了深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，以有監(jiān)督或無監(jiān)督的方式穩(wěn)定視頻。

3.1相機(jī)的估計(jì)運(yùn)動(dòng)

拍攝的過程中，人會(huì)帶著相機(jī)運(yùn)動(dòng)，拍攝的事物也會(huì)運(yùn)動(dòng)，組合起來就是表觀運(yùn)動(dòng)，也就是拍出來的東西。相機(jī)的估計(jì)運(yùn)動(dòng)就是通過表觀運(yùn)動(dòng)（拍出來的東西）估計(jì)出相機(jī)本身是怎么運(yùn)動(dòng)的。

相機(jī)運(yùn)動(dòng)估計(jì)技術(shù)地圖，主要講了估計(jì)出相機(jī)本身是怎么運(yùn)動(dòng)中2D（二維），3D（三維）和2.5D（混合方法）的一些處理方法，并且給出了相應(yīng)的描述和優(yōu)缺點(diǎn)比較：

表 1. 對數(shù)字視頻穩(wěn)定中攝像機(jī)運(yùn)動(dòng)估計(jì)的進(jìn)步做出貢獻(xiàn)的一些主要工作總結(jié)

3.2怎么確定不需要的運(yùn)動(dòng)

拍攝過程中因?yàn)椴槐匾亩秳?dòng)導(dǎo)致畫質(zhì)不好，這種運(yùn)動(dòng)需要確定，就是確定不需要的運(yùn)動(dòng)。

不需要的運(yùn)動(dòng)確認(rèn)技術(shù)地圖，主要講了為了去除的不需要的運(yùn)動(dòng)部分以獲得更平滑的路徑中基于過濾的方法，基于插值的方法，基于優(yōu)化的方法，并且給出了相應(yīng)的描述和優(yōu)缺點(diǎn)比較：

表 2. 有助于推動(dòng)數(shù)字視頻穩(wěn)定中的無用運(yùn)動(dòng)確定的一些主要工作總結(jié)

3.3穩(wěn)定視圖渲染

我們要處理一些丟失或者模糊的幀，也就是幀的修復(fù)。

穩(wěn)定渲染的技術(shù)地圖，主要講了渲染穩(wěn)定的幀中中基于填充的方法和基于裁剪的方法，并且給出了相應(yīng)的描述和優(yōu)缺點(diǎn)比較：

圖中，基于深度學(xué)習(xí)的方法中常用的方法。不穩(wěn)定的幀和一些時(shí)間信息提供給深度網(wǎng)絡(luò)，以在訓(xùn)練/推理階段預(yù)測穩(wěn)定/穩(wěn)定的幀。

深度學(xué)習(xí)數(shù)字視頻穩(wěn)定技術(shù)地圖，這種方法沒有明確地估計(jì)相機(jī)運(yùn)動(dòng)，但他們使用的是表觀運(yùn)動(dòng)。通常，不需要的運(yùn)動(dòng)的確定和移除是隱式完成的：網(wǎng)絡(luò)學(xué)習(xí)預(yù)測類似于真實(shí)穩(wěn)定視頻的視頻，以下就是給出論文技術(shù)的盤點(diǎn)：

表 4. 基于深度神經(jīng)網(wǎng)絡(luò)執(zhí)行數(shù)字視頻穩(wěn)定的方法總結(jié)

• 一些實(shí)際應(yīng)用可以受益于數(shù)字視頻穩(wěn)定及其開發(fā)所產(chǎn)生的知識(shí)。

• 需要更好地定義使用這些方法的場景。

• 與其計(jì)算機(jī)視覺領(lǐng)域類似，深度學(xué)習(xí)已成為近年來視頻穩(wěn)定的趨勢。

• 數(shù)字視頻穩(wěn)定文獻(xiàn)中的關(guān)鍵點(diǎn)之一是還沒有明確定義的評估指標(biāo)。

<本文完>

OpenHarmony 成長計(jì)劃—“啃論文俱樂部”（以下簡稱“啃論文俱樂部”）是在 2022年 1 月 11 日的一次日常活動(dòng)中誕生的。截至 3 月 31 日，啃論文俱樂部已有 87 名師生和企業(yè)導(dǎo)師參與，目前共有十二個(gè)技術(shù)方向并行探索，每個(gè)方向都有專業(yè)的技術(shù)老師帶領(lǐng)同學(xué)們通過啃綜述論文制定技術(shù)地圖，按“降龍十八掌”的學(xué)習(xí)方法編排技術(shù)開發(fā)內(nèi)容，并通過專業(yè)推廣培養(yǎng)高校開發(fā)者成為軟件技術(shù)學(xué)術(shù)級人才。

啃論文俱樂部的宗旨是希望同學(xué)們在開源活動(dòng)中得到軟件技術(shù)能力提升、得到技術(shù)寫作能力提升、得到講解技術(shù)能力提升。大學(xué)一年級新生〇門檻參與，已有俱樂部來自多所高校的大一同學(xué)寫出高居榜首的技術(shù)文章。

如今，搜索“啃論文”，人們不禁想到、而且看到的都是我們——OpenHarmony 成長計(jì)劃—“啃論文俱樂部”的產(chǎn)出。

OpenHarmony開源與開發(fā)者成長計(jì)劃—“啃論文俱樂部”學(xué)習(xí)資料合集

1）入門資料：啃論文可以有怎樣的體驗(yàn)

https://docs.qq.com/slide/DY0RXWElBTVlHaXhi?u=4e311e072cbf4f93968e09c44294987d

2）操作辦法：怎么從啃論文到開源提交以及深度技術(shù)文章輸出https://docs.qq.com/slide/DY05kbGtsYVFmcUhU

3）企業(yè)/學(xué)校/老師/學(xué)生為什么要參與 & 啃論文俱樂部的運(yùn)營辦法https://docs.qq.com/slide/DY2JkS2ZEb2FWckhq

4）往期啃論文俱樂部同學(xué)分享會(huì)精彩回顧：

同學(xué)分享會(huì)No1.成長計(jì)劃啃論文分享會(huì)紀(jì)要（2022/02/18）https://docs.qq.com/doc/DY2RZZmVNU2hTQlFY

同學(xué)分享會(huì)No.2 成長計(jì)劃啃論文分享會(huì)紀(jì)要（2022/03/11）https://docs.qq.com/doc/DUkJ5c2NRd2FRZkhF

同學(xué)們分享會(huì)No.3 成長計(jì)劃啃論文分享會(huì)紀(jì)要（2022/03/25）

https://docs.qq.com/doc/DUm5pUEF3ck1VcG92?u=4e311e072cbf4f93968e09c44294987d

現(xiàn)在，你是不是也熱血沸騰，摩拳擦掌地準(zhǔn)備加入這個(gè)俱樂部呢？當(dāng)然歡迎啦！啃論文俱樂部向任何對開源技術(shù)感興趣的大學(xué)生開發(fā)者敞開大門。

掃碼添加 OpenHarmony 高校小助手，加入“啃論文俱樂部”微信群

后續(xù)，我們會(huì)在服務(wù)中心公眾號陸續(xù)分享一些 OpenHarmony 開源與開發(fā)者成長計(jì)劃—“啃論文俱樂部”學(xué)習(xí)心得體會(huì)和總結(jié)資料。記得呼朋引伴來看哦。