視頻理解是計(jì)算機(jī)視覺中的重要任務(wù)，近年來隨著深度學(xué)習(xí)特別是監(jiān)督學(xué)習(xí)的應(yīng)用視頻理解取得了飛速的發(fā)展，例如視頻行為分類和視頻片段總結(jié)等任務(wù)都取得了令人矚目的成果。

不過，現(xiàn)實(shí)生活中很多場景的應(yīng)用視頻片段需要不止一個(gè)標(biāo)簽來提供足夠的信息。舉個(gè)例子，機(jī)器人往杯子里倒水，一個(gè)簡單的“傾倒液體”標(biāo)簽不足以預(yù)測出杯子何時(shí)倒?jié)M，機(jī)器人需要逐幀追蹤杯中的水量。再比如說，在運(yùn)動(dòng)分析領(lǐng)域，棒球教練不僅僅想要看到投球的動(dòng)作，而是想精確地分析投手投出棒球離手的一瞬間，單一的視頻標(biāo)簽不足以完成這樣的視頻檢索任務(wù)。這意味著視頻理解模型需要逐幀理解視頻的能力。

然而如果使用監(jiān)督學(xué)習(xí)的方法將會使學(xué)習(xí)成本變得非常昂貴，這需要針對視頻里每一幀的動(dòng)作進(jìn)行細(xì)粒度的標(biāo)注，訓(xùn)練不同的動(dòng)作還需要新的標(biāo)注來提供監(jiān)督信號。但從機(jī)器人到運(yùn)動(dòng)分析等領(lǐng)域，細(xì)粒度的視頻理解有著很強(qiáng)的需求，那么如何在不需要大量標(biāo)簽的情況下對視頻進(jìn)行學(xué)習(xí)以理解細(xì)粒度的信息呢？

來自谷歌的研究人員們提出了一種稱為時(shí)間循環(huán)一致性學(xué)習(xí)（Temporal Cycle-Consistency Learning，TCC）的自監(jiān)督方法。通過學(xué)習(xí)不同樣本相似過程的表示來實(shí)現(xiàn)細(xì)粒度的時(shí)域視頻理解，為逐幀視頻檢索、動(dòng)作分析、視頻同步和多模態(tài)遷移提供了新的解決方案。

基于TCC的視頻表示學(xué)習(xí)

世間的萬事萬物發(fā)展的過程都有特定的規(guī)律，從嫩芽到參天大樹的植物生長到起床上班回家兩點(diǎn)一線的996工作，再到簡單倒水的動(dòng)作都在時(shí)間上滿足一定的順序。

多個(gè)不同實(shí)例的相同過程可以從視頻捕捉到的信息中找到對應(yīng)的聯(lián)系。全世界的人往容器中倒水動(dòng)作都差不多，無論對象是茶壺、酒瓶、水壺都有著相似的過程。其中傾倒液體的關(guān)鍵時(shí)刻在多個(gè)不同的視頻中都有著相同的特性——都需要舉起起一個(gè)容器向另一個(gè)容器中傾倒，而視頻中的其他特性則與拍攝的視角、光照、環(huán)境、尺度、容器以及速度有關(guān)。TCC的關(guān)鍵在于通過循環(huán)一致性的原則，從多個(gè)視頻中尋找出對應(yīng)的相同動(dòng)作。

算法的目標(biāo)在于訓(xùn)練出一個(gè)有效的幀編碼器來獲取對應(yīng)動(dòng)作的表示編碼。研究人員首先將兩個(gè)待配準(zhǔn)的視頻傳入編碼器中獲取對應(yīng)的嵌入信息，而后選擇兩個(gè)視頻來進(jìn)行TCC的訓(xùn)練，其中video1作為參考視頻，從中取出一幀并利用最鄰近方法在嵌入空間中找到video2中最為近似的一幀；而后以video2中找到的這一幀作為輸入，從新到嵌入空間中尋找video中對應(yīng)的幀（circle過程）。如果學(xué)習(xí)出的嵌入空間具有循環(huán)一致性的話，這一幀和先前輸入video1的參考幀應(yīng)該是同一幀。

上圖中可以看到，左邊的嵌入在循環(huán)檢索后對應(yīng)原來的幀，說明循環(huán)一致性得到滿足；而右邊的嵌入在循環(huán)檢索后獲取的幀與輸入的幀有差異，則表示這一嵌入的循環(huán)一致性沒有得到滿足，他們在嵌入空間中的差值就表示為循環(huán)一致性損失。模型的訓(xùn)練過程通過不斷提高對于每個(gè)視頻幀的語義理解來減小循環(huán)一致性誤差。充分訓(xùn)練后的TCC可以學(xué)習(xí)出時(shí)域的細(xì)粒度理解能力，并能夠有效對齊相關(guān)的視頻。

TCC學(xué)習(xí)到的表達(dá)

研究人員隨后驗(yàn)證了TCC學(xué)習(xí)到的表達(dá)，是否有效理解了多個(gè)視頻中的相似動(dòng)作。實(shí)驗(yàn)在Penn Action數(shù)據(jù)集上進(jìn)行，研究人員將多個(gè)包含人體深蹲訓(xùn)練的視頻利用T后發(fā)現(xiàn)了空間可視化學(xué)習(xí)到的隱含特征。

左圖中亮度較高的點(diǎn)是當(dāng)前幀對應(yīng)的表示。紫色為輸入的參考視頻，其余為其他視頻中檢索到的最鄰近幀?？梢钥吹诫m然各個(gè)視頻的角度、場景、主體不同，但對應(yīng)的嵌入表示和對應(yīng)的視頻幀卻以相同的趨勢在運(yùn)動(dòng)，TCC有效地將深蹲動(dòng)作的不同過程進(jìn)行了編碼而無需顯式的人工標(biāo)注。

TCC的潛在應(yīng)用

由于這種方法可以有效學(xué)習(xí)逐幀視頻的遷移表達(dá)可廣泛應(yīng)用于小樣本視頻動(dòng)作分類、無監(jiān)督視頻對齊、多模態(tài)遷移和逐幀視頻檢索。

小樣本動(dòng)作階段分類。當(dāng)只有很少的標(biāo)注視頻樣本時(shí)，TCC方法可以有效地將不同動(dòng)作階段進(jìn)行分類。研究人員將基于TCC的方法與監(jiān)督學(xué)習(xí)方法進(jìn)行比較，可以發(fā)現(xiàn)只用一個(gè)完全標(biāo)記的視頻樣本訓(xùn)練就可與監(jiān)督學(xué)習(xí)需要五十個(gè)標(biāo)注的視頻樣本訓(xùn)練獲得同樣的效果。下圖中可以看到TCC方法在兩種動(dòng)作識別中小樣本學(xué)習(xí)的良好表現(xiàn)。

對齊或同步視頻。當(dāng)視頻的數(shù)量增加時(shí)對齊或同步不同視頻間的動(dòng)作將會是耗時(shí)耗力的工作，但利用TCC多個(gè)視頻的同步可以利用參考視頻的幀來在每個(gè)目標(biāo)視頻中尋找最鄰近的幀實(shí)現(xiàn)對齊：

視頻標(biāo)簽/模態(tài)遷移。由于TCC可以在嵌入空間中找到每一幀對應(yīng)的最鄰近幀進(jìn)行視頻匹配，所以這種方法還可以將視頻對應(yīng)的元數(shù)據(jù)進(jìn)行遷移，包括時(shí)域語義標(biāo)簽或者音頻數(shù)據(jù)。研究人員展示了一個(gè)可以把倒水的聲音遷移到一段沒有聲音的視頻上，倒水的聲音別成功遷移到了倒牛奶的視頻上了，甚至放瓶子的聲音也很逼真！

逐幀視頻檢索。TCC還可以作為關(guān)鍵幀在嵌入空間中用于視頻中相似幀的檢索。學(xué)習(xí)出的嵌入表達(dá)具有很強(qiáng)的分辨能力，可以區(qū)分出某一個(gè)動(dòng)作前后的相鄰幀。

研究人員還將整個(gè)工作的代碼開源，不僅包括了TCC，還包括了多個(gè)先進(jìn)自監(jiān)督方法的實(shí)現(xiàn)，將為會視頻理解的研究以及藝術(shù)家利用視頻同步進(jìn)行創(chuàng)作帶來很大的幫助。