本文整理了北京大學(xué)教授馬思偉在 RTC 2018 實(shí)時(shí)互聯(lián)網(wǎng)大會(huì)上的分享，從技術(shù)、編碼與傳輸角度，分享了媒體編碼的現(xiàn)狀與未來(lái)，以及 AVS 編碼標(biāo)準(zhǔn)的技術(shù)現(xiàn)狀。

我的演講主題是《新媒體編碼時(shí)代》。這里的“新”有兩個(gè)含義，第一是指新時(shí)代，技術(shù)與應(yīng)用場(chǎng)景出現(xiàn)創(chuàng)新；第二是指媒體“新”，需要編碼的材料數(shù)據(jù)改變了。

我在 RTC 2017 曾講過(guò)《視頻編碼未來(lái)簡(jiǎn)史》。當(dāng)時(shí)叫視頻編碼新時(shí)代（如上圖圖解），革命之一是采集革命，采集的數(shù)據(jù)發(fā)生了變化，視頻從標(biāo)清向高清、超高清方向發(fā)展。還有其它的一些數(shù)據(jù)，包括光場(chǎng)、點(diǎn)云、神經(jīng)脈沖。理論也有很多，包括傳統(tǒng)的奈奎斯特采樣、壓縮感知。

革命之二是計(jì)算革命，編碼計(jì)算提升了很多，有 CPU、GPU、NPU，計(jì)算能力的提升使得原先因太過(guò)復(fù)雜而無(wú)法使用的算法變得可用了，提高了編碼效率。

第三個(gè)是認(rèn)知革命，數(shù)據(jù)處理有了新的方法，處理能力更強(qiáng)了，業(yè)界談的比較多的方法就是深度學(xué)習(xí)。

基于這三個(gè)革命，編碼在朝智能編碼的方向發(fā)展。其實(shí)，智能編碼并不是新概念，80年代后期到90年代中期，業(yè)界一直在講智能編碼。不過(guò)，到現(xiàn)在為止智能編碼還始終處于第二代。

今天，我從三方面講：新媒體，我們看到新的數(shù)據(jù)類型要編碼；新技術(shù)，技術(shù)從編碼、傳輸、跨媒體智能講，我們朝智能方向發(fā)展了；新應(yīng)用，一般是大家說(shuō)的 4K、8K、VR 這些應(yīng)用。

1

新媒體編碼時(shí)代：新媒體

首先講新媒體。很多人介紹自己專業(yè)的時(shí)候通常說(shuō)我是做數(shù)字媒體技術(shù)的，或多媒體技術(shù)的。我們要把媒體和技術(shù)分開來(lái)看，所謂的技術(shù)是計(jì)算機(jī)對(duì)媒體的處理技術(shù)。在以前“通信基本靠吼，交通基本靠走”的年代，沒(méi)有媒體，后來(lái)出現(xiàn)了文字，再后來(lái)，聲音、視頻、圖像可以保存，隨后催生了新的產(chǎn)業(yè)。接著出現(xiàn)了 3D、AR、VR，最后到智能媒體?？偟膩?lái)說(shuō)，技術(shù)催生新媒體的誕生，這是關(guān)于媒體的介紹?，F(xiàn)在提的比較多的凡是包含三維信息比如光場(chǎng)、點(diǎn)云的媒體都統(tǒng)稱為新媒體、三維媒體，這些不是新名詞，只是現(xiàn)在我們強(qiáng)調(diào)的越來(lái)越多。

關(guān)于沉浸媒體，在今年的 ACM Multimedia Systems 大會(huì)上，Philip Chou 提出，“Holograms are the Next Video”。在他看來(lái)，全息是下一代視頻。上面有兩個(gè)圖，1977年的星球大戰(zhàn)電影里，出現(xiàn)了光場(chǎng)投影，是那時(shí)候我們最初對(duì)三維沉浸媒體的想象。右圖則是2018年的想象。我們已經(jīng)想象了40多年。Philip Chou 在會(huì)上有兩句話我印象很深刻，一句話是“Hologram compression today is like video compression in 1988”。王田博士也講到，今天的點(diǎn)云編碼水平，相當(dāng)于 30 年前視頻編碼的水平。1988 年時(shí) MPEG 剛剛成立，當(dāng)時(shí)只有 JPEG。MPEG1-VCD 是在 1992 年才出現(xiàn)的。另一句話是關(guān)于流媒體的，“Hologram streaming today is like video treaming in 1997”。1997 年，國(guó)際會(huì)議在討論流媒體技術(shù)。我想，當(dāng)初討論流媒體技術(shù)的人看到今天互聯(lián)網(wǎng)流媒體的發(fā)展，應(yīng)該是感到很震驚的。還有一句話，“如果你看到了視頻的發(fā)展趨勢(shì)，那么你一定會(huì)同樣看到全息的趨勢(shì)。”所以，沉浸媒體是未來(lái)的趨勢(shì)。

關(guān)于沉浸媒體提供的感覺，主要有三類：視覺、聽覺、交互。視覺要提供更高分辨率，分辨率上去之后才更清楚、更清晰。聽覺方面，要高質(zhì)量、三維全景聲，感覺好比演唱會(huì)、演奏會(huì)。交互方面，講求低延時(shí)、交互自然。

沉浸式媒體的系統(tǒng)是比較復(fù)雜的，從前端采集到中間編碼傳輸?shù)胶蠖孙@示時(shí)間，每個(gè)模塊都是相互關(guān)系很強(qiáng)的，每個(gè)模塊都得做好才能呈現(xiàn)好的效果。

相關(guān)的組織都在做很多的研究，大概可以分成上圖這樣幾個(gè)層次，第一個(gè)層次是關(guān)于最基本的數(shù)據(jù)的表示，看到的 JEPG 圖像、MPEG 視頻、IEEE、AVS；中間層是關(guān)于應(yīng)用，比如 VR-IF，3GPP 等國(guó)際組織都在演講。上層是體驗(yàn)，用戶端體驗(yàn)做不好用戶肯定不接受，包括 ITU-T、VQEG、QUALINET 等組織。

我們今天關(guān)心的主要是最底層的編碼技術(shù)表示。今天另一場(chǎng)演講中，王田老師提到了沉浸式媒體，這是 MPEG 目前做的工作標(biāo)準(zhǔn)。這些技術(shù)的應(yīng)用從早先 MPEG1、2，后來(lái)到了 MPEG4，H.265 等等。

我們今天主要說(shuō)的是 MPEG-I，沉浸式媒體。上圖是 MPEG-I 的發(fā)展路線圖，只包含視覺相關(guān)的，不包含音頻的內(nèi)容。其中之一是關(guān)于 New Video Codec，還有點(diǎn)云，從靜態(tài)對(duì)象到動(dòng)態(tài)對(duì)象，以及光場(chǎng)，包括相機(jī)陣列等。

我們熟悉的是手機(jī)上數(shù)碼相機(jī)上都在用的 JPG。但實(shí)際上 JPEG 做了很多，其中一個(gè)是 XL，新一代圖像壓縮；另一個(gè)是 PLENO，光場(chǎng)圖像壓縮。

AVS 一直都在做高效視頻編碼，做的是面向廣播的編碼。從 2002 年開始，至今已經(jīng) 16 年了。2006 年成為國(guó)家標(biāo)準(zhǔn)，進(jìn)展比較快，2012 年能 AVS 成為廣電行標(biāo)，2016 年 AVS2 成為廣電行標(biāo)，也是國(guó)家標(biāo)準(zhǔn)。目前在4K的超清廣播應(yīng)用比較多，今年 10 月做試運(yùn)行，明年北京冬奧會(huì)會(huì)有 4K 的超清廣播。對(duì)于 VR，AVS 有一個(gè) HV 的工作組，有專門面向 VR 的HV1857.9視頻標(biāo)準(zhǔn)。

先普及一下沉浸式視頻的多維度屬性。包括分辨率，從標(biāo)清到高清到超高清，有更高的幀率、更高的采樣精度，更多的模型數(shù)據(jù)，色域更豐富。

全景視頻方面，視場(chǎng)角中的 1° 能看到 60 個(gè)像素就可以達(dá)到視網(wǎng)膜級(jí)別。如果是 4K ，視角是 36°，平均下來(lái)每度 100 多個(gè)像素。有時(shí)候說(shuō)看 4K 就夠了，不需要 8K 了，依據(jù)是從這兒來(lái)的。但實(shí)際上，8K 之后視角變得更大，也需要更高的像素。如果以這個(gè)算目前的 4K 全景，平均下來(lái) 1° 只有 11 個(gè)像素，離 4K 高清差的很遠(yuǎn)。為什么 4K 全景質(zhì)量差？因?yàn)楸旧?a target="_blank">信號(hào)提供的就不夠。如果要做全景視頻，按照前面的分辨率算的話，像素值至少要到 22Kx11K，完全全景的話要 24Kx12K。計(jì)算下來(lái)數(shù)據(jù)量達(dá)到 4Gbps，只能等 5G 技術(shù)的到來(lái)。

還有其他媒體，點(diǎn)云、網(wǎng)格、光場(chǎng)、深度之間都可以轉(zhuǎn)換處理，不止體現(xiàn)在數(shù)據(jù)格式上轉(zhuǎn)換處理，后面編碼的時(shí)候也可以做相應(yīng)的融合。

剛才看到的都是比較傳統(tǒng)的相機(jī)采集的數(shù)據(jù)進(jìn)行編碼，現(xiàn)在已經(jīng)出現(xiàn)了另外一種形式的采集，是在仿生的采集（如上圖）。原理是這樣的。首先，視頻采集的數(shù)據(jù)量很大，尤其是運(yùn)動(dòng)速度很快的時(shí)候，普通的相機(jī)采集的話都會(huì)出現(xiàn)模糊。第二，我們采集完這些視頻再做處理，做特征的提取，進(jìn)行對(duì)象的分析識(shí)別。這個(gè)處理過(guò)程與人的視覺識(shí)別處理是相差很遠(yuǎn)的。第一個(gè)問(wèn)題，人眼是每秒 30 幀嗎？肯定不是，因?yàn)槿搜鄣墨@取原理本身就和傳統(tǒng)相機(jī)不一樣。那么仿生采集指的就是后端傳輸?shù)氖巧窠?jīng)脈沖信號(hào)，當(dāng)環(huán)境中要測(cè)那個(gè)點(diǎn)發(fā)生變化時(shí)才傳輸信號(hào)，這個(gè)原理與普通的相機(jī)采集不一樣。但是傳輸神經(jīng)脈沖信號(hào)后如何進(jìn)行編碼，到現(xiàn)在也沒(méi)有完全解決。我們可以看下面這個(gè)視頻，它直觀解釋了傳統(tǒng)相機(jī)采集與仿生采集的區(qū)別。

2

新媒體編碼時(shí)代：新技術(shù)

現(xiàn)在已經(jīng)進(jìn)入第三代標(biāo)準(zhǔn)時(shí)期。MPEGY 有 VVC（VersatileVideoCoding），俗稱是萬(wàn)能的。AV1、AVS3，都是第三代標(biāo)準(zhǔn)。

視頻編碼做了這么多代標(biāo)準(zhǔn)，做編碼的人會(huì)問(wèn)編碼效率做了這么多優(yōu)化，繼續(xù)做下去有沒(méi)有意義？

有一個(gè)經(jīng)濟(jì)學(xué)的悖論：提升資源消耗效率，結(jié)果消耗的資源更多。比如，要提高煤炭的燃燒效率，后來(lái)煤炭的燃燒效率提上去了，煤燒得更多了。原理是效率支撐了更多的需求，從而帶來(lái)了更多資源的消耗。帶寬傳送也是一樣，如果我們提升帶寬，進(jìn)一步提升壓縮效率，全景視頻、點(diǎn)云等新的應(yīng)用就會(huì)跟著來(lái)，然后帶寬消耗還會(huì)更高。從這個(gè)角度來(lái)看，需要更高效的壓縮技術(shù)。

再看編碼的具體技術(shù)，下圖是我們熟悉的框架，編碼所做的工作非常精細(xì)、瑣碎。整個(gè)工程就像手表里一個(gè)個(gè)連接的小齒輪、大齒輪。我們的工作就是刪掉其中一個(gè)齒輪或者把幾個(gè)齒輪并成一個(gè)齒輪，并讓表跑得更準(zhǔn)，更省電。

在AVS3 的時(shí)間規(guī)劃上，預(yù)計(jì)明年 8 月份會(huì)發(fā)布第一版，第一版是復(fù)雜度和效率做的比較平衡的一版。2021 年會(huì)發(fā)布第二版，最終目標(biāo)是面向8K、VR、流媒體等應(yīng)用，編碼效率比 AVS2 再高一倍。AVS3 的特征可以這從兩方面看，傳統(tǒng)技術(shù) AVS 在做很多研究，包括塊劃分、運(yùn)動(dòng)預(yù)測(cè)、變換等；智能方面也有研究，，用神經(jīng)網(wǎng)絡(luò)做變化預(yù)測(cè)濾波，編碼與傳輸?shù)穆?lián)合。

早先我們一直做的是信源信道聯(lián)合編碼。我們可以靠一些傳輸技術(shù)來(lái)折中編碼效率，不用很復(fù)雜的編碼方法就達(dá)到編碼效率的提升，比如，媒體端 CDN 中存了很多視頻流，不同流之間存在關(guān)聯(lián)，一句話解釋就是類似于 P2P 傳輸式，我可以在傳輸中利用高層的傳輸支持達(dá)到相關(guān)內(nèi)容的更高效的預(yù)測(cè)編碼。利用這種技術(shù)可以提升 30% 以上的壓縮效率。

國(guó)際標(biāo)準(zhǔn)方面，2015年10月份已經(jīng)開始圍繞新一代 JVET VVC 標(biāo)準(zhǔn)進(jìn)行討論，現(xiàn)在已經(jīng)三年了。技術(shù)進(jìn)展很快，編碼效率相比 H.265 提升 40% 以上。今年4月份在圣地亞哥開的一次會(huì)議上，有一個(gè)環(huán)節(jié)：響應(yīng)提案征集，SDR 有 22 項(xiàng)提案，HDR 12 項(xiàng)，360 全景 12 項(xiàng)。

下圖那次會(huì)提交的 SDR 提案征集。中國(guó)從 1996 年開始參加 MPEG，前期參與的時(shí)候主要是大學(xué)和研究所，沒(méi)有中國(guó)的公司。但是近年，中國(guó)的公司，比如華為、海康威視、騰訊、大疆、頭條等都開始積極參與國(guó)際標(biāo)準(zhǔn)的制定，這是很好的現(xiàn)象。同時(shí)說(shuō)明中國(guó)近十年二十年來(lái)培養(yǎng)了不少人才，這是我們學(xué)校的貢獻(xiàn)。也歡迎更多的公司可以參與國(guó)際標(biāo)準(zhǔn)，也可以參與 AVS 標(biāo)準(zhǔn)的制定。AVS 和 MPEG China 是一體的，加入 AVS 就相當(dāng)于加入 MPEG China。

再看技術(shù)情況，新特色是體現(xiàn)在從信號(hào)處理到深度學(xué)習(xí)。這些提案里，有5個(gè)都用到了深度學(xué)習(xí)的技術(shù)，其中有關(guān)于預(yù)測(cè)的，也有關(guān)于濾波的。我會(huì)重點(diǎn)講一下預(yù)測(cè)。

神經(jīng)網(wǎng)絡(luò)和編碼之間的聯(lián)系在哪兒呢？可以用一個(gè)比較簡(jiǎn)單的圖來(lái)解釋。下圖是傳統(tǒng)的變換，分解成變換系數(shù)，后來(lái)做量化、反量化，量化反量化之后帶來(lái)失真。失真之后如何做一個(gè)最優(yōu)的量化，使得量化的誤差最小？最小誤差范圍表示成二進(jìn)制的形式，S1、S2 每個(gè)數(shù)要么是 0 要么是 1。量化決策的過(guò)程，實(shí)際上是，選擇 0 或者選擇 1 使得整個(gè)誤差最小，這就是一個(gè)優(yōu)化的問(wèn)題。優(yōu)化的問(wèn)題就是神經(jīng)網(wǎng)絡(luò)最擅長(zhǎng)的工作，這個(gè)工作就可以交給神經(jīng)網(wǎng)絡(luò)，幫你選擇是 0 還是 1，這是變換和神經(jīng)網(wǎng)絡(luò)的相通之處。

原來(lái)做幀的預(yù)測(cè)，選周圍像素，找一個(gè)插值濾波器，使得插值之后要逼近預(yù)測(cè)的值，使得誤差最小。如果用神經(jīng)網(wǎng)絡(luò)做的話，把周圍像素傳過(guò)去，神經(jīng)網(wǎng)絡(luò)幫我找加權(quán)、找偏移量。計(jì)算完之后失真最小，那么網(wǎng)絡(luò)就訓(xùn)練好了。以后做預(yù)測(cè)的時(shí)候，把數(shù)據(jù)送給它就自動(dòng)處理，像黑盒一樣。這就是基于神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)。

目前用神經(jīng)網(wǎng)絡(luò)去做變換、預(yù)測(cè)、濾波的已經(jīng)有很多了，每個(gè)模塊都很多。但如果只做這些的話，還是像玩票一樣。畢竟神經(jīng)網(wǎng)絡(luò)在模式識(shí)別方面應(yīng)用得很好，到了編碼這邊做了很多，但是還沒(méi)有打敗傳統(tǒng)編碼，還是基于信號(hào)處理這套。

現(xiàn)在有了新的概念，Towards Conceptual Compression。在下圖中，最底部的一行原始圖像，最頂部模糊的編碼的。從上面的編碼，一步步推理迭代，能夠生成底下的原始圖像，這是用神經(jīng)網(wǎng)絡(luò)來(lái)做的。我認(rèn)為可以叫做概念（意象）壓縮。它強(qiáng)調(diào)的是，人的腦子里對(duì)一個(gè)圖像有個(gè)模糊的印象，但是恰恰靠這個(gè)模糊的印象就能夠做判定。這個(gè)概念正在進(jìn)行中。

這是另外一個(gè)工作，剛才是用神經(jīng)網(wǎng)絡(luò)做表示、做生成，現(xiàn)在可以用神經(jīng)網(wǎng)絡(luò)在壓縮層次上提供對(duì)這個(gè)內(nèi)容分析理解的支持。傳統(tǒng)基于信號(hào)處理的壓縮，如果要進(jìn)行分析會(huì)很困難。如果是基于神經(jīng)網(wǎng)絡(luò)的話，由于是基于特征的表示，對(duì)于媒體的分析理解會(huì)更加智能。

再看一看媒體分析，從多媒體到跨媒體。左邊從視頻到文字，給定視頻后可以對(duì)應(yīng)生成文字。右邊反過(guò)來(lái)再?gòu)奈淖稚梢曨l，從文字到視頻比較有限制，限制于數(shù)據(jù)集，靠文字描述生成視頻出來(lái)。這種技術(shù)再結(jié)合前邊基于神經(jīng)網(wǎng)絡(luò)的壓縮，智能壓縮前景無(wú)限，這種技術(shù)對(duì)媒體的分析和理解肯定比傳統(tǒng)編碼更優(yōu)越。

接下來(lái)的內(nèi)容是關(guān)于新媒體編碼。關(guān)于光場(chǎng)，目前光場(chǎng)有兩類，一類是基于相機(jī)陣列，還有用一些小凸透鏡，相當(dāng)于集中成像。對(duì)于光場(chǎng)，新類型的媒體可以用現(xiàn)有的框架去進(jìn)行編碼。

對(duì)于點(diǎn)云，雖然我們感覺它是新數(shù)據(jù)，其實(shí)也有比較好的編碼處理方法。原來(lái)圖像是二維的，分成一個(gè)塊一個(gè)塊處理。到了點(diǎn)云之后是三維的，也很簡(jiǎn)單，把它分成三維的塊，原來(lái)是平面劃分，現(xiàn)在改成立體劃分，劃分完之后這些數(shù)據(jù)可以進(jìn)行變換、預(yù)測(cè)、處理。和傳統(tǒng)編碼也可以做一個(gè)很好的結(jié)合，目前這塊都是處于比較初步的階段，還需要繼續(xù)研究。

以上是點(diǎn)云和光場(chǎng)與傳統(tǒng)的編碼框架之間的結(jié)合。還有一部分是關(guān)于光場(chǎng)編碼和點(diǎn)云編碼，光場(chǎng)編碼處理也可以用點(diǎn)云的編碼進(jìn)行編碼框架表示?；舅枷胧切⊥雇哥R成像，從每個(gè)角度情趣看這個(gè)圖像，就可以看成一個(gè)球的圖像。把球的圖像進(jìn)行分解，有一些系數(shù)，系數(shù)類似于點(diǎn)云的屬性系數(shù)。

關(guān)于傳輸，編碼和傳輸都有很大的影響。傳輸有些是我們比較熟悉，比如 HLS、DASH。后端基于 Tile，把內(nèi)容劃分成 Tile，根據(jù)帶寬情況，選擇傳輸相應(yīng)質(zhì)量的內(nèi)容。這個(gè)工作對(duì)于全景視頻傳輸很有用處，因?yàn)槿耙曨l某些時(shí)候只是看某些角度，不是看整個(gè)內(nèi)容，所以可以基于 Tile 的傳輸降低整個(gè)傳輸?shù)墓ぷ髁?，還能提升圖像的質(zhì)量。

視點(diǎn)依賴的流媒體傳輸就是指全景傳輸。那么，我們就可以利用神經(jīng)網(wǎng)絡(luò)，提前預(yù)測(cè)人看哪塊內(nèi)容，提前把信號(hào)內(nèi)容發(fā)送過(guò)去以獲得更好的體驗(yàn)質(zhì)量?？梢曰谟^者本人，也可以基于其他觀眾的注意來(lái)預(yù)測(cè)。

神經(jīng)網(wǎng)絡(luò)智能不止是在編碼，在傳輸上也有很多用處。再看點(diǎn)云的傳輸，也是一樣的，點(diǎn)云數(shù)量很大，可以考神經(jīng)網(wǎng)絡(luò)來(lái)幫忙，比如點(diǎn)云傳輸劃分成三維的Tile，你看哪塊我給你傳哪塊，來(lái)降低傳輸工作量。

3

新媒體編碼時(shí)代：新應(yīng)用

新應(yīng)用，有線上抓娃娃，連抓娃娃這種應(yīng)用都可以搞這種火，我相信新媒體應(yīng)用可以搞得更火。

還有超高清，目前看到的有 4K、8K，也有人問(wèn)我們需不需要 8K。我在八年前第一次看見 8K 的時(shí)就未曾懷疑過(guò)，一定有人需要。別說(shuō) 8K，16K、24K 也有其必要性。對(duì)于全景視頻來(lái)講，我們還是需要更高的質(zhì)量、更好的傳輸支持才會(huì)有更好的節(jié)目、更好的體驗(yàn)。

5G 與 VR，對(duì)于全景傳輸、動(dòng)態(tài)點(diǎn)云的傳輸都可以提供更好的支持。

智能媒體的制作，紐約大學(xué)的研究人員 Ross Goodwin 訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)，給它輸入幾部電影它自己就可以寫出劇本來(lái)，然后 9 分鐘的電影就排出來(lái)了。也許未來(lái)我們需要只明星的臉，不需要明星來(lái)演。

最后總結(jié)一下，The best is yet to come，最好的 TA 會(huì)來(lái)臨。我們要做的事情就是擁抱新技術(shù)，攜手新媒體，研發(fā)新應(yīng)用，開創(chuàng)新時(shí)代，我的報(bào)告就是這些，謝謝大家。