為什么我們在電視機/投影儀等設(shè)備上，觀看體育比賽/動作大片時會感受到畫面的卡頓？

想要弄明白？需要我們先來了解幾個技術(shù)名詞：幀率、MEMC技術(shù)、刷新率···

幀率影響著視頻的播放效果？

用電視看電影、追劇、看比賽，時常覺得電視在呈現(xiàn)這些內(nèi)容時表現(xiàn)得并不夠好，這其中與片源有很大關(guān)系，即畫面的流暢感和片源視頻的幀率（Frame Rate）有很大的關(guān)系，幀率的單位為 fps（frame per second），即每秒播放多少幀畫面。電影普遍采用24幀來呈現(xiàn)其所具有的獨特藝術(shù)質(zhì)感，而主流消費級顯示設(shè)備（顯示器、電視機、投影儀）的刷新頻率一般為60/120Hz（即每秒刷新60/120張畫面），現(xiàn)在不少高端產(chǎn)品開始向144Hz/165Hz甚至是240Hz提升（主要表現(xiàn)在電競領(lǐng)域），打起游戲來更“爽”。

“刷新率”就是顯示技術(shù)術(shù)語，其本質(zhì)上是指顯示器上的像素每秒刷新多少次。刷新率和幀率很容易被混淆，其實一個用于終端，一個用于片源，不能互換使用，兩個相互協(xié)作才能帶來更好的觀看體驗。一旦二者沒有匹配，比如刷新率高于幀率或者幀率高于刷新率，體驗當(dāng)然不會好到哪里去；當(dāng)二者同等時，比如在120Hz面板，觀者正在觀看以120fps的幀率拍攝的內(nèi)容，觀者就將能夠感受到更佳更流暢的平滑度。在60Hz顯示器上觀看以120fps拍攝的視頻，由于顯示器在一秒鐘內(nèi)只能刷新60次，少于120次，那么就會丟掉一半的畫面來顯示，最終呈現(xiàn)的效果也只有60Hz，畫面會有輕微的抖動。

?

總之，內(nèi)容的幀率是內(nèi)容源本身的頻率，而設(shè)備的刷新率則是設(shè)備播放內(nèi)容時顯示的頻率。當(dāng)畫面刷新的頻率不夠高時，在展現(xiàn)一些高速運動場景時會讓觀看者感覺到明顯的卡頓和遲滯。除電影外，各大在線視頻平臺的片源幀率格式也參差各異，使得最終呈現(xiàn)到用戶眼前的畫面會有明顯的拖影、抖動，這樣的情況在觀看物體運動頻繁的體育賽事/動作大片時會更明顯。

至關(guān)重要的MEMC技術(shù)

目前，硬件性能已經(jīng)達(dá)到解碼60Hz或120Hz的能力，傳輸技術(shù)的信號幀率也達(dá)到60或120Hz，唯獨視頻內(nèi)容方面，電影的幀率是24Hz，電視幀率一般是25Hz-60Hz。一般情況下畫面會通過pull up pull down的方式，增加重復(fù)幀 （即第一幀重復(fù)3次，第二幀重復(fù)2次，第三幀再重復(fù)3次，第四幀再重復(fù)2次……）這樣就把24“fps”的視頻各幀“相對均勻”地分配到了60Hz的播放設(shè)備上，這種方法并沒有給視頻添加新的畫面內(nèi)容，運動畫面的質(zhì)量也沒有得到真正的改變，雖然是是60Hz的設(shè)備，最終呈現(xiàn)的效果也是24Hz的效果。在遇到高速運動場景時就會出現(xiàn)“拖影”或者“模糊”的情況，也就是觀影過程中的“拖影現(xiàn)象”。想要這些補充幀準(zhǔn)確無誤的展現(xiàn)出運動畫面應(yīng)有的效果，就需要強大的運算能力和算法支持，這也就是我們?yōu)槭裁葱枰狹EMC運動補償技術(shù)的原因。

?

如何解決以上問題呢？這需要運用MEMC的技術(shù)，就是通過對圖像里物體的運動軌跡（運動矢量）進行檢測，在原始幀中間插入運算后的補償幀來提升畫面的流暢性。MEMC，英文全稱為Motion Estimation and Motion Compensation，中文譯為運動預(yù)估與運動補償。簡單來說就是通過芯片和算法基于物體運動的軌跡進行預(yù)測，最終補償出視頻源中本身沒有的畫面，達(dá)到畫面更為流暢的目的，也就是說，有了這項技術(shù)，設(shè)備側(cè)可以突破內(nèi)容本身的限制，把最終呈現(xiàn)效果提升到和設(shè)備最終顯示頻率一致的高幀率。MEMC運動補償技術(shù)是一個電視畫質(zhì)的重要指標(biāo)。

?

那么海思的MEMC是如何實現(xiàn)神操作的呢？

?

MEMC是如何解決“拖影”的？

MEMC試圖解決的問題便是如何利用算法來智能化得協(xié)同刷新率和幀率，使銜接更自然、動勢更順滑，從而消除運動抖動、運動拖尾，讓運動畫面更加清晰流暢。

?

MEMC通過智能算法，根據(jù)前后的運動趨勢計算其動態(tài)變化，預(yù)測下一幀的幀速率，在傳統(tǒng)的兩幀圖像之間加插一幀運動補償幀，將原本24幀的視頻處理成60幀甚至120幀，以彌補幀不足。如果幀速率只有24Hz，MEMC會在每奇數(shù)幀之后添加一個額外的幀，并在每偶數(shù)幀之后添加兩個額外的幀以顯示60Hz，來匹配在60Hz的終端屏幕上觀看。如果幀速率較高，例如120Hz，MEMC所做的是智能化相應(yīng)地修改添加的幀數(shù)，解決電影中的斷斷續(xù)續(xù)的問題。MEMC運動補償功能都是需要靠芯片來實現(xiàn)的，對芯片的性能要求較高。同樣是MEMC，因為算法和芯片能力的不同，顯示出來的效果也存在著不小的差別。

?

海思算法去除果凍效應(yīng)、改善小物體運動

由于所有新增的幀都是運動預(yù)測計算出來的，但是畫面中，一般會有運動部分和靜止部分，MEMC必須要精確識別出運動部分，然后進行預(yù)測補償，一旦識別出錯或者補償出錯，都會帶來副作用，識別算法有缺陷，會引起果凍效應(yīng)、光環(huán)“halo”和小物體的丟失。補償算法的優(yōu)劣，影響畫面整體的和諧之美，出現(xiàn)畫面破碎等問題。

?

大家會發(fā)現(xiàn)以上動態(tài)演示圖中，第二幀插入的幀足球消失了，為什么呢？大部分的MEMC算法模塊中，采用塊匹配的方法計算相鄰的幀之間物體的運動相關(guān)性，也就是把圖像切成16x16或32x32像素矩陣的塊，再根據(jù)物體的運動矢量（mv）進行插值，由于算法是基于圖像的塊進行計算而非像素級（每個像素進行計算，計算量成幾何級數(shù)上升，從芯片成本和可實現(xiàn)性上來看無法實現(xiàn)）導(dǎo)致對于小物體的運動矢量估計不準(zhǔn)確，會導(dǎo)致小物體的丟失或出現(xiàn)重疊的現(xiàn)象。為了改善小物體的運動，海思芯片算法基于當(dāng)前幀的頻率特征計算圖像塊的運動矢量，這樣就能改善小物體的運動矢量計算，大家看第三幀，消失的足球又回來了。

高刷新率這一神操作，是顯示技術(shù)的一大亮點。智能科技行業(yè)領(lǐng)域的頭部都已經(jīng)對其展開了發(fā)展研究，嘗試讓畫面流暢如絲，為用戶在使用時帶來更好的視覺享受。

海思MEMC運動防抖技術(shù)，能夠通過預(yù)測及補幀將每秒24幀的畫面調(diào)整到最合適的幀數(shù)，并減少預(yù)測失誤，去除果凍效應(yīng)及改善小物體運動；此外海思早已把8K MEMC整合到8K SoC內(nèi)，在8K SoC里增加了MEMC，實現(xiàn)了和8K畫質(zhì)模塊更好配合，為消費者完美呈現(xiàn)8K身臨其境的畫質(zhì)體驗，讓您無論是玩游戲、看電影都能體驗全程絲滑無卡頓，流暢畫質(zhì)快人一步，質(zhì)感升級，品質(zhì)加滿！