AI人工智能作為前沿技術(shù)，一直在發(fā)展當中。圖像作為非常直觀的物體呈現(xiàn)方式，從遠古時期的壁畫開始，人類對于圖像的執(zhí)著可見一斑。縱觀時間長河，現(xiàn)今的AI人工智能對于圖像的計算與推理無疑是呈指數(shù)型增長的。

今天同大家分享MediaTek對于AI的研發(fā)，首先我們從CVPR說起：

CVPR（IEEE Conference on Computer Vision and Pattern Recognition）是人工智能領(lǐng)域的年度盛會，聚集了全球范圍內(nèi)研究計算機視覺和人工智能技術(shù)的科技企業(yè)、學者以及從業(yè)者。如此級別的盛會中，今年MediaTek通過3篇會議論文，1篇研討會論文以及1個競賽項目冠軍向大眾展示了AI研究的實力。

單圖像超分辨率（SISR）的目標是在低分辨率（LR）圖像的基礎(chǔ)上重建高分辨率（HR）圖像。近些年基于深度卷積神經(jīng)網(wǎng)絡（CNN）的方法執(zhí)行SISR任務時，在保持和優(yōu)化圖像質(zhì)量方面取得了顯著成果。并且，MediaTek已使用動態(tài)卷積來解決多樣可變的退化問題。

在本文中，MediaTek提出了一個統(tǒng)一的框架UDVD（用于可變退化的統(tǒng)一動態(tài)卷積超分辨率網(wǎng)絡），該框架使用動態(tài)卷積來處理變化的跨圖像和圖像內(nèi)降級，包括超分辨率應用的噪聲、模糊和下采樣。我們通過大量的實驗，多方位分析了動態(tài)卷積性能的影響。分析顯示：就目前來說，在合成、優(yōu)化圖像領(lǐng)域中，所提出的UDVD性能效果均優(yōu)于現(xiàn)有技術(shù)。

MediaTek與合作研究人員提出了一種基于學習的算法，可以從移動攝像機拍攝的短視頻中去除不必要的障礙物，例如窗戶中的反射，遮擋的柵欄或雨滴等等。我們的方法是通過利用背景元素與障礙元素之間的運動差異，來恢復這兩層圖像。

我們在估算兩層的密集光流場與通過深度卷積神經(jīng)網(wǎng)絡從流扭曲圖像重建每一層兩個步驟之間進行交替運算。基于學習的層重構(gòu)使我們能夠適應流量估算中的潛在錯誤以及諸如亮度一致之類的脆性假設。我們的實驗表明，訓練綜合生成的數(shù)據(jù)可以很好地傳輸?shù)礁哌€原度圖像。

MediaTek已在許多使用場景中（玻璃反射和柵欄去除）的測試證實了該方法的可行性。

從單一的低動態(tài)范圍（LDR）輸入圖像中恢復高動態(tài)范圍（HDR）圖像非常具有挑戰(zhàn)性，這是由于相機傳感器的量化、飽和導致曝光不足/過度區(qū)域中細節(jié)的缺失。

與現(xiàn)有的學習方法相反，我們的核心思想是將LDR圖像形成的領(lǐng)域知識整合到我們的模型中。我們將HDR到LDR的圖像形成管線建模為以下三個階段：

（1）動態(tài)范圍裁剪

（2）相機響應函數(shù)的非線性映射

（3）量化

然后，建議學習三個專用的CNN來逆轉(zhuǎn)這些步驟。通過將問題分為特定的子任務，我們施加了特定的物理約束，以訓練單個子網(wǎng)絡。并且，我們共同對整個模型進行端到端微調(diào)，以減少錯誤的疊加。

圖形的進化從未停止，以上三篇論文不僅是MediaTek對未來圖形的幻想，更是付諸實際行動與努力，并且已經(jīng)獲得成效。未來世界不一定會是賽博朋克，但是科幻電影中的許多細節(jié)已經(jīng)在我們的生活當中出現(xiàn)，這背后是科技力量的支撐。
? ? ? ?責任編輯:pj