受全球范圍疫情爆發(fā)的影響，原定于4月25日在埃塞俄比亞首都亞的斯亞貝巴舉行的人工智能頂會 ICLR 2020，宣布取消線下會議，完全改為線上。此前，2月7日在美國紐約舉辦的人工智能頂級會議AAAI2020，也采取了部分線上模式，讓不能到場的學者遠程參會。

雖然疫情讓這些人工智能頂會充滿變數(shù)，但絲毫不影響全球人工智能學者和研究人員的熱情，他們提交了大量重要研究成果的論文。優(yōu)必選悉尼大學人工智能研究中心今年也有數(shù)篇論文被人工智能頂會接收，其中，ICLR 2020有2篇，AAAI 2020有4篇，CVPR 2020有12篇。

ICLR（國際學習表征會議）于2013年成立，由Lecun，Hinton和Bengio三位神經(jīng)網(wǎng)絡的元老聯(lián)手發(fā)起。近年來隨著深度學習在工程實踐中的成功，ICLR也在短短的幾年中發(fā)展成為了神經(jīng)網(wǎng)絡的頂會。

今年，ICLR共收到了2594篇論文投稿，相比去年的1591篇論文投稿，增加了38.7%，其中687篇論文被接收，優(yōu)必選悉尼大學人工智能中心有2篇論文被接收。

一：分段線性激活實質(zhì)上塑造了神經(jīng)網(wǎng)絡的損失平面

摘要：理解神經(jīng)網(wǎng)絡的損失平面對于理解深度學習至關重要。本文介紹了分段線性激活函數(shù)是如何從根本上塑造神經(jīng)網(wǎng)絡損失平面的。我們首先證明了許多神經(jīng)網(wǎng)絡的損失平面具有無限的偽局部極小值，這些偽局部極小值被定義為經(jīng)驗風險比全局極小值更高的局部極小值。我們的結果表明，分段線性激活網(wǎng)絡與已被人們充分研究的線性神經(jīng)網(wǎng)絡有著本質(zhì)區(qū)別。實踐中，這一結果適用于大多數(shù)損失函數(shù)中任何具有任意深度和任意分段線性激活函數(shù)（不包括線性函數(shù)）的神經(jīng)網(wǎng)絡。本質(zhì)上，基本假設與大多數(shù)實際情況是一致的，即輸出層比任何隱藏層都窄。此外，利用不可微分的邊界將具有分段線性激活的神經(jīng)網(wǎng)絡的損失平面分割成多個光滑的多線性單元。所構造的偽局部極小值以底谷的形式集中在一個單元中：它們通過一條經(jīng)驗風險不變的連續(xù)路徑相互連接。對于單隱層網(wǎng)絡，我們進一步證明了一個單元中的所有局部最小值均構成一個等價類別;它們集中在一個底谷里;它們都是單元中的全局極小值。

二：理解遞歸神經(jīng)網(wǎng)絡中的泛化

摘要：在本文中，我們闡述了分析遞歸神經(jīng)網(wǎng)絡泛化性能的理論。我們首先基于矩陣1-范數(shù)和 Fisher-Rao 范數(shù)提出了一種新的遞歸神經(jīng)網(wǎng)絡的泛化邊界。Fisher-Rao 范數(shù)的定義依賴于有關 RNN 梯度的結構引理。這種新的泛化邊界假設輸入數(shù)據(jù)的協(xié)方差矩陣是正定的，這可能限制了它在實際中的應用。為了解決這一問題，我們提出在輸入數(shù)據(jù)中加入隨機噪聲，并證明了經(jīng)隨機噪聲（隨機噪聲是輸入數(shù)據(jù)的擴展）訓練的一個泛化邊界。與現(xiàn)有結果相比，我們的泛化邊界對網(wǎng)絡的規(guī)模沒有明顯的依賴關系。我們還發(fā)現(xiàn)，遞歸神經(jīng)網(wǎng)絡（RNN）的 Fisher-Rao 范數(shù)可以解釋為梯度的度量，納入這種梯度度量不僅可以收緊邊界，而且可以在泛化和可訓練性之間建立關系。在此基礎上，我們從理論上分析了特征協(xié)方差對神經(jīng)網(wǎng)絡泛化的影響，并討論了訓練中的權值衰減和梯度裁剪可以如何改善神經(jīng)網(wǎng)絡泛化。

今年首場人工智能頂會AAAI 2020已于2月份在美國紐約舉辦，共評審了 7737 篇論文，最終接收了 1591 篇，接收率為 20.6%，優(yōu)必選悉尼大學人工智能中心有4篇論文被接收。

一：閱讀理解中的無監(jiān)督域自適應學習

摘要：深度神經(jīng)網(wǎng)絡模型在很多閱讀理解（RC）任務數(shù)據(jù)集上已經(jīng)實現(xiàn)顯著的性能提升。但是，這些模型在不同領域的泛化能力仍然不清楚。為彌補這一空缺，我們研究了閱讀理解任務（RC）上的無監(jiān)督域自適應問題。研究過程中，我們在標記源域上訓練模型，并在僅有未標記樣本的目標域應用模型。我們首先證明，即便使用強大的轉(zhuǎn)換器雙向編碼表征（BERT）上下文表征，在一個域上訓練好的模型也不能在另一個域?qū)崿F(xiàn)很好的泛化能力。為了解決這個問題，我們提供了一種新的條件對抗自訓練方法（CASe）。具體來說，我們的方法利用在源數(shù)據(jù)集上微調(diào)的 BERT 模型以及置信度過濾，在目標域中生成可靠的偽標記樣本以進行自訓練。另一方面，我們的方法通過跨域的條件對抗學習，進一步減小了域之間的分布差異。大量實驗表明，我們的方法在多個大規(guī)?；鶞蕯?shù)據(jù)集上實現(xiàn)了與監(jiān)督模型相當?shù)男阅堋?/p>

特征圖：方法框架

二：Grapy-ML：跨數(shù)據(jù)集人體解析的圖像金字塔相互學習

摘要：人體解析，即人體部位語義分割，因其具有廣泛的潛在應用前景而成為一個研究熱點。在本文中，我們提出一種新的圖金字塔互學習（Grapy-ML）方法來解決標注粒度不同的跨數(shù)據(jù)集的人體解析問題。從人體層次結構的先驗知識出發(fā)，我們將三層圖結構按照粗粒度到細粒度的順序進行疊加，設計出了一個新的圖金字塔模型（GPM）。GPM在每一層都會利用自關注機制對上下文節(jié)點之間的相關性進行建模。然后，它采用了自上而下的機制來逐步細化各個層級的特征。GPM還使得高效的互學習成為可能。具體來說，為了在不同的數(shù)據(jù)集之間交換所學習到的粗粒度信息，我們共享了GPM前兩級的網(wǎng)絡權值并使用跨數(shù)據(jù)集的多粒度標簽，使得所提出的Grapy-ML模型可以學習到更具區(qū)分性的特征表示并獲得了最先進的性能。這點在三個流行基準（例如：CIHP 數(shù)據(jù)集）的大量實驗中得到了證明。源代碼已經(jīng)對外公開，參見：https://github.com/Charleshhy/Grapy-ML。

特征圖：提出的 Grapy-ML 圖

三：多元貝葉斯非負矩陣分解

摘要：由于具有誘導含有語義的基于部位的表示的能力，非負矩陣分解（NMF）已被廣泛應用于各種場景。但是，由于其目標函數(shù)的非凸性，部位分解通常不是唯一的，因此可能無法準確地發(fā)現(xiàn)數(shù)據(jù)內(nèi)在的“部位”。在本文中，我們使用貝葉斯框架來處理這個問題。首先，基于有用部位應該是有區(qū)別的且覆蓋性廣的假設，賦予分解中的多個部位多元性先驗，從而來誘導分解部位的正確性。其次，包含這種多元性先驗的貝葉斯框架被建立了起來。該框架得到的分解部位既有極大似然誘導的較高的數(shù)據(jù)適合度，又有多元性先驗帶來的較高的可分離性。具體來說，多元性先驗通過行列式點過程（DPP）建模，并無縫嵌入到貝葉斯 NMF 框架中。推斷基于蒙特卡洛馬爾可夫鏈（MCMC）的方法。最后，我們通過一個合成數(shù)據(jù)集和一個用于多標簽學習（MLL）任務的實際數(shù)據(jù)集-MULAN-展示了該方法的優(yōu)越性。

特征圖：提議的架構的圖示

四：生成-判別互補學習

摘要：目前最先進的深度學習方法大多是對給定輸入特征的標簽的條件分布進行建模的判別法。這種方法的成功在很大程度上依賴于高質(zhì)量的帶標簽的實例，此類實例并不容易獲得，特別是在候選類別數(shù)量增加的情況下。本文研究了互補學習問題。與普通標簽不同，互補標簽很容易獲得，因為注釋器只需要為每個實例隨機選擇的候選類別提供一個“是/否”的答案。我們提出了一種生成-判別互補學習方法。該方法通過對條件（判別）分布和實例（生成）分布的建模，對普通標簽進行估計。我們將該方法稱為互補條件生成對抗網(wǎng)絡（CCGAN）。這種方法提高了預測普通標簽的準確性，并能夠在弱監(jiān)督的情況下生成高質(zhì)量的實例。除了大量的實證研究外，我們還從理論上證明，我們的模型可以從互補標記數(shù)據(jù)中檢索出真實的條件分布。

特征圖：模型結構

計算機視覺頂會CVPR 2020將于6月14日-19日在美國西雅圖舉行，今年的論文錄取率降至22.1%（2019年錄取率25.1%，2018年錄取率29.6% ）。雖然論文錄取難度逐年增大，但是優(yōu)必選悉尼大學人工智能中心在CVPR的成績依舊斐然，后續(xù)將會帶來12篇錄取論文的詳細介紹。