“強基固本，行穩(wěn)致遠”，科學研究離不開理論基礎，人工智能學科更是需要數(shù)學、物理、神經科學等基礎學科提供有力支撐，為了緊扣時代脈搏，我們推出“強基固本”專欄，講解AI領域的基礎知識，為你的科研學習提供助力，夯實理論基礎，提升原始創(chuàng)新能力，敬請關注。

作者：Zhihong Deng

地址：https://www.zhihu.com/people/Zhi-Hong.Deng

最近看了 Michael Bronstein 教授寫的一篇博客，分析得挺好的，簡單分享一下。 深度學習，特別是 CV 領域的模型，往往有數(shù)十上百層，與此相比，在圖“深度學習”中（大部分工作都 ≤5 層，談不上深，所以加個引號吧），大部分模型架構都是淺層的，設計深度模型到底有沒有用呢？ 現(xiàn)有的一些工作告訴我們，訓練深度圖神經網絡是很難的，除了深度學習的傳統(tǒng)問題（梯度消失和過擬合）之外，針對圖本身的特性，還需要克服另外兩個問題：

過渡平滑：使用多個卷積層后，結點特征趨向于收斂到相同或相似的向量，這使它們變得難以區(qū)分[1][2][3]。

過度壓縮：在使用多層圖網絡后，鄰居數(shù)量指數(shù)級增長，要將大量的結點信息壓縮到一個結點上就會存在過度壓縮的問題，這也稱為瓶頸現(xiàn)象[4]。

上表展示了幾種嘗試解決深度問題的方法，包括殘差連接和兩種歸一化技術。可以看出隨著網絡層級加深，GCN-res 效果急劇變差。PairNorm 相對穩(wěn)定，但降低了性能。NodeNorm 效果最佳，但它的最佳效果是在兩層圖網絡時取得的。這個實驗告訴我們，要將深度圖網絡帶來的提升和訓練它所需要的技巧分開討論是很難的。 為什么深度模型在 CV 領域這么好使，但用在圖網絡上就這么難呢？作者給出了幾個觀點：

01圖的結構

現(xiàn)有工作告訴我們，在分子圖、點云和網格（圖像也可以看作是一種網格狀的圖）上使用深度圖網絡是有效的，這些圖跟我們常用以評估圖神經網絡效果的引用網絡（例如：Cora、PubMed 或 CoauthorCS）等有何不同呢？下圖就給出一個很清晰的示例：

我們常用的引用網絡這一類圖往往屬于直徑較小的小世界網絡，簡單點講就是圖中任意兩個結點的距離都比較近，幾跳就能到達，使用更深的網絡架構并不會擴大感受野；相比之下，在網格（比如圖像）這一類圖中，增加層數(shù)能讓感受野成倍增長，從而更好地捕捉到上下文。使用不同顏色標注不同層數(shù)所能到達的結點，可以看到，同樣是12個結點的圖，左圖僅用兩種顏色就夠了，右圖則用了6種顏色。

02短程與遠程信息

根據(jù)問題的特性，有的問題則可以通過短距離的信息解決，比如社交網絡中，預測往往僅依賴于結點的局部鄰居；有的問題可能需要更長距離的信息，比如分子圖種分子的化學性質可能取決于另一側的原子組合，這就需要深度圖網絡來組合這些遠程信息。但是隨著層數(shù)增多，如果圖結構會引起結點感受野的指數(shù)級增長，那么瓶頸現(xiàn)象就會阻止遠程信息的有效傳播：

上圖就展示了一個例子，在使用深度圖網絡時，我們需要把多個結點的信息整合到一個結點中并迭代此過程，所以傳播過程中可能會丟失不少有用的信息，也就解釋了為什么深度模型難以提高性能。

03理論局限

我們在使用深度神經網絡的時候，往往可以做一些可視化分析，比如 CNN 可以將每一層學到的特征做一個可視化：

淺層神經元學到是比較簡單的特征，比如某些紋理、線條；深層神經元學到的則是更復雜的一些特征，比如眼睛，鼻子等等。但是，圖神經網絡里也能這么分析嗎？多層的圖網絡也能學到逐漸復雜的性質嗎？我們目前尚不清楚哪些圖形性質可以用淺層圖網絡學到，哪些需要更深的網絡，哪些是根本無法計算的。

04深度 vs. 豐富度

在 CV 中，因為所有圖像都是非常規(guī)則的網格結構，所以結構就變得不再重要的，但在圖深度學習中，結構是很重要的，如何設計更復雜的，可以處理高階信息（比如：各種motif）的消息傳遞機制仍有待探索。目前大家主要關注的還是1-跳卷積，但我們可以設計出多跳的filter，比如 SIGN 這篇論文。有趣的是，這跟 CV 領域的發(fā)展歷程恰恰相反，CV 領域早期的淺層模型一般使用的是大型 filter（比如：11×11），后來逐漸發(fā)展到使用小型 filter（比如 ：3×3）的深度模型。這里作者想表達的“豐富度”的意思應該是指，我們是不是也能像 CV 里 GoogLeNet 那樣使用Inception模塊，同時使用1-跳卷積，2-跳卷積等多種 filter（對應 CV 里的 3×3、5×5 等等），這其實也會間接地幫助到信息的有效傳播。

05評估

最后但或許也很重要的一點就是評估方法，一些常見的基準數(shù)據(jù)集和方法未必能準確評估圖神經網絡的效果，我們觀察到深度圖網絡在一些數(shù)據(jù)集上性能隨深度下降，或許僅僅是因為數(shù)據(jù)集太小，發(fā)生了過擬合。斯坦福新推出的 Open Graph Benchmark 可以解決部分問題，它提高了大規(guī)模的圖數(shù)據(jù)，并給定了訓練和測試數(shù)據(jù)的劃分方式。 [1] More precisely, over-smoothing makes node feature vector collapse into a subspace, see K. Oono and T. Suzuki,Graph neural networks exponentially loose expressive power for node classification(2019). arXiv:1905.10947, which provides asymptotic analysis using dynamic systems formalist. [2] Q. Li, Z. Han, X.-M. Wu,Deeper insights into graph convolutional networks for semi-supervised learning(2019). Proc. AAAI. Draws the analogy between the GCN model and Laplacian smoothing and points to the over-smoothing phenomenon. [3] H. Nt and T. Maehara,Revisiting graph neural networks: All we have is low-pass filters(2019). arXiv:1905.09550. Uses spectral analysis on graphs to answer when GCNs perform well. [4] U. Alon and E. Yahav,On the bottleneck of graph neural networks and its practical implications(2020). arXiv:2006.05205. Identified the over-squashing phenomenon in graph neural networks, which is similar to one observed in sequential recurrent models.

聲明：部分內容來源于網絡，僅供讀者學術交流之目的。文章版權歸原作者所有。如有不妥，請聯(lián)系刪除。

責任編輯：PSY

原文標題：我們真的需要深度圖神經網絡嗎？

文章出處：【微信公眾號：新機器視覺】歡迎添加關注！文章轉載請注明出處。