如今引領(lǐng)風(fēng)潮的圖深度學(xué)習(xí)與曾經(jīng)風(fēng)靡一時(shí)的流形學(xué)習(xí)有何關(guān)系？請(qǐng)看本文娓娓道來(lái)。

圖神經(jīng)網(wǎng)絡(luò)利用關(guān)系的歸納偏置獲取以圖的形式存在的數(shù)據(jù)。然而，在很多情況下，我們并沒(méi)有現(xiàn)成的可用的圖。

那么，在這種情況下，是否還仍然還可以應(yīng)用圖深度學(xué)習(xí)呢？在本文中，倫敦帝國(guó)理工學(xué)院和盧加諾大學(xué)的教授Michael Bronstein對(duì)近期關(guān)于隱圖學(xué)習(xí)的工作和以前的流形學(xué)習(xí)技術(shù)進(jìn)行了比較。

在過(guò)去的幾年里，人們對(duì)用于圖結(jié)構(gòu)數(shù)據(jù)的機(jī)器學(xué)習(xí)方法的研究興趣大增。這類(lèi)數(shù)據(jù)自然而然地出現(xiàn)在社會(huì)科學(xué)（例如，Twitter 或 Facebook 上的用戶(hù)關(guān)注圖）、化學(xué)（分子可以被建模為原子通過(guò)化學(xué)鍵相連的圖）、生物（不同生物分子之間的交互作用通常被建模為一個(gè)被稱(chēng)為「相互作用組」的圖）等應(yīng)用場(chǎng)景下。

圖神經(jīng)網(wǎng)絡(luò)（GNN）是一類(lèi)當(dāng)下非常流行的方法，它們通過(guò)共享參數(shù)的局部操作對(duì)圖進(jìn)行學(xué)習(xí)，這些操作會(huì)在相鄰節(jié)點(diǎn)之間交換信息。然而，在某些場(chǎng)景下，我們并不能奢求擁有一個(gè)作為輸入的圖。這種情況在許多生物學(xué)問(wèn)題中屢見(jiàn)不鮮，在最好的情況下，由于發(fā)現(xiàn)交互作用的實(shí)驗(yàn)開(kāi)銷(xiāo)相當(dāng)大并且充滿(mǎn)噪聲，「蛋白質(zhì)-蛋白質(zhì)」交互網(wǎng)絡(luò)等圖往往也只有部分?jǐn)?shù)據(jù)被觀測(cè)到。

因此，我們對(duì)于根據(jù)數(shù)據(jù)推理出圖并且將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用在該圖上十分感興趣，在本文中，我們將這一過(guò)程稱(chēng)為「隱圖學(xué)習(xí)」（latent graph learning）。

隱圖可能是面向特定應(yīng)用的，并且針對(duì)下游任務(wù)進(jìn)行了優(yōu)化。此外，由于這樣的圖可能會(huì)傳達(dá)關(guān)于數(shù)據(jù)的重要理解并提供解釋某些結(jié)論的方式，有時(shí)它們可能甚至?xí)热蝿?wù)本身更加重要。我們可以將隱圖學(xué)習(xí)看做學(xué)習(xí)一個(gè)帶有空邊集的圖。

在這種情況下，輸入為一些高維特征空間中的點(diǎn)云。

與 PointNet 等針對(duì)集合的深度學(xué)習(xí)方法（它們將一些共享的、可學(xué)習(xí)的點(diǎn)層面函數(shù)應(yīng)用于每個(gè)節(jié)點(diǎn)上）不同，我們還試圖在點(diǎn)之間傳遞信息。這是通過(guò)在一個(gè)根據(jù)點(diǎn)特征本身構(gòu)建的圖上傳遞消息實(shí)現(xiàn)的。

本文介紹的第一種此類(lèi)架構(gòu)為 MIT 的 Yue Wang 研發(fā)的「動(dòng)態(tài)圖卷積網(wǎng)絡(luò)」（DGCNN，這篇論文在計(jì)算圖形學(xué)研究社區(qū)十分有名，并常常被用作點(diǎn)云方法的對(duì)比基線）。

受到計(jì)算圖形學(xué)領(lǐng)域中進(jìn)行 3D 點(diǎn)云分析的工作的啟發(fā)，DGCNN 試圖將圖用作點(diǎn)云底層的局部平滑流形結(jié)構(gòu)的一種粗糙的表征。

Yue Wang 觀察到的一個(gè)關(guān)鍵結(jié)論是，在整個(gè)神經(jīng)網(wǎng)絡(luò)的處理過(guò)程中，該圖并不需要保持不變。而且事實(shí)上，顧名思義，「動(dòng)態(tài)圖卷積網(wǎng)絡(luò)」可以、也應(yīng)該被動(dòng)態(tài)地更新。圖 1 說(shuō)明了 DGCNN 在計(jì)算圖形學(xué)中十分有用的原因：

圖 1：動(dòng)態(tài)圖卷積網(wǎng)絡(luò)利用飛機(jī)圖像構(gòu)建了一個(gè)被用于特征傳播的 K 最近鄰圖。這種圖依賴(lài)于特定的任務(wù)，會(huì)被每一層網(wǎng)絡(luò)更新。

圖中的不同顏色表明了點(diǎn)距離紅點(diǎn)的距離（黃色表示與紅點(diǎn)距離較近的點(diǎn)）。

本圖說(shuō)明在分割任務(wù)中，較深的層中的圖捕獲了語(yǔ)義關(guān)系（例如，一對(duì)翅膀、飛機(jī)引擎等）而不是幾何關(guān)系。

DGCNN 其中的一個(gè)不足之處在于，它使用了同一個(gè)空間構(gòu)建圖以及圖上的特征。如圖 2 所示，在慕尼黑工業(yè)大學(xué)的 Anees Kazi 與 Luca Cosmo 近期發(fā)表的工作中，作者提出了一種名為「可微圖模塊」（DGM）的新型架構(gòu)，它通過(guò)將構(gòu)建圖和構(gòu)建特征的過(guò)程解耦對(duì) DGCNN 進(jìn)行了擴(kuò)展：

圖 2：可微圖模塊（DGM）提出了一種構(gòu)建圖及其特征的機(jī)制，從而利用輸入數(shù)據(jù)在圖上進(jìn)行信息傳播。

在被用于醫(yī)學(xué)領(lǐng)域的問(wèn)題（例如，根據(jù)腦成像數(shù)據(jù)預(yù)測(cè)疾?。r(shí)，DGM 表現(xiàn)出了非常優(yōu)異的性能。在這些任務(wù)中，我們擁有包括人口統(tǒng)計(jì)學(xué)特征（例如，年齡、性別等）、腦成像特征在內(nèi)的多個(gè)病人的電子病歷數(shù)據(jù)，并試圖預(yù)測(cè)某個(gè)病人是否患有神經(jīng)系統(tǒng)疾病。

論文「Disease prediction using graph convolutional networks： application to autism spectrum disorder and Alzheimer’s disease 」使用在一個(gè)根據(jù)人口統(tǒng)計(jì)學(xué)特征手動(dòng)構(gòu)建的「患者圖」上的信息傳播將 GNN 應(yīng)用于此類(lèi)任務(wù)。

DGM 在學(xué)習(xí)圖的任務(wù)上具有一定優(yōu)勢(shì)，它可能傳達(dá)了對(duì)于某些特征如何在特定的診斷任務(wù)中互相依賴(lài)的理解。除此之外，DGM 還在點(diǎn)云分類(lèi)任務(wù)中稍稍?xún)?yōu)于 DGCNN。

DGCNN 和 DGM 在概念上與一類(lèi)被稱(chēng)為「流形學(xué)習(xí)」或「非線性降維」相似，這類(lèi)方法在 2000 年代時(shí)是機(jī)器學(xué)習(xí)領(lǐng)域中非常流行的課題，并且至今仍然被用于數(shù)據(jù)可視化。

流形學(xué)習(xí)的基本假設(shè)是：數(shù)據(jù)有一種內(nèi)在的低維結(jié)構(gòu)。

如下圖所示，盡管我們可以在某個(gè)空間中使用數(shù)百個(gè)甚至數(shù)千個(gè)維度表征數(shù)據(jù)，但數(shù)據(jù)的自由度實(shí)際上也許是十分有限的：

圖 3：盡管在這個(gè)數(shù)據(jù)集中的手的圖像是高維的（64*64=4，096 維），但是他們本質(zhì)上是低維的，而且可以通過(guò)僅僅兩個(gè)自由度來(lái)解釋?zhuān)菏滞蟮男D(zhuǎn)和手指的延伸情況。

流形學(xué)習(xí)算法可以捕獲數(shù)據(jù)集的這種低維的內(nèi)在結(jié)構(gòu)，并且在歐氏空間中表征它。該圖取自論文「A Global Geometric Framework for Nonlinear Dimensionality Reduction」的補(bǔ)充材料。

流形學(xué)習(xí)旨在通過(guò)底層的「流形」（嚴(yán)格地說(shuō)，這里指的并不是微分幾何意義上的術(shù)語(yǔ)「流形」，例如不同的點(diǎn)上的局部維度可能不同。

然而，使用這種比喻較為方便。）捕獲這些自由度，并且將數(shù)據(jù)的維度降到其本質(zhì)的維度上。

流形學(xué)習(xí)與 PCA 等線性降維方式的重要區(qū)別在于，由于數(shù)據(jù)的非歐結(jié)構(gòu)，用線性投影的方式恢復(fù)出流形是不可能的：

圖 4：線性降維（左圖）vs 流形學(xué)習(xí)。Joshua Tenenbaum 創(chuàng)造的「Swiss roll」曲面及其 1D 展開(kāi)形式在流形學(xué)習(xí)論文中經(jīng)常被用作示例。

各種流形學(xué)習(xí)算法的不同之處在于它們恢復(fù)「流形」的方式，但它們的大致框架相同。首先，它們會(huì)創(chuàng)建一種數(shù)據(jù)的表征，通常這是通過(guò)構(gòu)建一個(gè)捕獲了局部結(jié)構(gòu)的 k 最近鄰圖完成的。接著，它們會(huì)計(jì)算一種數(shù)據(jù)的低維表征（嵌入），并試圖保留原始數(shù)據(jù)的結(jié)構(gòu)。

而這一步正是大多數(shù)流形學(xué)習(xí)方法各不相同的地方。

例如，Isomap試圖保留圖的測(cè)地線距離；局部線性嵌入找到了一種鄰接點(diǎn)的局部表征；而拉普拉斯特征映射使用了圖拉普拉斯算子的特征函數(shù)作為低維嵌入。這種新的表征將原始的非歐結(jié)構(gòu)「展平」到了一個(gè)易于處理的歐氏空間中。

最后，一旦我們計(jì)算出表征，就可以將某種機(jī)器學(xué)習(xí)算法（通常為聚類(lèi)算法）應(yīng)用于該表征上。

圖 5：流形學(xué)習(xí)方法的框架：首先，將數(shù)據(jù)表征為一個(gè)圖。接著，計(jì)算出該圖的低維嵌入。最后，將某種機(jī)器學(xué)習(xí)算法應(yīng)用于該低維表征上。

該過(guò)程也存在著一些挑戰(zhàn)，例如：構(gòu)建圖的過(guò)程與應(yīng)用機(jī)器學(xué)習(xí)算法的過(guò)程是解耦的，有時(shí)還需要進(jìn)行精細(xì)的參數(shù)調(diào)優(yōu)（如近鄰節(jié)點(diǎn)的數(shù)量或鄰域半徑），從而確定如何構(gòu)建圖，使得下游任務(wù)表現(xiàn)優(yōu)異。

也許，流形學(xué)習(xí)算法的一個(gè)更為嚴(yán)重的缺點(diǎn)是，數(shù)據(jù)很少表現(xiàn)為低維的原始形式。

例如，當(dāng)我們處理圖像時(shí)，需要在預(yù)處理步驟中使用各種手動(dòng)構(gòu)造的特征提取技術(shù)。

圖深度學(xué)習(xí)通過(guò)使用一個(gè)圖神經(jīng)網(wǎng)絡(luò)代替這個(gè)三階段的過(guò)程為其提供了一種現(xiàn)代化的視角。

例如，在動(dòng)態(tài)圖卷積網(wǎng)絡(luò)或 DGM 中，構(gòu)建圖和學(xué)習(xí)的過(guò)程都是同一個(gè)架構(gòu)中的某一部分：

圖 6：可以將隱圖學(xué)習(xí)看做一種現(xiàn)代環(huán)境下的流形學(xué)習(xí)問(wèn)題，其中將圖作為一個(gè)端到端的 GNN 工作流程的一部分進(jìn)行學(xué)習(xí)，并為某些下游任務(wù)對(duì)其進(jìn)行優(yōu)化。

這類(lèi)方法吸引人的地方在于，它們可以將處理單個(gè)數(shù)據(jù)點(diǎn)的過(guò)程與處理它們所在空間的過(guò)程在同一個(gè)工作流程中結(jié)合起來(lái)。

以圖像為例，我們可以使用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)從每張圖像中提取視覺(jué)特征，并且使用圖神經(jīng)網(wǎng)絡(luò)建模它們之間的關(guān)系。

Jan Svoboda 在論文「 PeerNets： Exploiting peer wisdom against adversarial attacks」中用到了這種方法，他為卷積神經(jīng)網(wǎng)絡(luò)提出了一種基于圖的正則化層「PeerNet」，它可以實(shí)現(xiàn)在多張圖像之間交換信息。

PeerNet 與非局部（Non-local）均值濾波器在它們從多個(gè)位置聚合信息的方式上有一些相似之處，而 PeerNet 的不同之處在于它從多張圖像而不是單張圖像中聚合信息。

這種正則化技術(shù)顯著地降低了對(duì)抗性干擾的影響，而標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)則很容易受其影響。

圖 7：PeerNet 是一種標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)中的基于圖的正則化層，它從多張圖像中聚合相似的像素，從而降低對(duì)于對(duì)抗性干擾的敏感度。隱圖學(xué)習(xí)還有許多其它有趣的應(yīng)用，小樣本學(xué)習(xí)便是其中之一。

在小樣本學(xué)習(xí)中，基于圖的技術(shù)可以幫助使用少量示例訓(xùn)練的模型泛化。如今，由于數(shù)據(jù)標(biāo)注的開(kāi)銷(xiāo)十分巨大，小樣本學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域變得越來(lái)越重要。生物學(xué)是隱圖學(xué)習(xí)另一個(gè)重要的應(yīng)用場(chǎng)景，人們通常通過(guò)實(shí)驗(yàn)觀察蛋白質(zhì)等生物分子的表達(dá)水平，并試圖重建它們的相互作用和信息傳遞網(wǎng)絡(luò)。

此外，隱圖學(xué)習(xí)還可以被用于對(duì)物理系統(tǒng)的分析，其中圖可以描述多個(gè)物體之間的相互作用。具體而言，研究復(fù)雜粒子相互作用的高能物理學(xué)家們近期對(duì)基于圖的方法展現(xiàn)出了濃厚的興趣。最后，隱圖學(xué)習(xí)在自然語(yǔ)言處理（NLP）領(lǐng)域中也得到了重要的應(yīng)用，其中圖神經(jīng)網(wǎng)絡(luò)可以被看做 Transformer 架構(gòu)的拓展。

許多上述的任務(wù)也提出了引入圖結(jié)構(gòu)的先驗(yàn)知識(shí)的問(wèn)題，這仍然是一個(gè)有待解決的開(kāi)放性問(wèn)題：例如，我們也許會(huì)希望迫使圖遵循某些特定的構(gòu)建規(guī)則，或者與某些統(tǒng)計(jì)模型兼容。

在論文「Learning deep generative models of graphs」中，作者在嚴(yán)格遵循某些構(gòu)建規(guī)則的情況下，生成化學(xué)鍵的分子結(jié)構(gòu)圖。我們相信，盡管隱圖學(xué)習(xí)并不是一個(gè)完全新穎的概念，但是它為一些老的問(wèn)題提供了新的視角。

它肯定是一種有趣的圖機(jī)器學(xué)習(xí)問(wèn)題，為圖神經(jīng)網(wǎng)絡(luò)的研究者們提供了新的舞臺(tái)。

責(zé)任編輯：lq