圖深度學(xué)習(xí)是當(dāng)前深度學(xué)習(xí)領(lǐng)域最熱門(mén)的方向之一，圖神經(jīng)網(wǎng)絡(luò)（GNN）不僅在理論上有所創(chuàng)新，在工業(yè)界中也真實(shí)的應(yīng)用。本文介紹 Github 上熱門(mén)的圖神經(jīng)網(wǎng)絡(luò)源碼及框架，方便研究人員和工程師上手圖深度學(xué)習(xí)。

近兩年來(lái)，圖卷積、圖注意力網(wǎng)絡(luò)等圖神經(jīng)網(wǎng)絡(luò)在學(xué)術(shù)界、工業(yè)界都有廣泛的應(yīng)用。雖然大多數(shù)圖神經(jīng)網(wǎng)絡(luò)理論包含復(fù)雜的公式推導(dǎo)，但最終產(chǎn)出的網(wǎng)絡(luò)結(jié)構(gòu)（公式）缺一般比較簡(jiǎn)單，但這并不意味著圖神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)會(huì)很簡(jiǎn)單。

導(dǎo)致圖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)復(fù)雜的原因主要有以下幾個(gè)：

以圖卷積網(wǎng)絡(luò)為例，它的原版依賴(lài)完整鄰接矩陣和全部節(jié)點(diǎn)作為輸入，對(duì)內(nèi)存、顯存和計(jì)算效率都造成了限制。好在目前有一些理論如 FaskGCN 可以通過(guò) mini-batch 等方式來(lái)進(jìn)行數(shù)據(jù)切分從而解決這個(gè)問(wèn)題。

雖然利用稀疏矩陣可以一定程度上緩解上述問(wèn)題，但依然不能處理大規(guī)模的數(shù)據(jù)。另外，由于多層網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜，一般在實(shí)現(xiàn)時(shí)要同時(shí)實(shí)現(xiàn)稀疏版和非稀疏版的組件。

對(duì)圖結(jié)構(gòu)數(shù)據(jù)的預(yù)處理比較麻煩。例如在處理異構(gòu)網(wǎng)絡(luò)時(shí)，有時(shí)需要對(duì)每種類(lèi)型的節(jié)點(diǎn)進(jìn)行獨(dú)立地編號(hào)、為每種關(guān)系獨(dú)立建立子圖等，才能將圖數(shù)據(jù)轉(zhuǎn)換為深度學(xué)習(xí)模型可用的數(shù)值化數(shù)據(jù)，并且任何一個(gè)細(xì)節(jié)可能都會(huì)影響算法的效率（如鄰節(jié)點(diǎn)列表的數(shù)據(jù)結(jié)構(gòu)使用 list 和 set 會(huì)導(dǎo)致不同的采樣效率和查詢(xún)效率）。

需要一些基于圖的額外操作，例如 Random Walk、有類(lèi)型約束的 Random Walk（Meta-path）等，由于圖結(jié)構(gòu)的復(fù)雜性，這些操作在單機(jī)上的實(shí)現(xiàn)都比較費(fèi)力，更不用說(shuō)在大規(guī)模分布式上。

圖深度學(xué)習(xí)研究者和工業(yè)界在 Github 上開(kāi)源了一些優(yōu)秀的圖神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)其框架，都從一定程度上去解決了上述的問(wèn)題，非常值得我們借鑒。下面我們列出一些優(yōu)秀的 Github 倉(cāng)庫(kù)：

DeepWalk / LINE

鏈接：

DeepWalk: https://github.com/phanein/deepwalk

LINE: https://github.com/tangjianpku/LINE

簡(jiǎn)介：

雖然 DeepWalk 和 LINE 屬于網(wǎng)絡(luò)表示學(xué)習(xí)中的算法，與現(xiàn)在端到端的圖神經(jīng)網(wǎng)絡(luò)有一定的區(qū)別，但目前一些圖神經(jīng)網(wǎng)絡(luò)應(yīng)用（如社交網(wǎng)絡(luò)、引用網(wǎng)絡(luò)節(jié)點(diǎn)分類(lèi)）依然使用 DeepWalk/LINE 來(lái)作為預(yù)訓(xùn)練算法，無(wú)監(jiān)督地為節(jié)點(diǎn)獲得初始特征表示。另外，DeepWalk 項(xiàng)目中的 Random Walk 也可以被直接拿來(lái)用作圖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)采樣操作。

圖卷積網(wǎng)絡(luò) GCN TensorFlow/PyTorch 版

鏈接：

TensorFlow:https://github.com/tkipf/gcn

PyTorch:https://github.com/tkipf/pygcn

簡(jiǎn)介：

GCN 論文作者提供的源碼，該源碼提供了大量關(guān)于稀疏矩陣的代碼。例如如何構(gòu)建稀疏的變換矩陣（這部分代碼被其他許多項(xiàng)目復(fù)用）、如何將稀疏 CSR 矩陣變換為 TensorFlow/PyTorch 的稀疏 Tensor，以及如何構(gòu)建兼容稀疏和非稀疏的全連接層等，幾乎是圖神經(jīng)網(wǎng)絡(luò)必讀的源碼之一了。

快速圖卷積網(wǎng)絡(luò) FastGCN TensorFlow 版

鏈接：

https://github.com/matenure/FastGCN

簡(jiǎn)介：

FastGCN 作者提供的源碼，基于采樣的方式構(gòu)建 mini-match 來(lái)訓(xùn)練 GCN，解決了 GCN 不能處理大規(guī)模數(shù)據(jù)的問(wèn)題。

圖注意力網(wǎng)絡(luò) GAT TensorFlow 版

鏈接：

https://github.com/PetarV-/GAT

簡(jiǎn)介：

GAT 論文作者提供的源碼。源碼中關(guān)于 mask 的實(shí)現(xiàn)、以及稀疏版 GAT 的實(shí)現(xiàn)值得借鑒。

Mini-batch 版圖注意力網(wǎng)絡(luò) DeepInf

鏈接：

https://github.com/xptree/DeepInf

簡(jiǎn)介：

DeepInf 論文其實(shí)是 GAT 的一個(gè)應(yīng)用，但其基于 Random Walk 采樣子圖構(gòu)建 mini-batch 的方法解決了 GAT 在大規(guī)模網(wǎng)絡(luò)上應(yīng)用的問(wèn)題。

DeepMind 開(kāi)源的圖神經(jīng)網(wǎng)絡(luò)框架Graph Nets

鏈接：

https://github.com/deepmind/graph_nets

簡(jiǎn)介：

基于 TensorFlow 和 Sonnet。上面的項(xiàng)目更側(cè)重于節(jié)點(diǎn)特征的計(jì)算，而 graph_nets 同時(shí)包含節(jié)點(diǎn)和邊的計(jì)算，可用于一些高級(jí)任務(wù)，如最短路徑、物理場(chǎng)景模擬等。

工業(yè)級(jí)分布式圖神經(jīng)網(wǎng)絡(luò)框架 Euler

鏈接：

https://github.com/alibaba/euler

簡(jiǎn)介：

Euler 是阿里巴巴開(kāi)源的大規(guī)模分布式的圖學(xué)習(xí)框架，配合 TensorFlow 或者阿里開(kāi)源的 XDL 等深度學(xué)習(xí)工具，它支持用戶(hù)在數(shù)十億點(diǎn)數(shù)百億邊的復(fù)雜異構(gòu)圖上進(jìn)行模型訓(xùn)練。