通過(guò)最新的 Memgraph 高級(jí)圖形擴(kuò)展（ MAGE ）版本，您現(xiàn)在可以在幾秒鐘內(nèi)從 Memgraph 運(yùn)行 GPU 支持的圖形分析，同時(shí)使用 Python 。由 NVIDIA cuGraph 提供支持，以下圖形算法現(xiàn)在將在 GPU 上執(zhí)行：

PageRank （圖形分析）

Louvain （社區(qū)檢測(cè)）

平衡切割（聚類）

光譜聚類（聚類）

點(diǎn)擊率（集線器與權(quán)威分析）

萊頓（社區(qū)檢測(cè)）

Katz Centrality

中間性和中心性

本教程將向您展示如何使用 PageRank 圖分析和 Louvain 社區(qū)檢測(cè)來(lái)分析包含 130 萬(wàn)關(guān)系的 Facebook 數(shù)據(jù)集。

在本教程結(jié)束時(shí)，您將知道如何：

使用 Python 在 Memgraph 中導(dǎo)入數(shù)據(jù)

在大規(guī)模圖形上運(yùn)行分析并獲得快速結(jié)果

從 Memgraph 在 NVIDIA GPU 上運(yùn)行分析

教程先決條件

要學(xué)習(xí)本圖形分析教程，您需要一個(gè) NVIDIA GPU 、驅(qū)動(dòng)程序和容器工具包。成功安裝后 NVIDIA GPU 驅(qū)動(dòng)程序 和容器工具包，您還必須安裝以下四個(gè)工具：

碼頭工人 用于運(yùn)行mage-cugraph映像

朱皮特 為了分析圖形數(shù)據(jù)

煉金術(shù) 將 Memgraph 與 Python 連接

Memgraph 實(shí)驗(yàn)室 為了使圖形可視化

下一節(jié)將指導(dǎo)您為本教程安裝和設(shè)置這些工具。

碼頭工人

Docker 用于安裝和運(yùn)行mage-cugraph Docker 映像。設(shè)置和運(yùn)行 Docker 映像涉及三個(gè)步驟：

下載 Docker

下載教程數(shù)據(jù)

運(yùn)行 Docker 映像，使其能夠訪問(wèn)教程數(shù)據(jù)

1.下載 Docker

您可以通過(guò)訪問(wèn)安裝 Docker 網(wǎng)頁(yè)，并按照操作系統(tǒng)的說(shuō)明操作。

2.下載教程數(shù)據(jù)

在運(yùn)行mage-cugraph Docker 映像之前，首先下載本教程中使用的數(shù)據(jù)。這允許您在運(yùn)行時(shí)為 Docker 映像提供對(duì)教程數(shù)據(jù)集的訪問(wèn)權(quán)限。

要下載數(shù)據(jù)，請(qǐng)使用以下命令克隆 jupyter memgraph 教程 GitHub repo ，并將其移動(dòng)到j(luò)upyter-memgraph-tutorials/cugraph-analytics文件夾：

Git clone https://github.com/memgraph/jupyter-memgraph-tutorials.git
Cd jupyter-memgraph-tutorials/cugraph-analytics

3.運(yùn)行 Docker 鏡像

現(xiàn)在，您可以使用以下命令運(yùn)行 Docker 鏡像并將車間數(shù)據(jù)裝載到/samples文件夾：

docker run -it -p 7687:7687 -p 7444:7444 --volume /data/facebook_clean_data/:/samples mage-cugraph

運(yùn)行 Docker 容器時(shí)，您應(yīng)該會(huì)看到以下消息：

You are running Memgraph vX.X.X
To get started with Memgraph, visit https://memgr.ph/start

執(zhí)行 mount 命令后，教程所需的CSV文件將位于 Docker 映像內(nèi)的/samples文件夾中， Memgraph 將在需要時(shí)找到它們。

Jupyter 筆記本

現(xiàn)在 Memgraph 已經(jīng)運(yùn)行，請(qǐng)安裝 Jupyter.本教程使用 JupyterLab，您可以使用以下命令安裝它：

pip install jupyterlab

安裝 JupyterLab 后，使用以下命令啟動(dòng)它：

jupyter lab

煉金術(shù)

使用 煉金術(shù) ，一個(gè)對(duì)象圖映射器（ OGM ），用于連接到 Memgraph 并在 Python 中執(zhí)行查詢。您可以將 Cypher 視為圖形數(shù)據(jù)庫(kù)的 SQL 。它包含許多相同的語(yǔ)言結(jié)構(gòu)，如創(chuàng)建、更新和刪除。

下載 CMake 在您的系統(tǒng)上，然后您可以使用 pip 安裝 GQLAlchemy ：

pip install gqlalchemy

Memgraph 實(shí)驗(yàn)室

您需要安裝的最后一個(gè)先決條件是： Memgraph 實(shí)驗(yàn)室 連接到 Memgraph 后，您將使用它創(chuàng)建數(shù)據(jù)可視化。學(xué) 如何安裝 Memgraph 實(shí)驗(yàn)室 作為操作系統(tǒng)的桌面應(yīng)用程序。

安裝 Memgraph Lab 后，您現(xiàn)在應(yīng)該 連接到 Memgraph 數(shù)據(jù)庫(kù) 。

此時(shí)，您終于準(zhǔn)備好：

使用 GQLAlchemy 連接到 Memgraph

導(dǎo)入數(shù)據(jù)集

在 Python 中運(yùn)行圖形分析

使用 GQLAlchemy 連接到 Memgraph

首先，將自己定位在 Jupyter 筆記本 。前三行代碼將導(dǎo)入gqlalchemy，通過(guò)host:127.0.0.1和port:7687連接到 Memgraph 數(shù)據(jù)庫(kù)實(shí)例，并清除數(shù)據(jù)庫(kù)。一定要從頭開(kāi)始。

from gqlalchemy import Memgraph
memgraph = Memgraph("127.0.0.1", 7687)
memgraph.drop_database()

從 CSV 文件導(dǎo)入數(shù)據(jù)集。

接下來(lái)，您將執(zhí)行以下操作： PageRank 以及使用 Python 的 Louvain 社區(qū)檢測(cè)。

導(dǎo)入數(shù)據(jù)

這個(gè) Facebook 數(shù)據(jù)集 由八個(gè) CSV 文件組成，每個(gè)文件具有以下結(jié)構(gòu)：

node_1,node_2
0,1794
0,3102
0,16645

每條記錄表示連接兩個(gè)節(jié)點(diǎn)的邊。節(jié)點(diǎn)表示頁(yè)面，它們之間的關(guān)系是相互的。

有八種不同類型的頁(yè)面（例如，政府、運(yùn)動(dòng)員和電視節(jié)目）。頁(yè)面已重新編制匿名索引，所有頁(yè)面均已通過(guò) Facebook 驗(yàn)證真實(shí)性。

由于 Memgraph 在數(shù)據(jù)具有索引時(shí)導(dǎo)入查詢速度更快，因此在id屬性上使用標(biāo)簽Page為所有節(jié)點(diǎn)創(chuàng)建查詢。

memgraph.execute(
    """
    CREATE INDEX ON :Page(id);
    """
)

Docker 已經(jīng)擁有對(duì)本教程中使用的數(shù)據(jù)的容器訪問(wèn)權(quán)限，因此您可以通過(guò)./data/facebook_clean_data/文件夾中的本地文件進(jìn)行列表。通過(guò)連接文件名和/samples/文件夾，可以確定它們的路徑。使用連接的文件路徑將數(shù)據(jù)加載到 Memgraph 中。

import os
from os import listdir
from os.path import isfile, join
csv_dir_path = os.path.abspath("./data/facebook_clean_data/")
csv_files = [f"/samples/{f}" for f in listdir(csv_dir_path) if isfile(join(csv_dir_path, f))]

使用以下查詢加載所有 CSV 文件：

for csv_file_path in csv_files:
    memgraph.execute(
        f"""
        LOAD CSV FROM "{csv_file_path}" WITH HEADER AS row
        MERGE (p1:Page {{id: row.node_1}}) 
        MERGE (p2:Page {{id: row.node_2}}) 
        MERGE (p1)-[:LIKES]->(p2);
        """
    )

接下來(lái)，將 PageRank 和 Louvain 社區(qū)檢測(cè)算法與 Python 結(jié)合使用，以確定網(wǎng)絡(luò)中哪些頁(yè)面最重要，并找到網(wǎng)絡(luò)中的所有社區(qū)。

PageRank 重要性分析

要識(shí)別 Facebook 數(shù)據(jù)集中的重要頁(yè)面，您將執(zhí)行 PageRank 。了解不同的 算法設(shè)置 這可以在調(diào)用 PageRank 時(shí)設(shè)置。

請(qǐng)注意，您還會(huì)發(fā)現(xiàn)MAGE中集成了其他算法。 Memgraph 應(yīng)該有助于在大規(guī)模圖形上運(yùn)行圖形分析。找到其他 Memgraph 教程 關(guān)于如何運(yùn)行這些分析。

MAGE被集成以簡(jiǎn)化 PageRank 的執(zhí)行。以下查詢將首先執(zhí)行算法，然后創(chuàng)建每個(gè)節(jié)點(diǎn)的rank屬性，并將其設(shè)置為cugraph.pagerank算法返回的值。

然后，該屬性的值將另存為變量rank。請(qǐng)注意，這項(xiàng)測(cè)試（以及本文介紹的所有測(cè)試）是在 NVIDIA GeForce GTX 1650 Ti 和 Intel Core i5-10300H CPU 上執(zhí)行的，頻率為 2.50GHz ，內(nèi)存為 16GB ，并在大約四秒鐘內(nèi)返回結(jié)果。

 memgraph.execute(
        """
        CALL cugraph.pagerank.get() YIELD node,rank
        SET node.rank = rank;
        """
    )

接下來(lái)，使用以下 Python 調(diào)用檢索列組：

results =  memgraph.execute_and_fetch(
        """
        MATCH (n)
        RETURN n.id as node, n.rank as rank
        ORDER BY rank DESC
        LIMIT 10;
        """
    )
for dict_result in results:
    print(f"node id: {dict_result['node']}, rank: {dict_result['rank']}")

node id: 50493, rank: 0.0030278728385218327
node id: 31456, rank: 0.0027350282311318468
node id: 50150, rank: 0.0025153975342989345
node id: 48099, rank: 0.0023413620866201052
node id: 49956, rank: 0.0020696403564964
node id: 23866, rank: 0.001955167533390466
node id: 50442, rank: 0.0019417018181751462
node id: 49609, rank: 0.0018211204462452515
node id: 50272, rank: 0.0018123518843272954
node id: 49676, rank: 0.0014821440895415787

此代碼返回具有最高秩分?jǐn)?shù)的 10 個(gè)節(jié)點(diǎn)。結(jié)果以字典形式提供。

現(xiàn)在，是時(shí)候用可視化方法顯示結(jié)果了Memgraph 實(shí)驗(yàn)室除了通過(guò)以下方式創(chuàng)建美麗的視覺(jué)效果外：D3.js和我們的圖形樣式腳本語(yǔ)言，您可以使用 Memgraph Lab 來(lái)：

• 查詢圖形數(shù)據(jù)庫(kù)并用 Python 或 C ++甚至 Rust 編寫(xiě)圖形算法
• 檢查 Memgraph 數(shù)據(jù)庫(kù)日志
• 可視化圖形模式

Memgraph Lab 提供了各種預(yù)構(gòu)建的數(shù)據(jù)集，幫助您入門(mén)。在 Memgraph Lab 中打開(kāi)執(zhí)行查詢視圖并運(yùn)行以下查詢：

MATCH (n)
WITH n
ORDER BY n.rank DESC
LIMIT 3
MATCH (n)<-[e]-(m)
RETURN *;

此查詢的第一部分將MATCH所有節(jié)點(diǎn)。查詢的第二部分將按rank的降序排列ORDER節(jié)點(diǎn)。

對(duì)于前三個(gè)節(jié)點(diǎn)，獲取連接到它們的所有頁(yè)面。我們需要WITH子句來(lái)連接查詢的兩個(gè)部分。

下一步是學(xué)習(xí)如何使用 Louvain 社區(qū)檢測(cè)來(lái)查找圖中存在的社區(qū)。

Louvain 的社區(qū)檢測(cè)

Louvain 算法測(cè)量社區(qū)內(nèi)節(jié)點(diǎn)的連接程度，與它們?cè)陔S機(jī)網(wǎng)絡(luò)中的連接程度進(jìn)行比較。

它還遞歸地將社區(qū)合并到單個(gè)節(jié)點(diǎn)中，并在壓縮圖上執(zhí)行模塊化聚類。這是最流行的社區(qū)檢測(cè)算法之一。

使用 Louvain ，您可以在圖中找到社區(qū)的數(shù)量。首先執(zhí)行 Louvain 并將 cluster_id保存為每個(gè)節(jié)點(diǎn)的屬性：

memgraph.execute(
    """
    CALL cugraph.louvain.get() YIELD cluster_id, node
    SET node.cluster_id = cluster_id;
    """
)

要查找社區(qū)的數(shù)量，請(qǐng)運(yùn)行以下代碼：

results =  memgraph.execute_and_fetch(
        """
        MATCH (n)
        WITH DISTINCT n.cluster_id as cluster_id
        RETURN count(cluster_id ) as num_of_clusters;
        """
    )
# we will get only 1 result
result = list(results)[0]

#don't forget that results are saved in a dict
print(f"Number of clusters: {result['num_of_clusters']}")

Number of clusters: 2664

接下來(lái)，仔細(xì)看看其中的一些社區(qū)。例如，您可能會(huì)發(fā)現(xiàn)屬于一個(gè)社區(qū)的節(jié)點(diǎn)，但連接到另一個(gè)屬于相反社區(qū)的節(jié)點(diǎn)。 Louvain 試圖最小化此類節(jié)點(diǎn)的數(shù)量，因此您不應(yīng)該看到很多節(jié)點(diǎn)。在 Memgraph Lab 中，執(zhí)行以下查詢：

MATCH  (n2)<-[e1]-(n1)-[e]->(m1)
WHERE n1.cluster_id != m1.cluster_id AND n1.cluster_id = n2.cluster_id
RETURN *
LIMIT 1000;

此查詢將顯示MATCH節(jié)點(diǎn)n1及其與其他兩個(gè)節(jié)點(diǎn)n2和m1的關(guān)系，分別包含以下部分：（n2）《-［e1］-（n1）和（n1）-［e］-》（m1）。然后，它將僅過(guò)濾出n1的那些節(jié)點(diǎn)WHERE、cluster_id，并且n2與節(jié)點(diǎn)cluster_id的m1不同。

為了簡(jiǎn)化可視化，使用LIMIT 1000僅顯示 1000 個(gè)此類關(guān)系。

使用 圖形樣式腳本 在 Memgraph Lab 中，您可以設(shè)置圖形的樣式，例如，用不同的顏色表示不同的社區(qū)。

總結(jié)

現(xiàn)在，您可以使用 Memgraph 導(dǎo)入數(shù)百萬(wàn)個(gè)節(jié)點(diǎn)和關(guān)系，并使用 cuGraph PageRank 和 Louvain graph 分析算法進(jìn)行分析。借助由 NVIDIA cuGraph 提供的 Memgraph 的 GPU 圖形分析功能，您可以探索海量圖形數(shù)據(jù)庫(kù)并進(jìn)行推理，而無(wú)需等待結(jié)果。

關(guān)于作者

Antonio Filipovi? 與 Memgraph 的解決方案團(tuán)隊(duì)合作。他擁有構(gòu)建基于云的解決方案和開(kāi)發(fā)基于流的圖形分析算法的經(jīng)驗(yàn)。作為一名學(xué)生，他幫助推出了 Memgraph Cloud 和 Memgraph 游樂(lè)場(chǎng)等產(chǎn)品。他還研究了基于流的圖機(jī)器學(xué)習(xí)算法。安東尼奧最近獲得了薩格勒布大學(xué)電氣工程與計(jì)算學(xué)院的計(jì)算機(jī)科學(xué)碩士學(xué)位。

審核編輯：郭婷