當(dāng)Transformer模型發(fā)布時，它徹底革新了機(jī)器翻譯領(lǐng)域。雖然最初是為特定任務(wù)設(shè)計的，但這種革命性的架構(gòu)顯示出它可以輕松適應(yīng)不同的任務(wù)。隨后成為了Transformer一個標(biāo)準(zhǔn)，甚至用于它最初設(shè)計之外的數(shù)據(jù)（如圖像和其他序列數(shù)據(jù)）。

然后人們也開始優(yōu)化和尋找替代方案，主要是為了減少計算成本（自注意力機(jī)制的二次方成本）。關(guān)于哪種架構(gòu)在計算成本方面更優(yōu)的討論一直在進(jìn)行，但是對于Transformer來說，它的成功之處在于模型能夠展示出強(qiáng)大的推理能力。

如何分析神經(jīng)網(wǎng)絡(luò)的推理能力？

最常用的方法之一是研究利用架構(gòu)內(nèi)部表示能執(zhí)行哪些算法。有一個完整的領(lǐng)域致力于這項任務(wù)：Neural algorithmic reasoning。Transformer是否能進(jìn)行泛化，或者通過擴(kuò)展是否能解決一些問題，這些問題仍然懸而未決，并且這方面的研究也十分活躍。有些人認(rèn)為Transformer具有普適推理能力，而其他人認(rèn)為它是引領(lǐng)我們走向人工通用智能的架構(gòu)（假設(shè)我們能夠足夠擴(kuò)展它），但是目前看Transformer能夠在不同的領(lǐng)域，NLP，時間序列，甚至CV中取得良好的成績但是測試其極限也非常重要。我們不僅需要測試它的極限，還需要與其他架構(gòu)進(jìn)行比較，并在未來建立基準(zhǔn)。在最近的一項研究中，研究人員決定深入研究一個特定的領(lǐng)域:圖神經(jīng)網(wǎng)絡(luò)。今天介紹的這篇論文叫“Understanding Transformer Reasoning Capabilities via Graph Algorithms”

這可能聽起來有些奇怪，但近來Transformer（以及大型語言模型）與圖（Graphs）之間的關(guān)系越來越密切。首先，自注意力可以被視為一種圖的形式。其次，圖（尤其是知識圖譜）可以用來擴(kuò)展Transformer。第三，圖是復(fù)雜推理的理想抽象。思維鏈條和其他技術(shù)也可以被視為圖的一種抽象。另外許多圖問題可以通過簡單的架構(gòu)解決，而其他問題則需要復(fù)雜的推理和先進(jìn)的圖神經(jīng)網(wǎng)絡(luò)（GNNs）。

圖計算已經(jīng)成為過去幾十年計算和人工智能中幾個成功設(shè)計的基礎(chǔ)之一，例如用于蛋白質(zhì)預(yù)測的AlphaFold。許多推理任務(wù)可以表達(dá)為關(guān)于圖的推理（這就是為什么像Tree of Thoughts或Graph of Thoughts這樣的技術(shù)顯示出成功）。所以這似乎是測試Transformer能力的最佳選擇。盡管有不同的理論前提，但是進(jìn)行嚴(yán)格分析并不容易：圖推理任務(wù)可以被歸類到已知的計算類別中。但是當(dāng)我們想要評估一個神經(jīng)網(wǎng)絡(luò)解決這些任務(wù)的能力時，情況就不同了。在Transformer的情況下，我們也感興趣的不僅僅是固定深度的情況，還有通過改變層數(shù)從而學(xué)習(xí)更簡單或更復(fù)雜的表征時的變化。并且Transformer也可以在寬度上增長，這在考慮到對上下文長度的重新關(guān)注時尤其相關(guān)。作者總結(jié)了三類任務(wù)，它們的難度逐步增加，只能通過越來越復(fù)雜的模型來解決：1. 檢索任務(wù)。節(jié)點計數(shù)、邊計數(shù)、邊存在檢查和節(jié)點度數(shù)是只需要一次查找的任務(wù)，因此只需要一個Transformer層和一個小型嵌入。2. 可并行化任務(wù)。連通性、連接節(jié)點和循環(huán)檢查（以及更復(fù)雜的任務(wù)如二分性和平面性）可以用對數(shù)深度的Transformer解決。3. 搜索任務(wù)。最短路徑和其他需要更多推理的任務(wù)需要模型的擴(kuò)展。

論文中進(jìn)行了幾項理論分析，展示了Transformer如何解決這些任務(wù)以及解決這些任務(wù)所需的維度要求。另一個有趣的點是，作者還分析了“pause tokens”的影響。

結(jié)果在對Transformer的推理能力進(jìn)行了實證分析后。他們選擇使用從頭開始訓(xùn)練的模型（最多60M參數(shù)），對預(yù)訓(xùn)練的Transformer（T5，帶11B參數(shù)）進(jìn)行微調(diào)，測試提示技術(shù)，并將其與圖神經(jīng)網(wǎng)絡(luò)（GNNs）進(jìn)行比較。使用GraphQA基準(zhǔn)任務(wù)進(jìn)行了實驗。

圖推理算法可以分為局部和全局兩種。前者在局部聚合信息（節(jié)點及其鄰居），而后者模擬節(jié)點之間可能是長距離的全局連接。論文主要專注于全局任務(wù)，如評估連通性或計算最短路徑（這些任務(wù)需要分析圖的全局結(jié)構(gòu)）。在少數(shù)示例情況下，圖神經(jīng)網(wǎng)絡(luò)（GNNs）在這些任務(wù)中更為高效，但通過增加示例數(shù)量，Transformer的表現(xiàn)更好（Transformer仍然具有弱歸納偏見，需要許多示例才能最好地學(xué)習(xí)）。對Transformer進(jìn)行微調(diào)也對預(yù)訓(xùn)練的Transformer有積極影響。

以前的研究已經(jīng)表明，對于圖神經(jīng)網(wǎng)絡(luò)（GNN）來說，以參數(shù)效率的方式解決連通性存在限制。微調(diào)后的模型似乎對連通性和最短路徑都更有效。雖然Transformer在解決全局任務(wù)方面更有效，但GNN在分析局部推理的任務(wù)中似乎更為高效：

表明GNN對于學(xué)習(xí)可以通過專門關(guān)注局部啟發(fā)式解決的圖推理任務(wù)具有有益的歸納偏見。（論文原文翻譯）

在GNN中的消息傳遞框架便于節(jié)點與其鄰居之間的信息傳遞（每增加一層相當(dāng)于圖中的一次跳躍）。相比之下，注意力機(jī)制計算每對標(biāo)記之間的關(guān)系，因此它通過全局任務(wù)來促進(jìn)，但在數(shù)據(jù)量較低的情況下，識別重要的局部關(guān)系更為困難。

作者還測試了使用大型語言模型（LLM）的情況，對表現(xiàn)優(yōu)異的Transformer進(jìn)行微調(diào)優(yōu)于使用提示方法。盡管在訓(xùn)練過程中，LLM會在語料庫中看到圖數(shù)據(jù)，因此并不是完全沒有接觸過此類數(shù)據(jù)。但這表明在特定任務(wù)的情況下專業(yè)的小模型還是要更好，并且微調(diào)要比直接使用提示的方式好。

總結(jié)這篇論文詳細(xì)展示了Transformer在圖推理方面的能力，并且涵蓋了不同的參數(shù)縮放模式。許多問題可以被重新表述為圖問題，所以這篇論文還是值得閱讀。并且論文還顯示，一些能力的展示需要一定的網(wǎng)絡(luò)深度，以便讓Transformer解決問題。例如在需要全局推理的任務(wù)中，Transformer超過了圖神經(jīng)網(wǎng)絡(luò)（GNN），這得益于自注意力機(jī)制，它允許長距離依賴關(guān)系被高效評估。這些發(fā)現(xiàn)為使用Transformer處理具有復(fù)雜全局依賴性的圖推理任務(wù)提供了理論和實證支持。

論文地址：https://arxiv.org/abs/2405.18512
作者：Salvatore Raieli

本文來源：DeepHub IMBA