0
| 本文作者： 我在思考中 | 2022-03-10 14:04 |
編譯丨OGAI
圖可以方便地抽象關系和交互的復雜系統(tǒng)。社交網(wǎng)絡、高能物理、化學等研究領域都涉及相互作用的對象（無論是人、粒子還是原子）。在這些場景下，圖結(jié)構數(shù)據(jù)的重要性日漸凸顯，相關方法取得了一系列初步成功，而一系列工業(yè)應用使得圖深度學習成為機器學習方向的熱門研究話題之一。
圖注：通過圖對復雜系統(tǒng)的關系、交互進行抽象。例如，「分子圖」中構成分子的原子至今的化學鍵，「社交網(wǎng)絡」中用戶之間的關系和交互，「推薦系統(tǒng)」中用戶和商品之間的聯(lián)系。
受物理啟發(fā)的圖上的持續(xù)學習模型可以克服傳統(tǒng) GNN 的局限性。多年來，消息傳遞一直是圖深度學習領域的主流范式，使圖神經(jīng)網(wǎng)絡（GNN）在粒子物理到蛋白質(zhì)設計的廣泛應用中取得了巨大成功。
從理論角度來看，它建立了與 Weisfeiler-Lehman（WL）層次結(jié)構的聯(lián)系，我們可以以此分析 GNN 的表達能力。但是在 Michael Bronstein 看來，當前圖深度學習方案「以節(jié)點和邊為中心」的思維方式帶來了無法克服的局限性，阻礙了該領域未來的發(fā)展。
另一方面，在關于幾何深度學習的最新綜述中，Bronstein 提出了受物理啟發(fā)的持續(xù)學習模型，從微分幾何、代數(shù)拓撲和微分方程等領域出發(fā)開啟了一系列新工具的研究。到目前為止，圖機器學習領域中還鮮有此類研究。
針對Bronstein的最新思考，AI科技評論做了不改原意的整理與編譯：
GNN 的輸入為具有節(jié)點和邊特征的圖，計算一個既依賴于特征又依賴于圖結(jié)構的函數(shù)。消息傳遞類的 GNN（即 MPNN）通過交換相鄰節(jié)點之間的信息在圖上傳播特征。典型的 MPNN 架構由幾個傳播層組成，基于鄰居特征的聚合函數(shù)對每個節(jié)點進行更新。根據(jù)聚合函數(shù)的不同，我們可以將 MPNN分為：卷積（鄰居特征的線性組合，權值僅依賴于圖的結(jié)構）、注意力（線性組合，權值依賴于圖結(jié)構和特征）和消息傳遞（廣義的非線性函數(shù)）。消息傳遞 GNN 是最常見的，而前者可以視為消息傳遞 GNN 的特殊情況。
圖注：GNN 的三種風格——卷積、注意力和廣義非線性信息傳遞風格，它們都是消息傳遞的表現(xiàn)形式。
傳播層由基于下游任務學習的參數(shù)構成，典型的用例包括：節(jié)點嵌入（每個節(jié)點表示為向量空間中的一個點，通過點之間的距離恢復出原始圖的連通性，此類任務被稱為「鏈接預測」），節(jié)點級的分類或回歸（如推斷社交網(wǎng)絡用戶的屬性），或者通過進一步聚合節(jié)點的特征進行圖級別的預測（例如，預測分子圖的化學性質(zhì)）。
GNN 在多個方面都取得了令人印象深刻的成功，最近的相關研究也具有相當?shù)膹V度和深度。但是，當下的圖深度學習范式的主流模型是：對于構建好的圖，通過消息傳遞的方式沿著圖的邊傳播節(jié)點信息。Michael Bronstein 認為，正是這種以節(jié)點和邊為中心的思維方式，為該領域進一步發(fā)展帶來了主要的障礙。
WL 的類比能力有限。適當選擇像「求和」這樣的局部聚合函數(shù)，可以使消息傳遞等價于 WL 圖同構測試，使圖神經(jīng)網(wǎng)絡能夠根據(jù)信息在圖上的傳播方式發(fā)現(xiàn)某些圖結(jié)構。通過這種與圖論的重要聯(lián)系，研究人員提出了多種分析 GNN 表達能力的理論結(jié)果，決定了圖上的某些函數(shù)是否可以通過消息傳遞來計算。然而，這種類型的分析結(jié)果通常不能說明表征的效率（即需要多少層來計算某個函數(shù)），也不能說明 GNN 的泛化能力。
圖注：WL 測試就好比在沒有地圖的情況下走進迷宮，并試圖理解迷宮的結(jié)構。位置編碼提供了迷宮的地圖，而重連則提供了一個越過「墻壁」的梯子。
即使是對于三角形這種簡單的圖結(jié)構，有時 WL 算法也無法將它們檢測出來，這讓試圖將信息傳遞神經(jīng)網(wǎng)絡用于分子圖的從業(yè)者非常失望。例如，在有機化學中，像環(huán)這樣的結(jié)構非常普遍，并且對分子的性質(zhì)十分重要（例如，萘等芳香環(huán)之所以被稱為芳香環(huán)，是因為它們主要存在于具有強烈氣味的化合物中）。
圖注：十氫化萘（左）和二環(huán)戊基（右）有不同的結(jié)構，但我們無法通過 WL 測試區(qū)分它們。
近年來，研究者們已經(jīng)提出了一些構建表達能力更強的 GNN 模型的方法。例如，WL 層次結(jié)構中的高維同構測試（以更高的計算和內(nèi)存復雜度以及缺乏局域性為代價），將 WL 測試應用于子圖集合；位置或結(jié)構編碼，為圖中的節(jié)點著色，以這種方式幫助打破迷惑 WL 算法的規(guī)律。位置編碼目前在 Transformer 模型中是最常見的技術，在 GNN 中也廣為使用。雖然存在多種位置編碼方法，但具體的選擇還取決于目標應用，要求使用者有一定經(jīng)驗。
圖注：位置編碼示例：隨機特征、拉普拉斯特征向量（類似于 Transformer 中的正弦曲線）、結(jié)構特征（三角形和矩形的個數(shù)）。
「圖重連」突破了 GNN 的理論基礎。GNN 和卷積神經(jīng)網(wǎng)絡（CNN）之間的一個重要且微妙的區(qū)別是：圖既是輸入的一部分，也是計算結(jié)構的一部分。傳統(tǒng)的 GNN 使用輸入的圖結(jié)構來傳播信息，通過這種方式獲得既反映圖結(jié)構又反映圖上特征的表示。然而，由于某些結(jié)構特征（「瓶頸」），一些圖在信息傳播方面的性能較差，導致來自太多節(jié)點的信息被壓縮到一個節(jié)點彪悍尊能中，即「過壓縮」。
現(xiàn)代 GNN 實現(xiàn)通過將輸入圖與計算圖解耦（或為計算目的優(yōu)化輸入圖）來處理這種現(xiàn)象，這種技術稱為「圖重連」。重連可以采取以下形式：鄰域采樣、虛擬節(jié)點、連通性擴散或演化，或節(jié)點和邊的 Dropout 機制。Transformer 和像 GAT 這類基于注意力的 GNN 通過為每條邊分配不同的權重來有效地學習新的圖，這也可以理解為一種「軟性」的重接。最后，潛圖學習方法也可以歸入這一類，它可以構建針對特定任務的圖，并在每一層中更新它（初始狀態(tài)下有位置編碼、初始圖，或有時根本沒有圖）。很少有現(xiàn)代 GNN 模型在原始輸入圖上傳播信息。
圖注：GNN 中使用的各種圖重連技術——原始圖、鄰域采樣（例如，GraphSAGE）、注意力機制（例如，GAT）、連通性演化（例如，DIGL）。
WL 測試根據(jù)信息在圖上的傳播方式來描述圖。重連突破了這種理論上的聯(lián)系，但又讓我們陷入機器學習領域常見的問題中：學術界從理論上分析的模型與實踐中使用的模型并不相同。
有時，圖的「幾何特性」不足。GNN 是幾何深度學習宏偉藍圖中的一個實例。幾何深度學習是一個「群論框架」，使我們可以根據(jù)數(shù)據(jù)底層的域的對稱性設計深度學習架構。由于圖沒有規(guī)范的節(jié)點順序，在圖的場景下，這種對稱性指的是節(jié)點排列。由于這種結(jié)構特性，局部作用圖上的 MPNN 必須依賴于滿足排列不變性的特征聚合函數(shù)，這意味著圖上沒有「方向」的概念，信息的傳播是各向同性的。這種情況與在連續(xù)域、網(wǎng)格上的學習有著顯著的不同，并且是 GNN 的缺點之一，人們認為各向同性濾波器的作用有限。
圖注：網(wǎng)格是具有局部歐氏結(jié)構的離散流形。我們根據(jù)旋轉(zhuǎn)來定義鄰居節(jié)點，從而形成了「方向」的概念。圖的結(jié)構較少，它根據(jù)排列來定義鄰居節(jié)點。
有時，圖的「幾何特性」又過多。距離與方向的差異在某種程度上也與構建節(jié)點嵌入時遇到的問題有關。在某些空間中節(jié)點表征之間的距離被用來捕獲圖的聯(lián)通性。我們大致可以將嵌入空間中接近的節(jié)點通過圖中的一條邊連接起來。在推薦系統(tǒng)中，圖嵌入被用來在節(jié)點所代表的實體之間創(chuàng)建關聯(lián)（邊）。
圖嵌入的質(zhì)量及其表達圖結(jié)構的能力，在很大程度上取決于嵌入空間的幾何性質(zhì)及其與圖的幾何性質(zhì)的兼容性。歐氏空間在表示學習中有重要的地位，也是目前最簡單、最方便的表征空間，但對于許多自然中的圖來說，歐氏空間并不理想，原因之一是：歐幾里德度規(guī)球的體積隨半徑以多項式形式增長，而隨維數(shù)指數(shù)增長，而現(xiàn)實世界中許多圖的體積增長是指數(shù)的。因此，嵌入變得「過于擁擠」，我們被迫使用高維空間，從而導致較高的計算復雜度和空間復雜度。
最近流行的一種替代方法是使用負曲率（雙曲）空間，它具有與圖更兼容的指數(shù)體積增長。雙曲幾何的使用通常會使嵌入維數(shù)更低，使節(jié)點表示更加緊湊。然而，圖往往是異質(zhì)的（例如，有些部分看起來像樹，其它部分看起來像團，具有非常不同的體積增長特性），而雙曲嵌入空間是同質(zhì)的（每個點都有相同的幾何性質(zhì)）。
此外，即使嵌入空間具有非歐幾何性質(zhì)，但通常不可能在該空間中準確地表示通用的圖的度量結(jié)構。因此，圖的嵌入不可避免地是近似的。然而，更糟糕的是，由于嵌入是在考慮鏈接預測標準的情況下構建的，高階結(jié)構（三角形、矩形等）的畸變可能會大到無法控制的。在社會和生物網(wǎng)絡等應用場景下，這樣的結(jié)構扮演著重要的角色，因為它們可以捕獲更復雜的非成對的相互作用和模體。
圖注：圖的模體是一種高階的結(jié)構。在對許多生物現(xiàn)象建模的圖中可以觀察到這種結(jié)構。
當數(shù)據(jù)的結(jié)構與底層圖的結(jié)構不兼容時，GNN 的性能就會受到挑戰(zhàn)。許多圖學習數(shù)據(jù)集和對比基準都默認假設數(shù)據(jù)是同質(zhì)性的（即相鄰節(jié)點的特征或標簽是相似的，或者說是平滑的）。在這種情況下，即使是對圖進行簡單的低通濾波（例如，取鄰接平均值）也能起到很好的效果。早期的對比基準測試（例如，Cora），都是在具有高度同質(zhì)性的圖上進行的，這使得 GNN 的評估過于容易。
圖注：同構和異構數(shù)據(jù)集。在同構圖中，節(jié)點特征或標簽的結(jié)構與圖是兼容的（即節(jié)點與其鄰居節(jié)點相似）。
然而，在處理親異（heterophilic）數(shù)據(jù)時，許多模型顯示出令人失望的結(jié)果，在這種情況下，必須使用更精細的聚合方式。我們不妨考慮兩種典型的情況：（1）模型完全避免使用鄰居信息（GNN 退化為節(jié)點級的多層感知機）（2）出現(xiàn)「過平滑」現(xiàn)象，即節(jié)點的表征在經(jīng)過 GNN 的各層后變得更加平滑，最終「坍塌」為一個點。親同數(shù)據(jù)集中也存在「過平滑」現(xiàn)象，對于某些 MPNN 來說是一個更為本質(zhì)的缺陷，使深度圖學習模型難以實現(xiàn)。
我們通常很難理解 GNN 學到了什么，GNN 往往是難以解釋的黑盒模型。雖然可解釋性的定義在很大程度上還較為模糊，但在大多數(shù)情況下，我們確實并不真正理解 GNN 學習了什么。最近的一些工作試圖通過以緊湊的子圖結(jié)構和在 GNN 預測中起關鍵作用的節(jié)點特征子集的形式來解釋基于 GNN 的模型，從而緩解可解釋性的缺陷。通過潛圖學習架構學習的圖也可以看作提供「解釋」的一種形式。
約束通用的消息傳遞函數(shù)有助于排除不合理的輸出，確保 GNN 學到的東西有意義，并且在特定領域的應用程序中可以更好地理解 GNN。具體而言，這樣做可以為消息傳遞賦予額外的「內(nèi)部」數(shù)據(jù)對稱性，從而更好地理解底層的問題。例如，E(3)-等變消息傳遞能夠正確地處理分子圖中的原子坐標，最近對 AlphaFold 和 RosettaFold 等蛋白質(zhì)結(jié)構預測架構的成功作出了貢獻。
在 Miles Cranmer 和 Kyle Cranmer 合著的論文“Discovering symbolic models from deep learning with inductive biases”中，作者用符號公式取代了多體動力系統(tǒng)上學習的消息傳遞函數(shù)，從而可以「學習物理方程」。還有的研究者試圖將 GNN 與因果推理聯(lián)系起來，試圖構建一個圖來解釋不同變量之間的因果關系?？偟膩碚f，這仍然是一個處于起步階段的研究方向。
圖注：不同的「可解釋」GNN 模型——圖解釋器、潛圖學習、等變消息傳遞。
大多數(shù) GNN 的實現(xiàn)是與硬件無關的。目前大多數(shù) GNN 依賴于 GPU 實現(xiàn)，并默認數(shù)據(jù)可以裝入內(nèi)存。然而，在處理大規(guī)模圖（如生物網(wǎng)絡和社交網(wǎng)絡）時，這往往是一種一廂情愿的想法。在這種情況下，理解底層硬件的局限性（如不同的帶寬和內(nèi)存層次結(jié)構的延遲），并方便地使用硬件是至關重要的。大體來說，在相同物理內(nèi)存中的兩個節(jié)點和不同芯片上的兩個節(jié)點之間，消息傳遞的成本可能存在一個數(shù)量級的差異?！甘?GNN 對現(xiàn)有硬件友好」是一個重要而又經(jīng)常被忽視的問題?？紤]到設計新芯片所需的時間和精力，以及機器學習的發(fā)展速度，開發(fā)以圖為中心的新型硬件是一個更大的挑戰(zhàn)。
「持續(xù)」學習模型是一個取代離散 GNN 的新興的、希望的方案?！甘艿轿锢硐到y(tǒng)啟發(fā)的持續(xù)學習」從微分幾何、代數(shù)拓撲和微分方程等領域出發(fā)開辟了一系列新的工具，迄今為止在圖機器學習中還尚未被探索。
將 GNN 重新想象為連續(xù)的物理過程。與在圖上傳遞多層消息不同，我們可以考慮在連續(xù)的時間維度上發(fā)生在某個域（可以是流形等連續(xù)的域，并將其轉(zhuǎn)化為離散圖）上的物理過程。該過程在空間和時間上的某個點的狀態(tài)取代了一層 GNN 生成的圖中某個節(jié)點的潛在特征。該過程由一組參數(shù)（表示底層物理系統(tǒng)的屬性）控制，這些參數(shù)取代了消息傳遞層的可學習權值。
我們可以根據(jù)經(jīng)典系統(tǒng)和量子系統(tǒng)構造出大量不同的物理過程。研究者們在一系列論文中證明，許多現(xiàn)有的 GNN 可能與擴散過程有關，這可能最自然的傳播信息方式。也可能存在一些更奇特的方式（如耦合振蕩系統(tǒng)），它們可能具備某些優(yōu)勢。
圖注：圖耦合振蕩系統(tǒng)的動力學。
連續(xù)系統(tǒng)在時間和空間上可以是離散的?？臻g離散化指的是：以圖的形式在連續(xù)域上連接附近的點，它可以隨時間和空間變化。這種學習范式與傳統(tǒng)的 WL 測試截然不同，后者嚴格地受底層輸入圖假設的約束。更重要的是，空間離散化思想啟發(fā)了一系列新的工具的誕生。至少從原則上說，它讓我們可以解決一些重要的問題，這些問題是現(xiàn)有的圖論技術所無法解決的。
圖注：2D 拉普拉斯算子的不同離散化結(jié)果。
學習是一個最優(yōu)控制問題。在給定的時間內(nèi)，過程的所有可能狀態(tài)的空間可以被看作是一個可以表示的函數(shù)的「假設類」。這種學習方式可以看作一個最優(yōu)控制問題，即是否可以控制過程（通過在參數(shù)空間中選擇一條軌跡）使其達到某種理想狀態(tài)。我們可以將表示能力定義為：是否可以通過在參數(shù)空間中選擇適當?shù)能壽E來控制過程，從而實現(xiàn)某種給定的功能（可達性）；效率與達到某一狀態(tài)所需的時間有關；而泛化性則與該過程的穩(wěn)定性有關。
圖注：將學習作為控制問題。通過飛機來比喻物理系統(tǒng)，其 xyz 坐標（系統(tǒng)狀態(tài)）是通過操縱推理、副翼、和方向舵（參數(shù)空間）來控制的。
可以由離散微分方程推導出 GNN。物理系統(tǒng)的行為通?？捎晌⒎址匠炭刂疲浣猱a(chǎn)生系統(tǒng)的狀態(tài)。在某些情況下，這樣的解可以是閉式解。但在更普遍的情況下，必須依靠基于適當離散化的數(shù)值解。經(jīng)過一個多世紀的研究，數(shù)值分析領域出現(xiàn)了各種各樣的迭代求解器，為圖上的深度學習提供了可能的全新架構。
GNN 中的注意力機制可以解釋為具有可學習擴散系數(shù)的離散擴散偏微分方程，使用顯式數(shù)值方法求解。此時，求解器的每一步迭代對應于 GNN 的一個層。目前還沒有 GNN 架構能夠直接類比于更復雜的求解器（例如，使用自適應步長或多步方案），該方向的研究可能催生出新的架構。另一方面，隱式的方案則需要在每次迭代時求解一個線性系統(tǒng)，可以將其解釋為「多跳」濾波器。此外，數(shù)值方法具有穩(wěn)定性和收斂性的保證，為它們能夠工作提供了條件，也為失效情況提供了解釋。
數(shù)值求解器應該對硬件友好。迭代求解器比數(shù)字計算機更古老，從數(shù)字計算機誕生之日起，它就必須知道自己擁有底層硬件，并有效地利用它們。科學計算中的大規(guī)模問題通常必須在計算機集群上解決，而這些問題是至關重要的。
在圖上進行「持續(xù)」深度學習的方式，使我們以與模擬它們的硬件兼容的方式對底層微分方程進行離散化。這里可能用到超級計算研究社區(qū)的大量成果（如域分解技術）。具體而言，圖重連和自適應迭代求解器考慮了內(nèi)存的層次結(jié)構，例如：在不同物理位置的節(jié)點上執(zhí)行很少的信息傳遞步驟，而在相同物理內(nèi)存中的節(jié)點上執(zhí)行更頻繁的步驟。
將演化方程解釋為與物理系統(tǒng)相關的能量函數(shù)的梯度流，有助于理解學習模型。許多物理系統(tǒng)都有一個相關的能量泛函（有時也包含某些對稱或守恒定律），其中控制系統(tǒng)動力學的微分方程是一個最小化的梯度流。例如，擴散方程使狄利克雷能量最小化，而它的非歐版本（Beltrami 流）使 Polyakov 泛函最小化，從而直觀地理解了學習模型。利用最小作用原理，某些能量泛函可以導出雙曲方程（如波動方程）。這些方程的解是波動的（振蕩的），與典型的 GNN 動力學有很大的不同。
分析這種流的極限情況提供了對模型表現(xiàn)的深刻理解，而這是很難通過其它方法獲得的。例如，在論文“Neural Sheaf Diffusion: A Topological Perspective on Heterophily and Oversmoothing in GNNs”中，Michael 等人證明了傳統(tǒng)的 GNN 必然會導致過平滑，并且只有在同質(zhì)性假設下才具有分離的能力；在使用圖上的額外結(jié)構可以獲得更好的分離能力。在論文“Graph-Coupled Oscillator Networks”中，Michael 等人證明了振動系統(tǒng)在極限下可避免過平滑。這些結(jié)果可以解釋為什么在某些 GNN 架構中會產(chǎn)生某些不良現(xiàn)象，以及如何設計架構來避免它們。此外，將流的極限情況與分離聯(lián)系起來，揭示了模型表達能力的界限。
可以在圖中使用更豐富的結(jié)構。如前文所述，有時圖的幾何性質(zhì)可能「不足」（無法捕獲更復雜的現(xiàn)象，如非成對關系），也可能「過?！梗措y以在同質(zhì)空間中表示）。我們可以通過使用額外的結(jié)構使圖更豐富，從而處理圖幾何性質(zhì)不足的問題。例如，分子包含環(huán)，化學家認為環(huán)是單一的實體，而不是原子和鍵（節(jié)點和邊）的集合。
Michael 等人的研究指出，圖可以被「提升」為「簡單元胞復合體」（simplicial- and cellular complexes）的高維拓撲結(jié)構。我們可以設計一個更復雜的消息傳遞機制，使信息不僅可以像在 GNN 中那樣在節(jié)點之間傳播，還可以在環(huán)這樣的結(jié)構之間傳播。恰當?shù)貥嬙爝@類「提升」操作使這些模型比傳統(tǒng)的 WL 測試具有更強的表達能力。
圖注：將圖「提升」為元胞復合體，元胞消息傳遞。
在論文“Neural Sheaf Diffusion: A Topological Perspective on Heterophily and Oversmoothing in GNNs”中，Michael 等人證明了，通過給節(jié)點和邊分配向量空間和線性映射，可以給圖配備一種額外的幾何結(jié)構，即「元胞束」。傳統(tǒng)的 GNN 隱式地假設圖具有簡單的底層束結(jié)構，這反映在相關擴散方程的性質(zhì)和圖拉普拉斯算子的結(jié)構上。與傳統(tǒng)的 GNN 相比，使用復雜的「束」可以產(chǎn)生更豐富的擴散過程，有利于對其漸近行為。例如，在選擇出的恰當?shù)氖Y(jié)構上的擴散方程可以在極限的多個類中分離，即使在親異環(huán)境中也是如此。
從幾何的觀點來看，束結(jié)構類似于連接，這是微分幾何中描述流形上向量的平行傳輸?shù)母拍?。從這個意義上說，我們可以把束的學習看作是一種取決于下游任務演化圖的幾何結(jié)構的方法。Michaedl 等人證明，通過限制束的結(jié)構群（例如，限制為特殊的正交群），可以使節(jié)點特征向量只旋轉(zhuǎn)，這樣可以獲得一些有趣的發(fā)現(xiàn)。
圖注：建立在圖上的元胞束由附加在每個節(jié)點上的向量空間和連接它們的線性約束映射組成。這可以被認為是賦予圖幾何性質(zhì)，約束映射與連接類似。
「離散曲率類比」是另一種圖幾何結(jié)構的例子，這是微分幾何領域用來描述流形局部性質(zhì)的標準方法。在論文“Understanding over-squashing and bottlenecks on graphs via curvature”中，Michael 等人證明了負圖 Ricci 曲率會對圖上的信息流產(chǎn)生瓶頸，從而導致 GNN 中的過壓縮現(xiàn)象。離散 Ricci 曲率可以被應用于高階結(jié)構（三角形和矩形），這在許多應用中都很重要。這種結(jié)構對于傳統(tǒng)的圖嵌入來說有些「過?！?，因為圖是異構的（非常曲率）。對于通常用于嵌入的空間，即使是非歐空間，也是同構的（常曲率）。
在論文“Heterogeneous manifolds for curvature-aware graph embedding”中，Michael 等人展示了一種具有可控 Ricci 曲率的異構嵌入空間的構造，可以選擇與圖的曲率匹配的 Ricci 曲率，不僅可以更好地表示鄰域（距離）結(jié)構，而且可以更好地表示三角形和矩形等高階結(jié)構。這些空間被構造成同構、對旋轉(zhuǎn)對稱的流形的乘積，可以使用標準黎曼梯度下降方法進行有效優(yōu)化。
圖注：（左）空間形式（球體、平面和雙曲面）具有常的正的、零的和負的Ricci曲率，下方為它們與相應的離散的 Forman 曲率的圖的類比（團、網(wǎng)格和樹）。（中）積流形（圓柱可以被認為是圓和線的乘積）。（右）具有變曲率的異質(zhì)流形及其圖的類比。
位置編碼可以看作是域的一部分。將圖看作連續(xù)流形的離散化，可以將節(jié)點位置坐標和特征坐標視為同一空間的不同維度。在這種情況下，圖可以用來表示由這種嵌入引出的黎曼度規(guī)的離散類比，與嵌入相關的諧波能量是狄利克雷能量的非歐擴展，在弦論中稱為 Polyakov 泛函。這種能量的梯度流是一個擴散型方程，它演化了位置坐標和特征坐標。在節(jié)點的位置上構建圖是一種針對特定任務的圖重連的形式，它也會在擴散的迭代層中發(fā)生變化。
圖注：通過帶有重連的 Beltrami 流對 Cora 圖的位置和特征分量進行演化的結(jié)果。
域的演化可替代圖重連。作為一個預處理步驟，擴散方程也可以應用于圖的連通性，旨在改善信息流和避免過壓縮。Klicpera 等人提出了一種基于個性化 Page Rank 的算法，這是一種圖擴散嵌入。在論文“Understanding over-squashing and bottlenecks on graphs via curvature”中，我們分析了這個過程，指出了它在異構設定下的缺陷，并提出了一個受 Ricci 流啟發(fā)的過程的圖重接的替代方案。這樣的重連減少了負曲率造成的圖瓶頸的影響。Ricci 流是流形的幾何演化方程，非常類似于用于黎曼度規(guī)的擴散方程，是微分幾何中類流行且強大的技術（包括著名的 Poincaré 猜想的證明）。更廣義地說，與其將圖重連作為預處理步驟，還不如考慮一個演化過程的耦合系統(tǒng)：一個演化特征，另一個演領域。
圖注：（上）具有負曲率的瓶頸的啞鈴形黎曼流形，經(jīng)過基于曲率的度規(guī)演化，變得更圓，瓶頸更不明顯。（下）一個類似的基于曲率的圖重連過程，減少了瓶頸，使圖對消息傳遞更友好。
新的理論框架能讓我們走多遠，是否能夠解決該領域目前尚未解決的問題，仍然是一個懸而未決的問題。
這些方法真的會在實踐中被使用嗎？對于實踐者來說，一個關鍵的問題是，這些方法是否會催生新的更好的架構，或者仍然是一個脫離實際應用的理論工具。Michael Bronstein 相信，這個領域的研究將是實用的，通過拓撲和幾何工具獲得的理論成果將使我們對現(xiàn)有 GNN 架構做出更好的選擇。例如，如何約束消息傳遞函數(shù)，以及何時使用這些特定的選擇。
我們是否已經(jīng)超越了消息傳遞的范疇？從廣義上講，數(shù)字計算機上的任何計算都是一種消息傳遞形式。然而，在嚴格意義上的 GNN 中，消息傳遞是一個計算概念，它通過將信息從一個節(jié)點發(fā)送到另一個節(jié)點來實現(xiàn)，這是一個內(nèi)在的離散過程。另一方面，所描述的物理模型以連續(xù)的方式在節(jié)點之間共享信息（例如，在一個圖耦合振蕩系統(tǒng)中，一個節(jié)點的動力學依賴于它的鄰居在每個時間點上的動力學）。在對描述該系統(tǒng)的微分方程進行離散化和數(shù)值求解時，所對應的迭代確實是通過消息傳遞實現(xiàn)的。
然而，人們可以假設使用這些物理系統(tǒng)的實際實現(xiàn)或其他計算范式（例如，模擬電子學或光子學）。在數(shù)學上，底層的微分方程的解有時可能以封閉形式給出：例如，各向同性擴散方程的解是一個高斯核卷積。在這種情況下，鄰居的影響被吸收到核的結(jié)構中，沒有發(fā)生實際的消息傳遞。
圖注：基于反向傳播的深度學習在真實物理系統(tǒng)中的應用。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
