マイケル・ブロンスタインによる幾何学的ディープラーニングの最新レビュー: WL とプリミティブなメッセージ パッシングを超えた GNN

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

グラフは、関係性と相互作用の複雑なシステムを簡単に抽象化できます。ソーシャル ネットワーク、高エネルギー物理学、化学などの研究分野はすべて、相互作用するオブジェクト (人、粒子、原子など) を伴います。これらのシナリオでは、グラフ構造データの重要性がますます顕著になり、関連する方法は一連の初期の成功を収めています。一連の産業アプリケーションにより、グラフディープラーニングは機械学習における注目の研究テーマの 1 つとなっています。

キャプション: 複雑なシステムの関係と相互作用はグラフを通じて抽象化されます。たとえば、「分子グラフ」内の分子を構成する原子とそれらの間の化学結合、「ソーシャル ネットワーク」内のユーザー間の関係と相互作用、「推奨システム」内のユーザーと製品のつながりなどです。

物理学にヒントを得たグラフ上の継続学習モデルは、従来の GNN の限界を克服できます。長年にわたり、メッセージ パッシングはグラフ ディープラーニングの分野で主流のパラダイムであり、グラフ ニューラル ネットワーク (GNN) は粒子物理学からタンパク質設計まで、幅広いアプリケーションで大きな成功を収めてきました。

理論的な観点からは、Weisfeiler-Lehman (WL) 階層とのつながりを確立し、GNN の表現力を分析できるようになります。しかし、マイケル・ブロンスタイン氏の見解では、現在のグラフディープラーニングソリューションの「ノードとエッジ中心」の考え方は克服できない制限をもたらし、この分野の将来の発展を妨げています。

一方、ブロンスタイン氏は、幾何学的ディープラーニングに関する最近のレビューで、物理学にヒントを得た継続的な学習モデルを提案し、微分幾何学、代数的位相幾何学、微分方程式などの分野から一連の新しいツールを切り開きました。これまでのところ、グラフ機械学習の分野ではこの種の研究はほとんど行われていません。

AI Technology Reviewはブロンスタイン氏の最新の考えに応えて、原文の意味を変えずにまとめ、翻訳した。

1 グラフニューラルネットワークの動作原理

GNN の入力はノードとエッジの特徴を持つグラフであり、特徴とグラフ構造の両方に依存する関数を計算します。メッセージ パッシング GNN (MPNN) は、隣接するノード間で情報を交換することでグラフ上の特徴を伝播します。一般的な MPNN アーキテクチャは複数の伝播層で構成され、各ノードは近隣の特徴の集約関数に基づいて更新されます。集約関数に応じて、MPNN は畳み込み (近傍特徴の線形結合、重みはグラフの構造のみに依存)、注意 (線形結合、重みはグラフの構造と特徴に依存)、およびメッセージ パッシング (一般化非線形関数) に分類できます。メッセージ パッシング GNN が最も一般的ですが、前者はメッセージ パッシング GNN の特殊なケースと見なすことができます。

図 1: GNN の 3 つのスタイル (畳み込み、アテンション、一般化非線形情報受け渡しスタイル)。これらはすべてメッセージ受け渡しの形式です。

伝播層は、下流のタスクに基づいて学習されたパラメータで構成されます。一般的な使用例には、ノード埋め込み (各ノードはベクトル空間内の点として表され、元のグラフの接続性は点間の距離によって復元されます。このタイプのタスクは「リンク予測」と呼ばれます)、ノードレベルの分類または回帰 (ソーシャル ネットワーク ユーザーの属性の推測など)、またはノード機能をさらに集約することによるグラフレベルの予測 (分子グラフの化学的特性の予測など) などがあります。

メッセージパッシングGNNの2つの欠点

GNN は多くの面で目覚ましい成功を収めており、最近の関連研究は相当な幅と深さを持っています。ただし、現在のグラフ ディープラーニング パラダイムの主流モデルは、構築されたグラフのノード情報がメッセージ パッシングを通じてグラフのエッジに沿って伝播するというものです。 Michael Bronstein 氏は、このノードとエッジを中心とした考え方が、この分野のさらなる発展に対する主な障害となっていると考えています。

WL の類推能力には限界があります。 sum などのローカル集計関数を適切に選択すると、メッセージの受け渡しを WL グラフ同型性テストと同等にすることができ、グラフ ニューラル ネットワークは、グラフ上での情報の伝播方法に基づいて特定のグラフ構造を検出できるようになります。グラフ理論とのこの重要なつながりを通じて、研究者は GNN の表現力を分析し、グラフ上の特定の関数がメッセージ パッシングを介して計算できるかどうかを判断するさまざまな理論的結果を提案してきました。ただし、このタイプの分析では通常、表現の効率 (つまり、関数を計算するために必要なレイヤーの数) や GNN の一般化能力についてはあまりわかりません。

キャプション: WL テストは、地図なしで迷路に入り、その構造を理解しようとするようなものです。位置のエンコードは迷路の地図を提供し、再配線は「壁」を乗り越えるためのはしごを提供します。

三角形などの単純なグラフ構造であっても、WL アルゴリズムではそれを検出できない場合があり、分子グラフにメッセージ パッシング ニューラル ネットワークを使用しようとする実践者にとっては非常にイライラすることになります。たとえば、有機化学では、環のような構造は非常に一般的であり、分子の特性にとって重要です (たとえば、ナフタレンなどの芳香族環は、強い臭いのある化合物に主に含まれるため、芳香族と呼ばれます)。

キャプション: デカリン (左) とジシクロペンチル (右) は構造が異なりますが、WL テストでは区別できません。

近年、研究者はより表現力豊かな GNN モデルを構築するためのいくつかの方法を提案しています。たとえば、WL 階層での高次元同型性テスト (計算とメモリの複雑さが増し、局所性が失われる)、サブグラフのコレクションへの WL テストの適用、位置または構造のエンコーディング、グラフ内のノードの色付けなどにより、WL アルゴリズムを混乱させる規則性を破ることができます。位置エンコーディングは現在、Transformer モデルで最も一般的な手法であり、GNN でも広く使用されています。位置エンコード方法は多数ありますが、具体的な選択は対象アプリケーションによって異なり、ユーザーには一定の経験が必要です。

図のキャプション: 位置エンコーディングの例: ランダム特徴、ラプラシアン固有ベクトル (Transformer の正弦曲線に類似)、構造特徴 (三角形と四角形の数)。

「グラフ再接続」は、GNN の理論的基礎を打ち破ります。 GNN と畳み込みニューラル ネットワーク (CNN) の重要かつ微妙な違いは、グラフが入力の一部であると同時に計算構造の一部でもあることです。従来の GNN は、入力グラフ構造を使用して情報を伝播し、グラフ構造とグラフ上の特徴の両方を反映した表現を取得します。ただし、特定の構造的特徴 (「ボトルネック」) により、一部のグラフでは情報伝播のパフォーマンスが低下し、結果として、多数のノードからの情報が 1 つのノードに圧縮され、「過剰圧縮」が発生します。

最新の GNN 実装では、入力グラフを計算グラフから分離する (または計算目的のために入力グラフを最適化する) ことでこの現象に対処します。この手法は「グラフ再配線」と呼ばれます。再配線は、近傍サンプリング、仮想ノード、接続性の拡散または進化、またはノードとエッジのドロップアウト メカニズムの形をとることができます。 GAT のようなトランスフォーマーおよびアテンションベースの GNN は、各エッジに異なる重みを割り当てることで新しいグラフを効果的に学習します。これは、「ソフト」再接続としても理解できます。最後に、潜在グラフ学習法もこのカテゴリに分類できます。これは、タスク固有のグラフを構築し、各レイヤーで更新します (位置エンコーディング、初期グラフ、または初期状態ではグラフがまったくない場合もあります)。最新の GNN モデルでは、元の入力グラフに情報を伝播するものはほとんどありません。

図のキャプション: GNN で使用されるさまざまなグラフ再配線手法 — 元のグラフ、近傍サンプリング (例: GraphSAGE)、注意メカニズム (例: GAT)、接続性の進化 (例: DIGL)。

WL テストは、情報がグラフ全体にどのように伝播するかに基づいてグラフを記述します。再接続はこの理論的なつながりを打ち破りますが、機械学習の分野でよくある問題にもつながります。つまり、学術界で理論的に分析されたモデルは、実際に使用されるモデルと同じではないということです。

グラフの「形状」だけでは不十分な場合があります。 GNN は、幾何学的ディープラーニングの壮大な計画における 1 つの例です。幾何学的ディープラーニングは、データの基盤となるドメインの対称性に基づいてディープラーニング アーキテクチャを設計できる「グループ理論フレームワーク」です。グラフにはノードの標準的な順序がないため、グラフのコンテキストでは、この対称性はノードの配置を指します。この構造特性のため、ローカルアクショングラフ上の MPNN は、順列不変性を満たす特徴集約関数に依存する必要があります。つまり、グラフ上に「方向」の概念はなく、情報の伝播は等方性です。この状況は、連続領域やグリッドでの学習とは大きく異なり、等方性フィルタの使用が限られていると考えられる GNN の欠点の 1 つです。

キャプション: グリッドは、局所ユークリッド構造を持つ離散多様体です。回転に基づいて隣接ノードを定義し、「方向」の概念を形成します。グラフの構造は少なく、順列に基づいて隣接ノードを定義します。

場合によっては、グラフに「幾何学的特性」が多すぎることがあります。距離と方向の違いは、ノード埋め込みを構築するときに発生する問題にも多少関連しています。ある空間内のノード表現間の距離は、グラフの接続性を捉えるために使用されます。埋め込み空間内の近いノードをグラフ内のエッジを通じて大まかに接続できます。レコメンデーション システムでは、グラフ埋め込みを使用して、ノードによって表されるエンティティ間の関連付け (エッジ) を作成します。

グラフ埋め込みの品質とグラフ構造を表現する能力は、埋め込み空間の幾何学的特性とグラフの幾何学的特性との互換性に大きく依存します。ユークリッド空間は表現学習において重要な役割を果たしており、現在最も単純で便利な表現空間です。しかし、自然界の多くのグラフにとって、ユークリッド空間は理想的ではありません。その理由の 1 つは、ユークリッド計量球の体積が半径とともに多項式的に、次元とともに指数関数的に増加するのに対し、現実世界の多くのグラフの体積は指数関数的に増加することです。その結果、埋め込みが「過密」になり、高次元空間の使用を余儀なくされ、計算と空間の複雑性が高くなります。

最近人気が高まっている代替アプローチは、グラフとの互換性が高い指数関数的な体積増加を持つ負の曲率（双曲）空間を使用することです。双曲幾何学を使用すると、多くの場合、埋め込みの次元が低くなり、ノード表現がよりコンパクトになります。ただし、グラフは異質になる傾向があります (たとえば、一部の部分は木のように見え、他の部分は塊のように見え、体積成長特性が大きく異なります)。一方、双曲埋め込み空間は均質です (すべての点が同じ幾何学的特性を持ちます)。

さらに、埋め込み空間は非ユークリッド特性を持っていますが、この空間内のグラフの一般的なメトリック構造を正確に表現することは通常不可能です。したがって、グラフの埋め込みは必然的に近似的なものになります。しかし、さらに悪いことに、埋め込みはリンク予測基準を考慮して構築されるため、高次構造（三角形、長方形など）の歪みが管理できないほど大きくなる可能性があります。このような構造は、より複雑な非対の相互作用やモチーフを捉えることができるため、社会的ネットワークや生物学的ネットワークなどのアプリケーションで重要な役割を果たします。

キャプション: グラフのモチーフは高次構造です。この構造は、多くの生物学的現象をモデル化したグラフで観察できます。

データの構造が基礎となるグラフの構造と互換性がない場合、GNN のパフォーマンスは低下します。多くのグラフ学習データセットとベンチマークでは、データが同質である（つまり、隣接するノードの特徴またはラベルが類似しているか滑らかである）というデフォルトの仮定が行われます。この場合、グラフの単純なローパス フィルタリング (たとえば、近傍の平均を取る) でもうまく機能します。初期の比較ベンチマーク (Cora など) は、非常に均質なグラフで実行されたため、GNN の評価が非常に簡単になりました。

図のキャプション: 同種データセットと異種データセット。同次グラフでは、ノード機能またはラベルの構造はグラフと互換性があります (つまり、ノードは隣接ノードと類似しています)。

しかし、多くのモデルは異好性データを扱う際に期待外れの結果を示し、その場合にはより洗練された集約アプローチを使用する必要があります。 2つの典型的なケースを考えてみましょう: (1) モデルが近傍情報の使用を完全に回避する (GNN がノードレベルの多層パーセプトロンに退化する)、および (2) 「過剰平滑化」現象が発生する、つまり、ノードの表現が GNN の各層を通過するたびに滑らかになり、最終的に単一の点に「崩壊」する。 「過剰平滑化」現象は同様のデータセットにも存在し、これは一部の MPNN にとってより根本的な欠陥であり、ディープ グラフ学習モデルの実装を困難にします。

GNN が何を学習したか理解するのは困難な場合が多く、GNN は解釈が難しいブラックボックス モデルであることが多いです。解釈可能性の定義は大部分が曖昧ですが、ほとんどの場合、GNN が何を学習したのかは実際には理解されていません。最近のいくつかの研究では、GNN ベースのモデルをコンパクトなサブグラフ構造と、GNN 予測で重要な役割を果たすノード機能のサブセットの形で説明することで、GNN ベースのモデルの解釈可能性の欠陥を軽減しようと試みています。潜在グラフ学習アーキテクチャを介して学習されたグラフは、一種の「説明」を提供するものとして見ることもできます。

一般的なメッセージ パッシング機能を制限すると、不合理な出力を排除し、GNN の学習内容が意味のあるものになることを保証し、ドメイン固有のアプリケーションにおける GNN の理解を深めることができます。具体的には、そうすることで、メッセージの受け渡しに追加の「内部」データ対称性が与えられ、根本的な問題をより深く理解できるようになります。たとえば、E(3)-等変メッセージパッシングは分子グラフ内の原子座標を正しく処理することができ、最近ではAlphaFoldやRosettaFoldなどのタンパク質構造予測フレームワークの成功に貢献しています。

マイルズ・クランマーとカイル・クランマーによる論文「帰納的バイアスによるディープラーニングからのシンボリックモデルの発見」では、著者らは多体系力学系で学習したメッセージパッシング関数をシンボリック式に置き換え、「物理学の方程式を学習」できるようにしています。他の研究者は、GNN を因果推論と関連付け、さまざまな変数間の因果関係を説明するグラフを構築しようと試みました。全体として、これはまだ初期段階の研究方向です。

図のキャプション: さまざまな「解釈可能な」GNN モデル — グラフ説明、潜在グラフ学習、等変メッセージ パッシング。

ほとんどの GNN 実装はハードウェアに依存しません。現在、ほとんどの GNN は GPU 実装に依存しており、データがメモリに収まることを前提としています。しかし、生物学的ネットワークやソーシャル ネットワークなどの大規模なグラフを扱う場合、これは多くの場合希望的観測です。このような場合、基盤となるハードウェアの制限 (メモリ階層のさまざまな帯域幅やレイテンシなど) を理解し、ハードウェアを適切に使用することが重要です。一般に、同じ物理メモリ内の 2 つのノードと異なるチップ上の 2 つのノード間のメッセージ受け渡しのコストは、桁違いに異なる場合があります。 GNN を既存のハードウェアに適合させることは重要ですが、見落とされがちな問題です。新しいチップの設計に必要な時間と労力、そして機械学習の進歩のスピードを考えると、新しいタイプのグラフ中心のハードウェアを開発することはさらに大きな課題です。

3. 画像学習の新しい青写真 - 「連続」モデル

「連続」学習モデルは、離散 GNN に代わる新たな有望な代替手段です。 「物理システムにヒントを得た継続的学習」は、これまでグラフ機械学習では未開拓だった微分幾何学、代数的位相幾何学、微分方程式などの分野からの新しいツールセットを切り開きます。

GNN を連続的な物理プロセスとして再考します。グラフ上で複数層のメッセージを渡す代わりに、連続時間次元内のドメイン (多様体などの連続ドメインで、離散グラフに変換することもできます) で発生する物理プロセスを検討できます。空間と時間の特定の時点でのこのプロセスの状態は、GNN のレイヤーによって生成されたグラフ内のノードの潜在的な特徴を置き換えます。このプロセスは、メッセージ パッシング レイヤーの学習可能な重みを置き換える一連のパラメーター (基礎となる物理システムの特性を表す) によって制御されます。

古典システムと量子システムに基づいて、さまざまな物理プロセスを多数構築できます。研究者らは一連の論文で、既存の GNN の多くが拡散プロセスに関連し、それが情報を伝播する最も自然な方法である可能性があることを実証しました。特定の利点を持つ可能性のある、より特殊なアプローチ (結合振動システムなど) もあるかもしれません。

図キャプション: 結合振動システムのダイナミクス。

連続システムは、時間と空間において離散的になることがあります。空間離散化とは、時間と空間が変化する可能性のあるグラフの形で連続領域上の近くの点を接続することを指します。この学習パラダイムは、基礎となる入力グラフに関する仮定によって厳密に制約される従来の WL テストとは異なります。さらに重要なのは、空間離散化のアイデアが、一連の新しいツールの誕生につながったことです。少なくとも原理的には、既存のグラフ理論技術では解決できない重要な問題のいくつかを解決することが可能になります。

図のキャプション: 2D ラプラシアン演算子のさまざまな離散化結果。

学習は最適制御問題です。特定の時間におけるプロセスのすべての可能な状態の空間は、表現できる関数の「仮説クラス」として見ることができます。この学習アプローチは、最適制御問題、つまり、プロセスが（パラメータ空間内の軌道を選択することによって）何らかの理想的な状態に到達するように制御できるかどうかという問題として考えることができます。表現力は、パラメータ空間で適切な軌道を選択してプロセスを制御して特定の機能を実現できるかどうか (到達可能性) と定義できます。効率は特定の状態に到達するのに必要な時間に関連し、一般化はプロセスの安定性に関連します。

図のキャプション: 制御問題としての学習。物理システムの類似点は飛行機で、その xyz 座標 (システム状態) はステアリング推論、エルロン、および方向舵 (パラメーター空間) によって制御されます。

GNN は離散微分方程式から導出できます。物理システムの動作は多くの場合、微分方程式によって制御され、その解によってシステムの状態が決まります。場合によっては、そのようなソリューションは閉じた形式のソリューションになることがあります。しかし、より一般的なケースでは、適切な離散化に基づく数値解に頼る必要があります。 1 世紀以上にわたる研究を経て、数値解析の分野ではさまざまな反復ソルバーが登場し、グラフ上のディープラーニングのための新しいアーキテクチャの可能性を提供してきました。

GNN の注意メカニズムは、学習可能な拡散係数を持つ離散拡散偏微分方程式として解釈でき、明示的な数値手法を使用して解くことができます。この時点で、ソルバーの各反復は GNN のレイヤーに対応します。現在、より複雑なソルバー（適応ステップ サイズやマルチステップ スキームを使用するなど）に直接類似した GNN アーキテクチャは存在せず、この方向の研究によって新しいアーキテクチャが出現する可能性があります。一方、暗黙的なスキームでは、各反復で線形システムを解く必要があり、これは「マルチホップ」フィルターとして解釈できます。さらに、数値法には安定性と収束の保証があり、数値法が機能するための条件が提供され、失敗状況の説明も提供されます。

数値ソルバーはハードウェアフレンドリーである必要があります。反復ソルバーはデジタル コンピューターよりも古く、デジタル コンピューターの黎明期から、基礎となるハードウェアが何であるかを把握し、それを効果的に使用する必要がありました。科学計算における大規模な問題は、多くの場合、コンピューターのクラスターで解決する必要があり、これらの問題は重大です。

グラフ上の「連続的な」ディープラーニングのアプローチにより、基礎となる微分方程式を、それらをシミュレートするために使用されるハードウェアと互換性のある方法で離散化することができます。ここでは、スーパーコンピューティング研究コミュニティによる多くの研究成果 (ドメイン分割手法など) が活用される可能性があります。具体的には、グラフの再配線と適応反復ソルバーは、メモリの階層構造を考慮します。たとえば、異なる物理的な場所にあるノードではメッセージ パッシング ステップがほとんど実行されませんが、同じ物理メモリ内のノードではより頻繁なステップが実行されます。

進化方程式を物理システムに関連付けられたエネルギー関数の勾配フローとして解釈すると、学習モデルを理解するのに役立ちます。多くの物理システムには、関連するエネルギー関数（場合によっては特定の対称性や保存則も含む）があり、システムのダイナミクスを支配する微分方程式は、最小化される勾配フローです。たとえば、拡散方程式はディリクレエネルギーを最小化し、その非ユークリッドバージョン (ベルトラミフロー) はポリアコフ関数を最小化することで、学習モデルを直感的に理解できるようになります。最小作用の原理を使用すると、特定のエネルギー関数から双曲型方程式 (波動方程式など) を導くことができます。これらの方程式の解は変動（振動）しており、典型的な GNN ダイナミクスとは大きく異なります。

このようなフローの限界ケースを分析すると、他の方法では得るのが難しいモデルの動作に関する洞察が得られます。たとえば、論文「Neural Sheaf Diffusion: A Topological Perspective on Heterophily and Oversmoothing in GNNs」では、Michael らは、従来の GNN は必然的に過剰平滑化につながり、均一性の仮定の下でのみ分離機能を持つが、グラフ上の追加構造を使用することでより優れた分離機能が得られることを証明しました。論文「グラフ結合発振器ネットワーク」で、マイケルらは、発振システムが極限において過剰平滑化を回避できることを実証しました。これらの結果は、特定の GNN アーキテクチャで特定の望ましくない現象が発生する理由と、それを回避するためにアーキテクチャをどのように設計するかを説明できます。さらに、フローの限界ケースを分離に関連付けると、モデルの表現力の限界が明らかになります。

グラフ内でより豊富な構造を使用することが可能です。前述のように、グラフの幾何学的特性が「不十分」 (非対の関係などのより複雑な現象を捉えることができない) または「過剰」 (つまり、均質な空間で表現するのが難しい) になる場合があります。グラフの幾何学的特性の欠如は、追加の構造を追加することで解決できます。たとえば、分子にはリングが含まれており、化学者はこれを原子と結合 (ノードとエッジ) の集合ではなく単一のエンティティと見なします。

マイケルらによる研究では、グラフは「単体および細胞複合体」の高次元位相構造に「昇格」できることが示されています。 GNN のようにノード間だけでなく、リングなどの構造間でも情報を伝播できるように、より複雑なメッセージ パッシング メカニズムを設計できます。このような「リフティング」操作を適切に構築することで、これらのモデルは従来の WL テストよりも表現力が高まります。

キャプション: この図は、細胞複合体と細胞メッセージ パッシングに「アップグレード」されています。

論文「ニューラル シーフ拡散: GNN における異好性と過剰平滑化に関するトポロジカルな観点」で、Michael らは、ノードとエッジにベクトル空間と線形マッピングを割り当てることで、グラフに追加の幾何学的構造、つまり「セル バンドル」を装備できることを実証しました。従来の GNN では、グラフには単純な基礎バンドル構造があり、それが関連する拡散方程式の特性とグラフラプラシアンの構造に反映されていると暗黙的に想定されています。従来の GNN と比較して、複雑な「バンドル」を使用すると、より豊富な拡散プロセスを生成でき、漸近的な動作に役立ちます。たとえば、適切に選択されたバンドル構造上の拡散方程式は、異好性環境であっても、極限では複数のクラスに分離できます。

幾何学的な観点から見ると、バンドル構造は接続に似ています。接続は、多様体上のベクトルの平行移動を記述する微分幾何学の概念です。この意味で、バンドル学習は、下流のタスク進化グラフの幾何学的構造に依存する方法と見ることができます。 Michaedl らは、バンドルの構造群を (たとえば、特殊な直交群に) 制限することで、ノードの固有ベクトルのみを回転させることが可能であり、いくつかの興味深い発見につながることを示しました。

キャプション: グラフ上に構築されたセル バンドルは、各ノードに接続されたベクトル空間と、それらを接続する線形制約マップで構成されます。これは、制約マッピングが結合に似ているため、グラフに幾何学的特性を与えるものと考えることができます。

離散曲率のアナロジーは、グラフ幾何学構造の別の例であり、多様体の局所的な特性を記述するための微分幾何学における標準的なアプローチです。論文「曲率によるグラフ上の過剰圧縮とボトルネックの理解」で、Michael らは、負のグラフの Ricci 曲率がグラフ上の情報フローのボトルネックを作成し、GNN の過剰圧縮につながることを証明しました。離散リッチ曲率は、多くのアプリケーションで重要な高次構造 (三角形や長方形) に適用できます。グラフは異質 (非常に曲線的) であるため、この構造は従来のグラフ埋め込みにはやや「過剰」です。埋め込みに一般的に使用される空間では、非ユークリッド空間であっても同型（曲率が一定）になります。

論文「曲率を考慮したグラフ埋め込みのための異種多様体」では、マイケルらが、制御可能なリッチ曲率を持つ異種埋め込み空間の構築を提示しています。リッチ曲率はグラフの曲率と一致するように選択でき、近傍（距離）構造だけでなく、三角形や四角形などの高次構造もより適切に表現できます。これらの空間は、標準的なリーマン勾配降下法を使用して効率的に最適化できる、同型で回転対称な多様体の積として構造化されています。

図のキャプション: (左) 一定の正、ゼロ、負のリッチ曲率を持つ空間形式 (球、平面、双曲面) と、それに対応する離散フォルマン曲率グラフ (クラスター、グリッド、ツリー) との類似性。 (中央) 積多様体 (円柱は円と線の積として考えることができます)。 (右) 可変曲率を持つ異質多様体とそのグラフ類似性。

位置エンコーディングはドメインの一部と見なすことができます。グラフを連続多様体の離散化として見ると、ノードの位置座標と特徴座標は同じ空間の異なる次元と見なすことができます。この場合、グラフは、この埋め込みによって誘導されるリーマン計量の離散類似物を表すために使用でき、埋め込みに関連付けられた調和エネルギーは、弦理論ではポリアコフ関数として知られるディリクレ エネルギーの非ユークリッド拡張です。このエネルギー勾配フローは、位置座標と特徴座標の両方を進化させる拡散型方程式です。ノードの場所でグラフを構築することは、拡散の反復レイヤーでも変化するタスク固有のグラフ再配線の一種です。

図のキャプション: 再結合を伴うベルトラミフローを通じてのコーラ図の位置と特徴的な要素の進化の結果。

ドメイン進化はグラフの再配線を置き換えることができます。前処理ステップとして、情報の流れを改善し、過剰な圧縮を回避することを目的として、拡散方程式をグラフの接続に適用することもできます。 Klicpera らは、グラフ拡散埋め込みであるパー​​ソナライズされた Page Rank に基づくアルゴリズムを提案しました。 「曲率によるグラフの過剰圧縮とボトルネックの理解」では、このプロセスを分析し、異種環境における欠点を指摘し、リッチフローからヒントを得た代替のグラフ再配線プロセスを提案します。このような再配線により、負の曲率によって発生するグラフのボトルネックの影響が軽減されます。リッチフローとは、リーマン計量に使用される拡散方程式に非常によく似た、多様体の幾何学的発展を表す方程式であり、微分幾何学（有名なポアンカレ予想の証明を含む）でよく使われる強力な手法です。より一般的には、グラフの再配線を前処理ステップとして使用するのではなく、進化するプロセス（1 つは進化する機能、もう 1 つは進化するドメイン）の結合システムを検討することができます。

図のキャプション: (上) 負の曲率のボトルネックを持つダンベル型リーマン多様体は、曲率ベースの計量進化の後、より丸くなり、ボトルネックは目立たなくなります。 (下) ボトルネックを減らし、グラフをよりメッセージ パッシングに適したものにする、同様の曲率ベースのグラフ再配線プロセス。

4 結論

新しい理論的枠組みがどこまで私たちを導いてくれるのか、そしてそれがこの分野で現在解決されていない問題を解決できるかどうかは、未解決の問題のままです。

これらの方法は実際に使用されているのでしょうか?実践者にとって重要な疑問は、これらの方法が新しい、より優れたアーキテクチャにつながるのか、それとも現実世界のアプリケーションから切り離された理論的なツールのままなのかということです。マイケル・ブロンスタイン氏は、この分野の研究は実用的なものとなり、位相的および幾何学的なツールを通じて得られる理論的結果によって、既存の GNN アーキテクチャについてより適切な選択を行えるようになると考えています。たとえば、メッセージの通過関数を制約する方法、およびこれらの特定の選択肢をいつ使用するか。

メッセージを超えて移動しましたか？広い意味では、デジタルコンピューターでの計算は、メッセージの渡された一形態です。ただし、GNNSの厳格な意味では、メッセージの合格は、あるノードから別のノードに情報を送信することによって実装される計算概念であり、本質的に個別のプロセスです。一方、記載されている物理モデルは、ノード間で連続的な方法で情報を共有します（たとえば、グラフ結合振動システムでは、ノードのダイナミクスは、あらゆる時間ステップでの近隣のダイナミクスに依存します）。システムを記述する微分方程式が離散化され、数値的に解かれている場合、対応する反復はメッセージの合格によって実際に実装されます。

ただし、これらの物理システムまたは他の計算パラダイム（例えば、アナログエレクトロニクスやフォトニクス）の実際の実装の使用を仮定することができます。数学的には、基礎となる微分方程式の解は閉じた形で示される場合があります。たとえば、等方性拡散方程式の解はガウスカーネルの畳み込みです。この場合、隣人の影響はカーネルの構造に吸収され、実際のメッセージの合格は発生しません。

キャプション：実際の物理システムにおけるバックプロパゲーションベースの深い学習の適用。