GNN の科学: テンセント AI ラボと清華大学が、等変グラフ ニューラル ネットワークをレビューする論文を共同で発表

近年、伝統的な自然科学の問題の解決においてますます多くの人工知能手法が活躍しており、いくつかの重要な主題問題（タンパク質構造予測など）において目覚ましい進歩を遂げています。物理学の研究分野では、多くの物理的問題に、空間位置、速度、加速度など、モデル化されたオブジェクトの幾何学的特徴が関係しています。この特徴は、多くの場合、幾何学的図の形で表現されます。一般的なグラフ データとは異なり、幾何学グラフの非常に重要な特徴は、回転、平行移動、反転対称性がさらに含まれていることです。これらの対称性は、多くの場合、特定の物理的問題の性質を反映しています。そのため、最近では、幾何学的グラフの対称性を活用し、古典的なグラフニューラルネットワークに基づいて等変特性を持つ多くのモデルを設計して、幾何学的グラフのモデリングの問題を解決する研究が多く行われています。等変グラフニューラルネットワークモデルはこの分野で大きな進歩を遂げていますが、この分野での体系的な研究はまだ不足しています。この目的のために、Tencent AI Lab、清華大学AIR、コンピュータサイエンス学部は、レビュー「幾何学的に等変なグラフニューラルネットワーク：概要」で、等変グラフニューラルネットワークの構造と関連タスクを体系的に整理しました。

レビュー論文リンク: https://arxiv.org/abs/2202.07230

物理学や化学の分野では、多くの問題で幾何学的特徴を持つグラフの処理が必要になります。たとえば、化学小分子やタンパク質は、原子とその化学結合関係で構成される幾何学グラフとしてモデル化できます。この図では、原子の固有の特性に加えて、空間内の各原子の 3 次元座標の幾何学的特性も考慮する必要があります。物理学における多体問題では、各粒子の幾何学的特性には、座標、速度、回転などが含まれます。一般的な特徴とは異なり、これらの幾何学的特徴には対称性と等価性があることがよくあります。このため、近年では対称性のモデリングに基づいて、グラフニューラルネットワークに基づく改良モデルが多数提案されています。このタイプのモデルは、等変対称特性を持つ特徴をうまく処理できない従来のグラフ ニューラル ネットワークの欠点を克服しているため、総称して等変グラフ ニューラル ネットワークと呼ばれます。

このレビューでは、近年の等変グラフニューラルネットワークの発展を体系的に整理し、読者がこのタイプのネットワークの意味をすぐに理解できるように簡潔な視点を提供しました。メッセージの伝播と集約機能の違いに基づいて、既存の同変グラフニューラルネットワークを 3 つのカテゴリに分類します。同時に、現在の課題と将来の方向性についても詳しく説明します。

実際のアプリケーションでは、処理する必要があるグラフには、トポロジ接続とノード機能だけでなく、いくつかの幾何学的機能も含まれます。グラフ ニューラル ネットワークを使用してこれらのデータを処理する場合は、さまざまな機能がさまざまなプロパティを満たす必要があります。たとえば、分子のエネルギーを予測する場合、予測は入力ジオメトリに対して不変である必要がありますが、分子動力学アプリケーションでは、予測は入力ジオメトリに対して等変である必要があります。この目標を達成するために、等変グラフニューラルネットワークの一般的なフレームワークを提案します。

このフレームワークでは、入力グラフの幾何学的特徴を表し、h_i、h_j は非幾何学的特徴を表します。およびはそれぞれエッジ(x, j)上の幾何学的メッセージと非幾何学的メッセージを表します。およびは、それぞれジオメトリ メッセージと非ジオメトリ メッセージの集計関数です。さらに、非幾何学情報のメッセージ関数は入力に対して G 不変です。幾何学情報のメッセージ関数は、入力に対して G 同変です。次の図は、この一般的なフレームワークの動作を示しています。

上記の一般的なフレームワークに基づいて、現在主流となっている同変グラフ ニューラル ネットワーク モデルを以下の表にまとめます。同時に、さまざまな種類のメッセージ表現に基づいて、既存の等価グラフ ニューラル ネットワーク モデルを、既約表現、正規表現、スカラー化の 3 つのカテゴリに分類します。

既約表現情報に基づくモデルこれらのモデルは、コンパクト群の線形表現を、既約表現の直積の系列に分解できるという理論に基づいています。このように、SE(3)群では同変特性を満たすメッセージモデルが構築される。たとえば、TFN の場合:

TFN層は、クレプシュ・ゴルダン係数の特性を利用して、SO(3)に属する任意の回転パラメータおよび任意の回転操作と等価な層を構築します。 Attention メカニズムの追加や非線形 Clebsch-Gordan 係数の導入など、TFN 構造に基づいた対応する拡張を行う作業が大量に行われています。ただし、これらの方法は計算量が非常に多く、既約表現は特定のグループにのみ適用できます。これにより、そのようなモデルの表現力が制限されます。

正規表現情報に基づくモデル別の種類の作業では、グループの正規表現を使用してグループ畳み込み演算を構築しようとします。ここでの代表的な研究である LieConv は、リフティング操作を通じて入力をグループ内の要素にマッピングし、次に PointConv を使用してグループ畳み込みの離散化計算を完了します。私たちの表記規則によれば、リー畳み込みは次のように表すことができます。

ここで、はグループ内のマッピング要素であり、log はグループ要素を対応するリー代数にマッピングし、は MLP です。この構成により、リー畳み込みにおける h_i の更新は、任意のリー群とその離散部分群に対して不変性を実現します。この考えに基づいて、LieTransformer はモデルのパフォーマンスをさらに向上させるための自己注意メカニズムを導入します。リー群の正準表現に基づくモデルは、グループの選択においてより柔軟ですが、離散化とサンプリングが必要なため、効率とパフォーマンスの間でトレードオフを行う必要があります。同時に、上記の更新はスカラー情報 h のみを考慮しており、ハミルトンネットワークやその他の研究における更新方法を統合しない限り、幾何学情報 x の更新に直接拡張することは困難です。

群表現理論に基づくスカラー化のアプローチに加えて、多くの研究でスカラー化に基づく方法を採用して同変特性をモデル化しています。このタイプのスカラー化法では、まず幾何学的特徴が不変のスカラーに変換され、次に MLP などのネットワーク構造を使用してスカラーの変更が取得され、最後にこの変更が元の幾何学的特徴に追加されて等価性が取得されます。このスカラー化手法は、SchNet と DimNet によって最初に提案されましたが、モデルの変更されていない部分のみが考慮されました。 SphereNet は、以前の研究に基づいて、メッセージ伝播ネットワークのねじれ角の変化をさらに考慮します。スカラー化における重要な研究として、EGNN は非常に柔軟なフレームワークを提案しています。

そのうち、幾何学的特徴のスカラー化は、 MLP の機能とは異なり、幾何学的情報と非幾何学的情報のメッセージを関連付けることにより、EGN N は伝播中に非幾何学的特徴と幾何学的特徴の同値性を同時に保証できます。この構成は物理的な知識を組み合わせたもので、 2 つの粒子間のクーロン力/重力の計算のモデル化として考えることができます。 GMN は EGNN に基づいて、モデルが記述できる幾何学的特徴の次元を拡張します。座標情報をモデル化しながら、より多くの幾何学的情報 (速度、加速度、角速度など) を導入し、等価性を確保することもできます。 DimeNet をベースにした GemNet は、この一般的な表現を使用して、二面角などのより豊富な幾何学的特徴をメッセージ伝播プロセスに組み込みます。さらに、不変スカラーと等変ベクトルの積は依然として等変ベクトルであるという観察に基づいて、等変メッセージ伝播を構築するスカラー化メソッドのクラスがあります。たとえば、PaiNN と Equivariant Transformer は、不変 SchNet 上のラジアル基底関数を通じて原子の距離をモデル化することで、等変プロパティを SchNet に拡張します。

以下は、等変グラフ ニューラル ネットワーク モデルの概要です。

等変グラフ ニューラル ネットワークのアプリケーション 等変グラフ ニューラルネットワークは、幾何学的情報をより適切にモデル化できるため、物理システムから化学物質に至るまで、さまざまな種類の現実世界の幾何学的データに幅広く応用されています。このレビューでは、物理システム、分子データ、ポイントクラウドデータへの応用について簡単に紹介します。次の表は、既存の等価ニューラル ネットワークの適用方向とデータ セットをまとめたものです。

複雑な物理システムのモデリング複雑な物理システムのダイナミクスをモデリングすることは、長い間、難しいテーマでした。物理システムには、物理​​法則に基づいた力を通じて相互に作用する荷電粒子などの物体が存在します。 n 体シミュレーションの問題は、NRI のこの研究で初めて導入されました。 n 体系は、粒子間のクーロン力によって駆動される複数の荷電粒子で構成されています。 n 体問題の目的は、システムの初期条件 (座標、速度、電荷) が与えられた場合に、これらの粒子の動的軌道を予測することです。このタスクはE(3)同変です。 SE(3)-TransformerとEGNNはどちらも、このタスクに対する等価グラフニューラルネットワークの可能性を示しています。 GMN はさらに、より困難な問題である制約付き n 体問題を提案します。これは、コネクティングロッドやヒンジなど、粒子間に制約がある場合に、粒子の運動の軌道を効果的に予測する方法です。 NRI と GMN は、ミクロデータに加えて、人間の動作によってキャプチャされたマクロデータも使用して、モデルの有効性を検証しました。

分子のモデリング 等変グラフ ニューラル ネットワークのもう 1 つの重要な応用方向は、分子データのモデリングです。分子データでは、原子間の相互作用は一連の複雑な化学的および物理的メカニズムによって決定されます。一般的な分子データの場合、原子の非幾何学的特徴には原子自体の特徴が含まれることが多く、幾何学的特徴には原子の空間座標や速度などが含まれます。原子間のエッジは、化学結合によって、または実際の距離に基づいて切り捨てられることによって構築されます。分子に関する古典的な応用としては、分子予測と分子生成などがあります。分子予測: 具体的には、分子予測には分子の特性と構造に関するいくつかの予測タスクが含まれます。分子予測の分野では、以下の古典的なデータセットが含まれます。小分子に関して言えば、QM9 は 12 個の量子特徴予測タスクを含む古典的な小分子データセットです。 M17 は、8 つの小分子で取得された動的軌跡のデータセットであり、対応する状態のエネルギーや相互作用力などの情報も含まれています。 ISO17 は、129 個の異性体の軌跡情報を含む同様の分子動力学軌跡データセットです。 Open Catalyst 2020 (OC20) には、触媒と基質の触媒プロセスの状態情報が含まれており、その目的は、初期状態が与えられた場合にターゲット構造と対応する状態のエネルギーを予測することです。高分子に関して言えば、MDAnalysis はタンパク質レベルでの分子動力学シミュレーションに関する比較的完全なデータ セットです。 Atom3D は、小分子から RNA やタンパク質に至るまで、形状情報を含む 8 つの分子予測タスクを含む包括的なデータセットです。分子生成: 分子生成の分野では、等変グラフニューラルネットワークは分子構造に関連する生成によく使用されます。 ConfGF と DSGM は、回転-平行移動不変 GNN に基づいてスコアリング関数をパラメータ化し、スコアリングベースのコンフォメーション生成モデルを構築します。 GeoDiff は、ノイズ除去拡散確率モデルを使用し、等価保証付きの GNN に基づいてモデルを構築します。 Equivariant Flow は、Equivariant カーネルに基づいて Normalizing Flow の実現可能性を検証します。

ポイント クラウドのモデリング ポイントクラウドは、割り当てられた座標を持つ一連のポイントを通じてオブジェクトの形状を記述するオブジェクトの表現形式です。ポイントクラウドモデリングの分野には、いくつかの古典的なデータとタスクがあります。 ModelNet40 と ScanObjectNN は、オブジェクトを分類することを目的とした 2 つの古典的なポイント クラウド データセットです。ポイント クラウド データ内のポイント間には明示的なリンクがないため、等変グラフ ニューラル ネットワークを使用してポイント クラウドをモデル化する場合、ポイント間のエッジを構築するためのしきい値として距離 d がよく使用されます。 TFNとSE(3)-Transformerはどちらも、ポイントクラウドデータに対して従来の方法と同等のパフォーマンスを実現します。 将来の展望 等変グラフニューラルネットワークの既存の方法とアプリケーションを体系的にまとめた後。このレビューでは、この分野における将来の開発の方向性についても説明します。理論的な完全性: 古典的なグラフ ニューラル ネットワークとは異なり、等変ニューラル ネットワークには、表現力と一般化に関する一連の理論的分析フレームワークがまだ欠けています。既存の研究の中には、主にメッセージ伝播メカニズムにおける共通表現の議論に焦点を当てているものもあります。しかし、モデルの全体的な性質はまだ不明です。モデルの設計を導く完全な理論的枠組みをどのように構築するかは、将来的に非常に興味深い方向性です。

大規模な等変グラフ ニューラル ネットワーク。前述のように、グループ表現理論に基づく方法には計算の複雑さが高いという欠点があり、大規模データへの等変グラフ ニューラル ネットワークの適用が制限されます。この問題は、特に注意メカニズムなどのより複雑な構造と組み合わされた場合、さらに深刻になります。既存の等価グラフニューラルネットワークを大規模データに適用できるように、既存のモデルを効果的に合理化し、計算を高速化する方法も重要な方向性です。

マルチレベル構造のモデリング: 現実世界のシステムの多くは複雑な階層構造を示します。たとえば、有機分子は複数の官能基で構成され、タンパク質はアミノ酸で構成されています。これらの構造を活用することで、多粒度および多レベルの構造をモデル化するシステムを設計できます。単一レイヤー構造のみを持つ既存のメッセージ パッシング パラダイムと比較します。この階層的等変モデルは、階層情報をより適切に特徴付け、モデルのパフォーマンスと一般化を向上させることができる可能性があります。

新しいアプリケーションとデータ: 既存の等価グラフ ニューラル ネットワーク モデルのほとんどは、シミュレートされた N 体系​​や小分子 MD データなど、規模と複雑さが優先されるシステムでのみ評価されています。将来的には、より多くのオブジェクト、より複雑な相互作用、より多様な制約など、より困難なタスクに対する等変グラフ ニューラル ネットワークの有効性を評価する必要があります。タンパク質モデリングに関する最近の研究には、いくつかの有用な試みがありました。しかし、データ収集の難しさやデータ品質の制限により、さまざまな方法を評価する包括的なデータセットは存在しません。将来、実際の問題を解決するために、等変ニューラル ネットワークをさらに複雑な分野に拡張する方法は非常に有意義な方向性です。