グラフ分野における初のユニバーサルフレームワークが登場しました。 ICLR'24 Spotlightに選ばれ、あらゆるデータセットと分類問題を解決できる

普遍的なグラフモデルはありますか?

分子構造に基づいて毒性を予測するだけでなく、ソーシャル ネットワーク上で友人に推奨を提供することもできますか?

あるいは、異なる著者による論文の引用を予測するだけでなく、遺伝子ネットワークにおける人間の老化のメカニズムを発見することもできるのでしょうか?

なんと、 ICLR 2024でスポットライトとして承認された「 One for All (OFA) 」フレームワークは、この「本質」を実現したものです。

これは、セントルイス・ワシントン大学の陳一新教授のチーム、北京大学の張牧漢氏、JDリサーチ研究所の陶大成氏が共同で提案した。

グラフ分野における最初の汎用フレームワークとして、OFA は、グラフ分野におけるあらゆるデータセット、あらゆるタスクタイプ、あらゆるシナリオの分類タスクを解決するための単一の GNN モデルのトレーニングを実現します。

具体的な実施方法は以下の通りです。

グラフフィールドにおける一般的なモデルの設計には3つの大きな困難が伴う。

さまざまなタスクを解決するための一般的な基本モデルを設計することは、人工知能の分野における長期的な目標です。近年、大規模言語モデル(LLM)は自然言語タスクの処理において優れたパフォーマンスを示しています。

しかし、グラフ分野では、グラフニューラルネットワーク(GNN)はさまざまなグラフデータで優れたパフォーマンスを発揮しているものの、複数のグラフタスクを同時に処理できる基本的なグラフモデルの設計とトレーニングには、まだ長い道のりが残っています。

自然言語分野と比較すると、グラフ分野における一般的なモデルの設計には多くの特有の困難が伴います。

まず、自然言語とは異なり、異なるグラフ データはそれぞれまったく異なる特性と分布を持ちます。

たとえば、分子図は、複数の原子がさまざまな力の関係を通じてどのようにさまざまな化学物質を形成するかを説明します。引用関係グラフは、記事間の相互引用のネットワークを表します。

これらの異なるグラフ データを 1 つのトレーニング フレームワークに統合することは困難です。

第二に、すべてのタスクを統一されたコンテキスト生成タスクに変換できる LLM とは異なり、グラフ タスクには、ノード タスク、リンク タスク、フル グラフ タスクなどの複数のサブタスクが含まれます。

通常、サブタスクが異なれば、タスク表現も異なり、グラフ モデルも異なります。

最後に、大規模言語モデルの成功は、プロンプトパターンを通じて達成されるコンテキスト内学習と切り離せません。

大規模な言語モデルでは、プロンプト パターンは通常、下流のタスクの読み取り可能なテキスト記述です。

しかし、言葉で説明するのが難しい非構造化グラフデータの場合、コンテキスト内学習を実現するための効果的なグラフベースの学習モデルをどのように設計するかは、未解決の謎のままです。

「テキストマップ」などの概念を利用して解決しました。

次の図は、OFA の全体的なフレームワークを示しています。

具体的には、OFA のチームは巧妙な設計を通じて、上記の 3 つの主要な問題を解決しました。

さまざまなグラフ データの属性と分布の問題を解決するために、OFA はすべてのグラフ データを統合するテキスト属性グラフ (TAG)の概念を提案しています。 OFA はテキスト グラフを使用して、次の図に示すように、統一された自然言語フレームワークを使用してグラフ データ内のすべてのノード情報とエッジ情報を記述します。

次に、OFA は単一の LLM モデルを使用して、すべてのデータ内のテキストの表現を学習し、その埋め込みベクトルを取得します。

これらの埋め込みベクトルは、グラフィカル モデルの入力機能として機能します。このようにして、異なる分野のグラフ データが同じ特徴空間にマッピングされ、統一された GNN モデルのトレーニングが可能になります。

OFA は、次の図に示すように、引用グラフ、Web リンク グラフ、ナレッジ グラフ、分子グラフなど、さまざまな分野と規模の 9 つのグラフ データセットを収集しました。

さらに、OFA は、グラフ ドメイン内のさまざまなサブタスク タイプを統合するために、関心ノード(NOI)サブグラフとNOI プロンプト ノードを提案します。ここで、NOI は対応するタスクに参加しているターゲット ノードのセットを表します。

たとえば、ノード予測タスクでは、NOI は予測する必要がある単一のノードを指しますが、リンク タスクでは、NOI にはリンクを予測する必要がある 2 つのノードが含まれます。 NOI サブグラフは、これらの NOI ノードの周囲に広がり、h ホップ近傍を含むサブグラフを指します。

次に、NOI プロンプト ノードは、すべての NOI に直接接続される、新しく導入されたノード タイプです。

重要なのは、各 NOI ヒント ノードには現在のタスクに関する自然言語での説明情報が含まれており、テキスト グラフと同じ LLM によって表されることです。

NOI 内のノードに含まれる情報は、GNN のメッセージ パッシング後に NOI プロンプト ノードによって収集されるため、GNN モデルは NOI プロンプト ノードを通じて予測を行うだけで済みます。

この方法により、すべての異なるタスク タイプで統一されたタスク表現が実現します。具体的な例を下図に示します。

最後に、グラフ フィールドでのコンテキスト内学習を実現するために、OFA は統一されたヒント サブグラフを導入します。

教師あり k 方向分類タスク シナリオでは、このプロンプト サブグラフには 2 種類のノードが含まれます。1 つは前述の NOI プロンプト ノードであり、もう 1 つは k 個の異なるカテゴリを表すカテゴリ ノード(クラス ノード)です。

各カテゴリ ノードのテキストには、そのカテゴリの関連情報が記載されます。

NOI プロンプト ノードは、すべてのカテゴリ ノードに一方向に接続されます。このようにして構築されたグラフは、メッセージの受け渡しと学習のためにグラフ ニューラル ネットワーク モデルに入力されます。

最後に、OFA は各カテゴリ ノードに対してバイナリ分類タスクを実行し、最も高い確率を持つカテゴリ ノードを最終的な予測結果として取得します。

キューサブグラフにはカテゴリ情報が存在するため、まったく新しい分類問題に遭遇した場合でも、OFA は微調整なしで対応するキューサブグラフを構築して直接予測を行うことができ、ゼロショット学習を実現します。

少数ショット学習シナリオの場合、分類タスクにはクエリ入力グラフと複数のサポート入力グラフが含まれます。OFA のヒント グラフ パラダイムは、各サポート入力グラフの NOI ヒント ノードを対応するカテゴリ ノードに接続し、クエリ入力グラフの NOI ヒント ノードをすべてのカテゴリ ノードに接続します。

以降の予測手順は上記と同じです。このようにして、各カテゴリ ノードはサポート入力グラフに関する追加情報を取得し、統一されたパラダイムの下で少量の学習を実現します。

OFA の主な貢献は次のようにまとめられます。

統一されたグラフデータ分散: テキストグラフを提案し、LLM を使用してテキスト情報を変換することで、OFA はグラフデータの分散調整と統一を実現します。

統一されたグラフ タスク形式: NOI サブグラフと NOI プロンプト ノードを通じて、OFA はさまざまなグラフ フィールドのサブタスクの統一された表現を実現します。

統合グラフベースモデル: 新しいグラフベースモデルを提案することで、OFA はグラフ領域でのマルチシナリオのコンテキスト内学習を実現します。

非常に強力な一般化能力

この記事では、収集された 9 つのデータセットで OFA フレームワークをテストし、ノード予測、リンク予測、グラフ分類など、教師あり学習シナリオの 10 の異なるタスクをカバーします。

この実験の目的は、単一の OFA モデルが複数のタスクを処理できる能力を検証することであり、著者らは異なる LLM (OFA-{LLM})を使用した場合の効果と、各タスクごとに個別のモデルをトレーニングした場合の効果(OFA-ind-{LLM})を比較します。

比較結果を次の表に示します。

OFA の強力な一般化能力に基づいて、単一のグラフ モデル(OFA-st、OFA-e5、OFA-llama2-7b、OFA-llama2-13b) は、すべてのタスクにおいて従来の単一トレーニング モデル(GCN、GAT、OFA-ind-st)と同等かそれ以上のパフォーマンスを発揮できることがわかります。

同時に、より強力な LLM を使用すると、一定のパフォーマンス向上がもたらされます。さらに、この記事では、トレーニングされた OFA モデルによるさまざまなタスクの NOI プロンプト ノードの表現をプロットします。

モデルによって異なるタスクが異なるサブスペースに埋め込まれているため、OFA は互いに影響を与えることなく、異なるタスクを個別に学習できることがわかります。

少数ショットおよびゼロショットのシナリオでは、OFA は ogbn-arxiv (引用グラフ) 、FB15K237 (知識グラフ) 、および Chemble (分子グラフ)で事前トレーニングするための単一のモデルを使用し、さまざまな下流タスクとデータセットでそのパフォーマンスをテストします。結果は次のとおりです。

ゼロサンプルのシナリオでも、OFA は良好な結果を達成できることがわかります。要約すると、実験結果により、OFA の強力な一般性能と、グラフ分野における基本モデルとしての可能性が十分に検証されました。

研究の詳細については原著論文を参照してください。

アドレス: https://arxiv.org/abs/2310.00149 https://github.com/LechengKong/OneForAll