Bengio が参加、LeCun が気に入る: グラフ ニューラル ネットワークの権威あるベンチマークがオープンソースに

[[317692]]

グラフニューラルネットワークはどの程度発展しましたか?現在、評価専用のベンチマーク ツールがあります。

最近の多数の研究により、グラフニューラルネットワークモデル (GNN) の強力な可能性が示されており、多くの研究チームが基本モジュールの改良と構築を継続的に行っています。しかし、ほとんどの研究では、Cora や TU などの小規模なデータセットが使用されています。この場合、非グラフニューラルネットワークでも優れたパフォーマンスが得られます。中程度のサイズのデータ​​セットを使用してさらに比較すると、グラフ ニューラル ネットワークの利点が明らかになります。

スタンフォード大学のグラフニューラルネットワークの専門家Jure氏らが「Open Graph Benchmark」を発表した後、「グラフニューラルネットワークのImageNet」の構築を目指す新たな研究が登場した。最近、南洋理工大学、ロヨラ・メリーマウント大学、モントリオール大学、MILA からの論文がプレプリント プラットフォームに提出されました。この新しい研究には、ディープラーニングの先駆者である Yoshua Bengio が関与し、Yann LeCun 氏の注目も集めました。

論文リンク: https://arxiv.org/abs/2003.00982

この研究では、著者らは一度に 6 つの中規模ベンチマーク データセット (12,000 ～ 70,000 グラフ、8 ～ 500 ノード) を導入し、いくつかの代表的なグラフ ニューラル ネットワークをテストしました。ノード機能のみを使用するベースライン モデルに加えて、グラフ ニューラル ネットワークは、エッジ ペア アテンションの有無の 2 つのカテゴリに分類されます。 GNN 研究コミュニティは、新しいモデルの機能を評価する共通のベンチマークを求めており、このツールは私たちの目標達成に役立つ可能性があります。

独自のグラフ ニューラル ネットワーク モデルをテストしたい場合は、オープン ソース プロジェクトを使用してテストできます。

プロジェクトアドレス: https://github.com/graphdeeplearning/benchmarking-gnns

さまざまなタスクのテスト スクリプト。各ノートブックでは、さまざまなグラフ ニューラル ネットワークをテストする方法を段階的に学習します。

このオープンベンチマークアーキテクチャは、AWS 上海 AI 研究所、ニューヨーク大学、NYU 上海によってオープンに管理されている DGL ライブラリに基づいています。DGL は業界をリードするグラフニューラルネットワークトレーニングプラットフォームであり、主流のディープネットワークプラットフォームをシームレスにサポートします。ベンチマーク gnn は、DGL の PyTorch バージョン上に構築されています。

AWS上海AI研究所の初代所長で、ニューヨーク大学上海校の教授である張鄭教授は、次のようにコメントしています。「この論文はタイムリーで意義深いものです。まず、既存のデータセットが小さすぎて進歩の障害になっていることが学術界のコンセンサスとなっていることを示しています。OGBがリリースされたからといって、この論文の著者が研究を止めなかったことは称賛に値します。私の意見では、彼らのデータセットはOGBを非常に補完し、画像データをグラフデータに変換するなど、グラフニューラルネットワークのより豊富なアプリケーションシナリオを示しています。MNISTとCIFARから始まっていますが、畳み込みネットワークCNNに基づくソリューションを覆したり変更したりすることも示唆しています。たとえば、巡回セールスマン問題は古典的な最適化問題などです。」

「さらに、この一連のデータに基づいて導き出された結論は比較的信頼できるものです。例えば、グラフニューラルネットワークは、データが多いほどその利点をより発揮することができます。例えば、注意力のあるグラフニューラルネットワークはパラメータが多くなりますが、パフォーマンスも向上します。要するに、これらの結果は、より多くのモデル研究を刺激し、アプリケーションシナリオを拡大する上で非常に有意義です。」と張教授は述べた。

グラフニューラルネットワークは、グラフデータを分析および学習するための標準的なツールとなり、化学、物理学、社会科学、ナレッジグラフ、推奨システム、神経科学など、多くの分野で効果的に応用されてきました。分野が進化するにつれて、グラフのサイズを超えて一般化できるアーキテクチャの種類と主要なメカニズムを特定し、より多くの、より大規模で複雑なデータセットとドメインを処理できるようにすることがますます重要になります。

しかし、一貫した実験設定がなく、標準化されたベンチマークのないデータセットが多数ある場合、新しい GNN の有効性を測定し、モデルを比較することがますます困難になります。この論文では、研究者が新しいデータセットやモデルを簡単に追加できる、再現可能な GNN ベンチマーク フレームワークを提案しました。このベンチマーク フレームワークを、数学モデリング、コンピューター ビジョン、化学、組み合わせ問題などの最新のメソスケール グラフ データセットに適用して、効果的な GNN を設計するための重要な操作を確立します。より正確に言えば、グラフ畳み込み、異方性拡散、残差接続、正規化レイヤーは、堅牢でスケーラブルな GNN を開発するための一般的な構成要素です。

ベンチマークデータセットとグラフ構築方法

この研究の目標の 1 つは、過去数年間に提案されたさまざまな GNN アーキテクチャ間のパフォーマンスの違いを明確に確認できる、簡単にアクセスできる中規模のデータセットを提供することです。同時に、これらの違いは統計的に有意です。ベンチマークには、表 1 に示すように 6 つのデータセットが含まれています。

提案されたベンチマーク データセットの要約統計。

両方のコンピューター ビジョン データセットでは、従来の MNIST (LeCun 他、1998) および CIFAR10 (Krizhevsky 他、2009) データセットの各画像が、いわゆるスーパーピクセルを使用してグラフに変換されました。

次のタスクは、これらのグラフィックを分類することです。 PATTERN および CLUSTER データセットでは、グラフはランダム ブロック モデルに従って生成されます。これらのタスクには、特定のサブグラフ構造 (PATTERN データセット) の識別やクラスター (CLUSTER データセット) の識別が含まれます。これらはすべてノード分類タスクです。

Tsp データセットは、営業担当者の移動問題に基づいています (都市のリストが与えられた場合、各都市を訪問して元の都市に戻るための最短経路は何か)。

ランダム ユークリッド グラフ上の TSP 問題は、境界分類または接続予測タスクとして考えられ、コンコルド ソルバーによって与えられた TSP 経路の各境界の真の値は、現実世界にすでに存在する分子データセットに属します。各分子はグラフに変換できます。つまり、各原子はノードになり、各結合はエッジになります。

ベンチマーク設定

GatedGCN - Gated Graph Convolutional Network (Bresson & Laurent、2017) は、検討中の最後の GNN です。ここで、GatedGCN-e は、データセットで利用可能な場合にエッジ属性/機能を使用するバージョンを表します。さらに、著者らはグラフ構造を使用しない単純なベースライン モデルも実装しました。このモデルでは、各ノードの特徴ベクトルに対して MLP を並列に、かつ他のノードとは独立して使用します。

これは、後でゲートされた MLP ベースラインを取得するために使用されるオプションのゲーティング メカニズムです (詳細については補足資料を参照してください)。著者らは、Nvidia 1080Ti GPU 上で MNIST、CIFAR10、ZINC、TSP に関する実験を実施し、Nvidia 2080Ti GPU 上で PATTERN と CLUSTER に関する実験を実施しました。

画像分類とスーパーピクセルデータセット

この部分では、コンピューター ビジョンの分野で最も人気のある MNIST および CIFAR10 画像分類データセットを使用します。超解像フォーマットはSLIC（Knyazev et al.、2019）です。 MNIST には 40 ～ 75 個のノード (つまり、スーパーピクセルの数) を持つ 55,000 個のトレーニング/5,000 個の検証/10,000 個のテスト画像があり、CI-FAR10 には 85 ～ 150 個のノードを持つ 45,000 個のトレーニング/5,000 個の検証/10,000 個のテスト画像があります。

図 1. サンプル画像とスーパーピクセル マップ。 SLIC のスーパーピクセル グラフ (MNIST の場合は最大 75 ノード、CIFAR10 の場合は 150 ノード) は、ユークリッド空間における 8 近傍グラフであり、ノードの色は平均ピクセル強度を示します。

表 3. MNIST および CI-FAR10 に基づく標準テスト セットでのさまざまな方法のテスト結果 (数値が高いほど優れています)。結果は、4 つの異なるシードを使用した 4 回の実行の平均です。赤は最適レベルで、紫は高レベルです。太字は、残差接続と非残差接続間の最適なモデルを示します (2 つのモデルが同じレベルにある場合は、両方とも太字になります)。

グラフ回帰と分子データセット

ZINC 分子データセットを使用して、制限された溶解度の分子特性の回帰分析を実行しました。ここで、ZINC には 9 ～ 37 個のノード/アトムを持つ 10000 個のトレーニング/1000 個の検証/1000 個のテスト グラフがあります。各分子グラフでは、ノード特徴は原子の種類であり、エッジ特徴はエッジの種類です。

SBMデータセット上のノード分類

研究者らは、ノードレベルのグラフパターン認識タスクと半教師ありグラフクラスタリングタスクを検討した。グラフパターン認識は、より大きなグラフ G に埋め込まれた固定グラフパターン P を見つけることを目的としています。

半教師ありクラスタリングは、ネットワーク科学におけるもう一つの重要なタスクです。研究者らは、上記 2 つのタスクに対応するデータ セットを生成しました。

表 5: 標準テスト セット PATTERN および CLUSTER SBM グラフでのパフォーマンス。

TSPデータセットのエッジ分類

TSP (巡回セールスマン問題) は巡回セールスマン問題を指します。2D ユークリッド グラフが与えられた場合、アルゴリズムは Tour と呼ばれる最適なノード シーケンスを見つける必要があります。エッジの重みは最小限に抑える必要があります。 TSP は大規模なため、ローカル ノードの隣接ノードとグローバル グラフ構造について推論する必要がある困難なグラフ タスクになります。

さらに重要なのは、組み合わせ最適化問題も研究する価値のある GNN の応用シナリオであるということです。この種の問題を研究することは、現実に幅広い応用があるだけでなく、グラフ モデルの最適化と学習プロセス、グラフ ネットワーク自体の限界などを理解する上でも大きな意義があります。

ベンチマークテストでは、研究者らは学習ベースのアプローチを使用し、各エッジの確率予測とそれが予測結果セットに属するかどうかの予測を行うためのスケルトンネットワークとして GNN を確立しました。この確率は、グラフ検索技術を使用して離散的な決定に変換されます。研究者らは、それぞれ 10,000 個のトレーニング インスタンスと 1,000 個の検証インスタンス、および 1,000 個のテスト インスタンスを作成しました。

図 2: TSP データセットのサンプル グラフ。ノードは青で表され、グラウンドトゥルースを表すエッジは赤で表されます。

表 6: TSP テスト セットでのグラフのパフォーマンス。残余接続がある場合とない場合の全体的に良好なケースに分けられています。赤は最高のモデルパフォーマンスを示し、紫は適度に優れたパフォーマンスを示すモデルを示します。

表 7: TSP テスト セット グラフのパフォーマンス。このモデルは 32 層のディープ GNN です。モデルは、残差接続を使用する場合と残差接続を使用しない場合の 2 つのケースに分かれます。 L はレイヤーの数を表し、B は最良の結果 (残余接続の有無にかかわらず) を表します。

表 8: BN と GN の有無による ZINC、CIFAR10、CLUSTER テスト セット グラフのパフォーマンス。