人工知能の次の転換点: グラフニューラルネットワークが急速な爆発の時代を先導する

01 GNN: アーリーアダプターから急成長へ

今年以来、グラフニューラルネットワーク (GNN) 技術は学術界から大きな注目と反響を集めています。主要学会ではGNN関連のワークショップが相次いで開催され、投稿された論文の中でもGraph Networkをキーワードとする論文数も急増傾向を見せています。以下の図は、過去3年間の各種学会における上記キーワードの伸びの推移を示したものです。

GNNは、2017年から2018年までの2年間の育成・試行期間を経て、2018年末から現在までの1年以上にわたり急速な成長期を迎えました。理論的な研究から応用的な実践まで、あらゆるところで花開いていると言え、圧倒されます。

理論的研究では、GNNの原理説明、バリアントモデル、様々なグラフデータへの拡張・適応が主流となってきています。応用実践の面では、GNNは視覚推論から自由形式の読解問題、薬物分子の研究開発から5Gチップの設計、交通流予測から3D点群データの学習まで、これまでにない浸透を示しており、GNNの応用展望は極めて広いと見られています。

この記事では、過去 1 年間の主要なトップカンファレンス (ICML、NIPS、CVPR、ACL、KDD など) での GNN 関連の論文を整理し、理論研究と応用実践の両方から過去 1 年間の GNN の進歩を解釈することに焦点を当てます。時間とスペースの制限により、この記事ではすべての方向性について包括的な要約と一般化は提供していません。興味のある読者は、記事に記載されている論文リンクに従って、自分で確認して不足部分を補うことができます。

02 GNNの原理、変種、拡張

新たな技術的方向性として、GNN の原理とさまざまなバリエーションや拡張の解釈は、理論研究のホットスポットとなっています。これらの論文は、GNN の利点と欠点、および関連する適応変換の問題に十分に答えています。

1. GNN原則の解釈

現在の GNN 研究における最初のホットスポットは、その関連機能の理論的研究です。 「グラフニューラルネットワークはどれほど強力か？」および「GNN によるグラフ同型性テストと関数近似の同等性について」では、グラフ同型性問題における GNN のパフォーマンスについて説明します。

グラフ同型性問題は、与えられた 2 つのグラフが一貫しているかどうかを判断することです。同型グラフを下の図に示します。この問題は、グラフデータの構造を識別するアルゴリズムの能力をテストします。 どちらの記事も、GNN モデルが優れた構造学習能力を備えていることを証明しています。

グラフには当然関係性が含まれているため、多くの GNN 関連の研究は、特定のシステムの推論学習の研究に基づいています。これらの研究では、「グラフ ニューラル ネットワークは論理推論に役立つか?」や「グラフ ニューラル ネットワークの論理的表現力」が、論理推論における GNN の優れたパフォーマンスを実証しています。 「All We Have is Low-Pass Filters」では、ローパスフィルタリングの観点から GNN の有効性を説明しています。

これらの原則的な解釈は、GNN の独自の専門知識をより明確に理解するのに役立ちます。

2. GNNのさまざまなバリエーション

GNN モデルの関連バリアントの研究も、この分野のもう一つのホットな話題です。これらのバリアントにより、いくつかの面で GNN のパフォーマンスが向上しました。 GCN モデルはグラフ信号のフーリエ変換から得られることがわかっています。「グラフ ウェーブレット ニューラル ネットワーク」は、グラフ信号にウェーブレット変換を導入して GCN モデルを変換し、畳み込み計算を空間領域のローカル近傍に変換します。

データ表現をユークリッド空間から双曲空間に変換すると、より優れた階層表現が得られるだけでなく、空間次元を大幅に節約できます。「双曲グラフ畳み込みニューラル ネットワーク」と「双曲アテンション ネットワーク」はどちらも GNN を双曲空間に拡張します。

「MixHop: スパース化された近傍混合による高次グラフ畳み込みアーキテクチャ」と「拡散によるグラフ学習の改善」では、元の GCN の近傍定義が 1 次から高次へと拡張され、モデルのローパス フィルタリング特性が強化されています。

3. さまざまなグラフデータとタスクへのGNNの拡張

グラフ データは多様なデータ ファミリです。モデルがこれらの異なるタイプのデータにどのように適応するかは、GNN の開発におけるもう 1 つの重要な方向性です。次の表に概要を示します。

[1]: HetGNN:異種グラフニューラルネットワーク

https://www.kdd.org/kdd2019/accepted-papers/view/hetgnn-heterogeneous-graph-neural-network

[2]: 属性付き多重異種ネットワークの表現学習

https://arxiv.org/abs/1905.01669

[3]: HyperGCN: グラフ畳み込みネットワークをトレーニングするための新しい方法>https://arxiv.org/abs/1809.02589

[4]: DyRep: 動的グラフ上の表現の学習

https://openreview.net/pdf?id=HyePrhR5KX

[5]: グラフ学習畳み込みネットワークによる半教師あり学習

http://openaccess.thecvf.com/content_CVPR_2019/papers/Jiang_Semi-Supervised_Learning_With_Graph_Learning-Convolutional_Networks_CVPR_2019_paper.pdf

[6]: グラフニューラルネットワークの離散構造の学習

https://arxiv.org/abs/1903.11960

グラフ データ関連のタスクでは、グラフ分類は重要ですが、完全に解決された問題ではありません。難しいのは、グラフ データに階層的なプーリング操作を実装して、グラフのグローバル表現を取得する方法です。「EigenPooling を使用したグラフ畳み込みネットワーク」は、新しい操作のアイデアを提供します。

03 GNN関連アプリケーション

近年、ディープラーニングに代表される人工知能技術が業界に新たな変化をもたらしています。この技術は、視覚、音声、テキストの3つの主要分野で大きな応用成果を上げています。この成功は、ディープラーニング技術を使用したこれら3種類のデータのカスタマイズされたモデル設計と切り離すことはできません。

これら 3 種類のデータとは別に、グラフ データはより広範囲にデータを表現できる方法です。大げさに言えば、どのシナリオでもデータは互いに独立して存在することはなく、これらのデータ間の関係はグラフの形で表現できます。次の図は、グラフ データのいくつかの使用シナリオを示しています。

グラフデータ学習とディープラーニング技術をどのように深く組み合わせるかが、緊急かつ重要なニーズとなっています。このような背景から、グラフニューラルネットワーク技術の台頭は東風のようであり、グラフデータに初めて適用されるディープラーニングの夜明けを目にすることができます。

実際、過去 1 年間で、GNN の応用シナリオは拡大を続け、コンピューター ビジョン、3D ビジョン、自然言語処理、科学研究、ナレッジ グラフ、推奨、不正防止などのシナリオをカバーしています。以下では、それらを 1 つずつまとめます。

1. コンピュータービジョン

過去数年間で視覚認識の限界を超えた後、視覚的な質問応答、視覚的な推論、セマンティックグラフ合成、人間と物体の相互作用など、推論関連の視覚タスクが主要な CV トップカンファレンスの主な焦点になりました。物体検出などの基本的な視覚タスクでも、パフォーマンスを向上させるために推論が必要です。これらのタスクでは、多数の関連研究が GNN に適用されてきました。

以下では、最も一般的な視覚的な質問応答タスクを例に挙げます。論文「Relation-Aware Graph Attention Network for Visual Question Answering」には、GNN と視覚モデルを組み合わせた概略図が示されています。

上図では、視覚モデルの役割は、与えられた画像内の意味領域を抽出することです。これらの意味領域と質問はグラフ内のノードとして扱われ、推論と学習のために GNN モデルに送られます。このモデリング方法により、視覚的な質問応答における質問に対する適応型推論をより効果的に実行できます。

もう 1 つの興味深いシナリオは、少数ショット学習またはゼロショット学習です。このようなシナリオではサンプルが非常に少ないため、サンプル間の潜在的な相関情報 (ラベルの意味的相関や潜在的表現の相関など) を完全に探索する方法が重要な考慮事項になります。GNN を導入することは非常に自然なアクションになります。関連する研究には、「ゼロショット学習のための知識グラフ伝播の再考」や「少数ショット学習のためのエッジラベル付けグラフニューラルネットワーク」などがあります。

2. 3Dビジョン

3D ビジョンは、コンピューター ビジョンのもう 1 つの重要な開発方向です。世界は 3D であり、コンピューターに 3D の世界を理解させる方法は、極めて重要な実用的価値を持っています。 3D ビジョンでは、ポイント クラウド データは非常に一般的なデータ表現方法です。

ポイント クラウド データは通常、座標点 (x、y、z) のセットによって表されます。このデータは現実世界のオブジェクトの特徴をマッピングするため、オブジェクトの意味を表す一般的な構造が内在しています。この構造を学習することも、GNN が得意とするところです。

3D ビジョンでは幾何学学習が人気があることに留意する必要があります。現在、幾何学学習と GNN は、ポイント クラウド セグメンテーションやポイント クラウド認識などのいくつかのシナリオで深く統合されています。関連論文には、「ポイント クラウド セグメンテーションのためのグラフ アテンション畳み込み」や「3D ヒューマン ポーズ回帰のためのセマンティック グラフ畳み込みネットワーク」などがあります。

3. 自然言語処理

GNN と NLP を組み合わせる際の重要なポイントは、GNN の優れた推論能力にあります。 GNN は、読解、エンティティの認識と関係の抽出、依存関係の構文解析などのシナリオで使用されます。

次に、マルチホップ読み取りを例に挙げます。マルチホップ読み取りとは、読解の過程で、正しい答えを見つけるために、複数の文書間でマルチレベルのジャンプ関連付けと推論を実行する必要があることを意味します。これまでの単一文書の質問応答データセットと比較すると、これはよりオープンで挑戦的な推論タスクです。次の図は、マルチホップ読み取りの例を示しています。

論文「大規模なマルチホップ読解のための認知グラフ」では、著者らの BERT と GNN に基づく実装により、HotPotQA データセットのマルチホップ読解問題に関する数百万の文書を効果的に処理することができ、リーダーボードでの共同 F1 スコアは 34.9 でしたが、2 位のスコアはわずか 23.6 でした。

4. 科学研究のシナリオ

原子をグラフのノード、化学結合をエッジと見なすと、分子はグラフとして表すことができます。分子をグラフで表現するこの方法は、タンパク質相互作用点の予測、化学反応生成物の予測など、多くの実用的な科学研究シナリオと GNN を組み合わせることができます。これらのシナリオは、ディープラーニングの高速フィッティング機能を医薬品研究開発や材料研究開発などの業界に導入し、研究開発の効率を向上させるのに役立ちます。

論文「Circuit-GNN: 分散回路設計のためのグラフニューラルネットワーク」では、GNNを高周波回路設計（5Gチップなど）のシナリオに組み合わせ、回路の電磁特性シミュレーション計算の効率を大幅に向上させました。次の図はシステムの概略図を示しています。

5. ナレッジグラフ

ナレッジグラフ自体もグラフデータの一種なので、ナレッジグラフ＋GNNの組み合わせは、当然ながらさまざまなナレッジグラフ問題を解決する新たな手段となります。関係の補完または予測は、ナレッジ グラフの基本的なタスクです。関係の推論と補完により、ナレッジ グラフのアプリケーション品質は大幅に向上します。次の図は、関係の補完の例を示しています。

論文「ナレッジグラフにおける関係予測のための注意ベースの埋め込みの学習」では、著者らはナレッジグラフをモデル化するために GNN を使用することを選択しました。個々の 3 つの関係に基づく以前の推論と比較して、GNN ベースの方法は 3 つの近傍の複雑で暗黙的なパターン情報をより適切にキャプチャできます。この利点は、関係補完タスクを完了する上で非常に重要な役割を果たします。

エンティティのアライメントは、ナレッジ グラフにおける別の種類のタスクです。複数のナレッジ グラフがある場合、まず各グラフのどのエンティティが同じオブジェクトを記述しているかを判断する必要があります。このタスクを完了して初めて、それらを大きなナレッジ グラフに正しく統合できます。論文「エンティティ アライメントのためのマルチチャネル グラフ ニューラル ネットワーク」では、GNN ベースのエンティティ アライメント スキームが提案されました。実験により、このスキームが複数のデータセットで最高の結果を達成することが示されました。

近年、ナレッジグラフは業界でますます人気が高まっています。この文脈では、ナレッジグラフをビジネスグラフとも呼んでいます。論文「グラフニューラルネットワークを使用したナレッジグラフのノードの重要度の推定」では、著者らはGNN技術を使用して映画ビジネスグラフをモデル化することに成功し、映画の人気予測に優れた結果を示しました。

また、ナレッジグラフとレコメンデーションシステムの組み合わせも、最近では人気の方向性となっています。この部分については、次のレコメンデーションシステムのセクションでの説明を参照してください。

6. 推薦システム

推奨は大手インターネット企業にとって非常に重要な収益源であり、そのため産業界と学界の両方から常に注目を集めています。過去数年間、レコメンデーションシステムは、初期の協調フィルタリングアルゴリズムからMFモデル、さらにその後のWide＆Deep、さらにはネットワーク埋め込みに基づく方法へと発展してきました。ニューラルネットワークに基づく方法が徐々に主流を占めていることは明らかであり、GNNの出現により、この技術トレンドが再び大きく加速しました。

電子商取引プラットフォームの推奨を例にとると、推奨システムの中核データは、ユーザーと製品の相互作用の二部グラフにあります。ニューラル ネットワークに基づくほとんどの方法では、二部グラフ内のエンティティを適切なベクトル空間にマッピングするため、次の図に示すように、グラフ上の 2 つのエンティティ間の距離が近いほど、ベクトル空間内の距離も近くなります。

GNN自体はディープモデルです。推奨システムと組み合わせると、多層GNNモデルはユーザーと製品間の高次の協力関係をよりよく捉えることができます。論文「ニューラルグラフ協調フィルタリング」では、著者は多層GNNがもたらす「ディープ」と「高次」の利点が推奨の品質を効果的に向上できることを実証しました。

推奨システムのアルゴリズムモデル自体の研究に加えて、ユーザー側のソーシャルネットワークからの情報や製品ナレッジグラフからの情報など、追加情報を推奨システムに効果的に統合する方法も考えられます。この種の情報には通常、非常に強い関係が含まれているため、ユーザーとアイテムの二部グラフと自然に組み合わせて、より大きな異種グラフを形成できます。次の図は、映画ナレッジグラフとの統合を示しています。

画像出典: https://arxiv.org/pdf/1902.06236.pdf

このようなグラフ データの抽象化により、推奨モデリングに GNN を導入することが自然な選択になります。関連する論文には、KGAT:「Knowledge Graph Attention Network for Recommendation」、「Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation」、「Session-based Social Recommendation via Dynamic Graph Attention Networks」などがあります。

推奨システムと密接に関連するもう 1 つの非常に重要なビジネス シナリオは、広告のクリックスルー率 (CTR) の予測です。このシナリオのサンプルは通常、ユーザー ドメイン、デバイス ドメイン、広告ドメインなどの複数のフィールドからの特徴データで構成されます。これらのデータ ドメイン間の特徴の相互作用をどのようにモデル化するかが、このタスクの中核となっています。

最近のニューラル ネットワーク ベースの手法では、ドメイン間の高次の相互作用を取得するために、ドメイン間の特徴を直接つなぎ合わせて上位レベルのネットワーク モデルに送信します。この単純で構造化されていないつなぎ合わせ方法は、モデルの学習能力を大幅に制限します。

論文「Fi-GNN: CTR予測のためのグラフニューラルネットワークによる特徴相互作用のモデリング」では、著者らはドメインをグラフの形で接続し（下図の特徴グラフ）、GNNを使用して特徴ドメイン間の高次で複雑な相互作用をモデル化し、従来のモデルと比較して最良の結果を達成しました。

7. 不正行為防止

詐欺対策は、大手企業が正常な運営とマーケティング業務を遂行するための前提です。私たちが通常直面する詐欺問題には、スパムコメント、ランキング詐欺、取引詐欺、詐欺行為、アカウント盗難などがあります。こうした詐欺の背後には協力的な犯罪組織が存在することが多く、詐欺対策にかかるコストが大幅に増加します。

リレーショナル データのマイニングは、ほとんどの不正防止業務を遂行する上で最も重要な技術的観点です。不正リスク伝播の相関分析に基づくものでも、ブラック マーケット ギャング モデルに基づく構造化マイニングでも、グラフは不正防止担当者が好むツールです。

この文脈において、GNN にも大きな可能性があります。たとえば、論文「悪意のあるアカウント検出のための異種グラフニューラルネットワーク」では、GNN を使用して Alipay の不正ユーザーを識別および検出し、「グラフ畳み込みネットワークによるスパムレビュー検出」では、GNN を使用して Xianyu の不正なコメントを識別しています。

04 GNNオープンソースプロジェクトの概要

2019 年には、グラフ分野で多くの新しいオープンソース プロジェクトが登場し、既存のオープンソース プロジェクトでも大幅な改善が見られました。

• 1月に、Alimamaは、多くの実用的なグラフアルゴリズムが組み込まれた、産業グレードのグラフディープラーニングをサポートする中国初のフレームワークであるEulerをオープンソース化しました。プロジェクトアドレス:

https://github.com/alibaba/euler

• 3月、ドイツのドルトムント工科大学の学者らが、GNNのさまざまなモデルを実装したPytorch Geometricを提案した。これがオンラインになった後、大物学者のヤン・ルカン氏によって推奨された。プロジェクトアドレス:

https://github.com/rusty1s/pytorch_geometric

• 5月、有名なグラフ学習フレームワークDGLはバージョンv0.3をリリースしました（現在はバージョン0.4.1にアップデートされ、多くのGNNバリアントモデルも追加されました）。バージョン0.3ではパフォーマンスが大幅に向上しました。バージョン0.2と比較して、トレーニング速度は19倍向上し、数億規模のグラフニューラルネットワークのトレーニングもサポートしています。プロジェクトアドレス:

https://github.com/dmlc/dgl

• 12月、スタンフォード大学のJure Leskovec教授は、NeurlPS 2019カンファレンスでの講演でオープンソースのOpen Graph Benchmarkを発表しました。このデータセットは、モデルのパフォーマンスなどの指標をより適切に評価するために使用できます。プロジェクトアドレス:

スタンフォード大学

同月、清華大学の知識工学研究所 (KEG) は、研究者や開発者がノード分類、リンク予測、その他のグラフタスクのベンチマークモデルやカスタマイズモデルをより簡単にトレーニングおよび比較できるようにする大規模なグラフ表現学習ツールキットである CogDL をリリースしました。プロジェクトアドレス:

https://github.com/THUDM/cogdl/

上記のプロジェクトに加えて、GitHub 上の 2 つの関連論文プロジェクトも非常に優れています。これらは、近年の主要なトップ カンファレンスの関連論文をすべてまとめたものです。このコレクションは非常にタイムリーで包括的です。ぜひ注目することをお勧めします。

https://github.com/naganandy/graph-based-deep-learning-literature

https://github.com/DeepGraphLearning/LiteratureDL4Graph

05 展望

来年を見据えて、最も確実なことは、GNN が現在の急速な発展の勢いを維持し続けることです。理論研究の観点から、GNN の原理、特性、欠点を継続的に分析し、それに応じた改善と拡張を提案することは、非常に注目に値します。

また、CoraやPubMedなど、GNN研究で使われる標準データセットに関しては、これらのデータセットはシナリオが単一で異質性に欠けており、複雑なGNNモデルを正確に評価することが困難でした。この問題に対処するために、最近スタンフォード大学などがオープンソース化したOGB標準データセットは、この状況を大幅に改善すると期待されています。新しい評価システムの下で、どの研究が際立つのか、楽しみに待ちましょう。

応用シナリオの面では、GNN はより素晴らしい成果をもたらすことができると信じています。視覚推論、ポイント クラウド学習、関係推論、科学研究、ナレッジ グラフ、推奨、不正防止などの分野での幅広い応用に加えて、交通流予測、医療画像処理、組み合わせ最適化などの他のシナリオでも GNN 関連の研究がいくつか登場しています。

一般的に言えば、グラフ データと GNN を関連するシナリオに正確かつ効果的に組み合わせる方法は、アプリケーションで考慮する必要があるものです。来年は、GNN のアプリケーション境界を拡大するこのような作業がさらに増えると信じています。