準備はできたか？ GNN グラフ ニューラル ネットワーク 2021 年の主要なアプリケーション ホットスポット 5 つ

[[378224]]

今年から始めます。グラフニューラルネットワークは研究者の間で話題になっており、この分野の研究者としてとても嬉しく思っています。 3 年ほど前、グラフ ニューラル ネットワークはまだ無視されていたことを覚えています。GAN と Transformer を研究していた同僚と話をしたとき、彼らは私の研究の方向性が非常にニッチだと思ったようです。今日はようやくこの畑の雲が晴れて月が輝いています。そこで、この記事では、GNN アプリケーションの最近のホットスポットを紹介します。

推薦システム

電子商取引プラットフォームでは、ユーザーと製品間のやりとりがグラフ構造を構成するため、多くの企業が製品の推奨にグラフニューラルネットワークを使用しています。一般的なアプローチは、ユーザーと製品間の相互作用をモデル化し、何らかのネガティブサンプリング損失を通じてノード埋め込みを学習し、kNN を通じて類似の製品をユーザーにリアルタイムで推奨することです。 Uber Eats は、この手法を長年使用して商品の推奨を行ってきました。具体的には、グラフ ニューラル ネットワーク GraphSage を使用して、ユーザーに食べ物やレストランを推奨しています。

食品の推奨では、地理的な制約により、使用されるグラフ構造は比較的小さくなります。グラフ ニューラル ネットワークは、数十億のノードを含む大規模なグラフにも使用できます。従来の方法では、このような大規模なグラフを処理するのは非常に困難です。アリババは、数十億のユーザーと製品を含むネットワーク上でグラフ埋め込みとGNNを研究してきました。最近、同社は4億のノードを持つグラフを構築するのにわずか5分しかかからないAligraphを提案しました。非常に強力です。さらに、Aligraph は効率的な分散グラフ ストレージをサポートし、サンプリング プロセスを最適化し、多くの GNN モデルを内部的に統合します。このフレームワークは、同社のさまざまな製品推奨やパーソナライズされた検索タスクで効果的に使用されています。

Pinterest は、パーソナライズされた PageRank を使用して近隣地域を効率的にサンプリングし、近隣地域を集約してノード埋め込みを更新する PinSage モデルを提案しました。後続のモデル PinnerSage は、フレームワークをさらに拡張して、異なるユーザーの複数の埋め込み問題を処理します。スペースの制限により、この記事では推奨システムにおける GNN の応用例をいくつか挙げるだけです (他の例としては、Amazon によるナレッジ グラフでの GNN の応用や、Fabula AI によるフェイク ニュースの検出における GNN の使用などがあります)。しかし、ユーザー インタラクションの情報が十分に豊富であれば、GNN が推奨システムのさらなる発展を大幅に促進することを示すには十分です。

ポートフォリオ最適化

金融、物流、エネルギー、ライフサイエンス、ハードウェア設計などの多くの分野で、組み合わせ最適化 (CO) 問題が起こっています。これらの問題のほとんどはグラフ構造を使用してモデル化できるため、過去 1 世紀にわたる研究努力は、アルゴリズムの観点から CO 問題を解決することに費やされてきました。しかし、機械学習の発展により、CO 問題を解決するための新たな可能性が生まれます。

Google Brain チームは、Google TPU チップ ブロックの電力消費、面積、パフォーマンスの最適化など、ハードウェア設計に GNN をうまく使用しました。コンピュータ チップは、メモリとロジック コンポーネントで構成されるグラフとして考えることができ、各グラフはコンポーネントの座標とタイプによって表されます。密度と配線の混雑の制約を遵守しながら各コンポーネントの位置を決定するのは電気技師の仕事です。 Google Brain チームは、GNN とポリシー/値 RL を組み合わせて回路チップのレイアウトを設計および最適化し、手動で設計されたハードウェア レイアウトよりも優れたパフォーマンスを実現しました。

さらに、機械学習 (ML) モデルを既存のソルバーに統合することもできます。 Gasse らは、ソルバーの実行時間を最小限に抑えることができるような方法で、分岐限定変数選択戦略 (混合整数線形計画 MILP ソルバーの鍵) を学習するためのグラフ ネットワークを提案しました。同時に、この論文では、この方法が推論時間と意思決定の質の両方を保証できることを示しています。

DeepMind と Google の最近の研究では、グラフ ネットワークが MILP ソルバーの 2 つの主要なサブタスク、つまり結合変数の割り当てと目的値の境界設定に使用されています。 Google のプロダクション パッケージと計画システムの大規模なデータセットでは、ニューラル ネットワーク アプローチは既存のソルバーよりも 2 ～ 10 倍高速です。詳細については、関連するレビューを参照してください。

コンピュータビジョン

世界中のすべての物体は密接につながっているので、GNN は物体画像に使用できます。画像はシーン グラフを通じて認識されます。つまり、オブジェクトのグループが同じシーンに表示される場合、それらの間に接続が存在します。シーングラフは、画像の検出、理解と推論、キャプションの生成、視覚的な質問への回答、画像の生成などのタスクで使用され、モデルのパフォーマンスが大幅に向上しました。

Facebook の調査によると、古典的な CV データセット COCO 内のオブジェクトの形状、位置、サイズに基づいてシーン グラフが作成され、次に GNN を使用してオブジェクトがグラフに埋め込まれ、その後 CNN が組み合わされてオブジェクトのマスク、境界、外形が生成されます。最後に、GNN/CNN は、ユーザーが指定したノード (ノードの相対的な位置とサイズを決定) でオブジェクト イメージを生成できます。

CV の典型的なタスクである 2 つの関連画像を一致させる場合、以前の方法では手動でしか実行できませんでした。しかし現在、3D グラフィックス企業の Magic Leap は、3D 再構築、位置認識、ローカリゼーション、マッピング (SLAM) などのタスクのために、リアルタイム ビデオでグラフ マッチングを実行できる SuperGlue と呼ばれる GNN アーキテクチャを開発しました。 SuperGlue は、画像のキーポイントの表現を学習し、これらのキーポイントの表現を最適な転送レイヤーで一致させるアテンションベースの GNN で構成されています。モデルは GPU 上でリアルタイムにマッチングでき、既存の SLAM システムに簡単に統合できます。グラフィックスとコンピューター ビジョンに関する詳細な研究とアプリケーションについては、次のレビュー記事を参照してください。

物理学/化学

粒子や分子間の相互作用に基づいてグラフを構築し、GNN を使用してシステム特性を予測することは、生命科学における重要な研究方法になりつつあります。 Facebook と CMU の Open Catalyst プロジェクトは、太陽光や風力などの再生可能エネルギー源を貯蔵する新しい方法を見つけるために取り組んでいます。一つの選択肢としては、化学反応を通じてこのエネルギーを水素などの他の燃料に変換することが挙げられます。しかし、そのためには化学反応を加速するための新しい、より効率的な触媒を発見する必要があり、既知の DFT 法は非常にコストがかかります。 Open Catalyst プロジェクトでは、新しい効率的で低コストの触媒分子を見つけることを期待して、大規模な触媒データセット、DFT 緩和、GNN ベンチマーク メソッドをオープンソース化しています。

DeepMind の研究者は、水や砂などの複雑な粒子システムのダイナミクスをシミュレートするためにも GNN を使用しています。各粒子の相対的な動きを段階的に予測することで、システム全体のダイナミクスを合理的に再構築し、動きを支配する基本法則を理解することができます。これは、固体理論における最も興味深い未解決の問題の 1 つであるガラス転移を理解するために使用できます。さらに、GNN を使用すると、遷移のダイナミクスをシミュレートできるだけでなく、距離と時間に基づいて粒子が互いにどのように影響し合うかをより深く理解できるようになります。

さらに、米国の物理学研究所フェルミ国立加速器研究所は、何百万もの画像を処理して新しい粒子に関連する画像を発見・選択することを目指し、GNN を適用して CERN 大型ハドロン衝突型加速器 (LHC) の成果を分析することに取り組んでいます。彼らの仕事は、GNN を FPGA 上に展開し、データ コレクターと統合して、GNN を世界中でリモートで実行できるようにすることです。粒子物理学における GNN のさらなる応用については、次のレビュー記事を参照してください。

医薬品開発

製薬業界は競争が激しく、大手企業は毎年新薬の開発に数十億ドルを投資しています。生物学では、グラフはさまざまなスケールでの相互作用を表すことができます。たとえば、分子レベルでは、グラフのエッジは分子内の原子間の結合や、タンパク質内のアミノ酸残基間の相互作用になります。より大きなスケールでは、グラフはタンパク質、mRNA、代謝物などのより複雑な構造間の相互作用を表すことができます。さまざまな階層スケールのグラフは、ターゲットの特定、分子特性の予測、ハイスループットスクリーニング、新薬の設計、タンパク質工学、薬物の再利用に使用できます。

MITの研究者とその協力者は、GNNが創薬に役立つことを示す論文をCell（2020年）に発表しました。彼らは、分子が抗生物質の特性、つまり大腸菌に対する増殖阻害を持つかどうかを予測するために、Chemprop と呼ばれるディープ GNN モデルをトレーニングしました。 Chemprop は、FDA 承認薬のライブラリから約 2,500 個の分子を使用してトレーニングした後、映画「2001 年宇宙の旅」の HAL 9000 にちなんで改名された分子 Halicin を含む、より大きなデータセットである Drug Repurposing Hub に適用されました。

ハリシンの分子構造は既知の抗生物質とは大きく異なるため、これまでの研究ではこの分子のみが研究されていたことに留意すべきである。しかし、生体内および試験管内の臨床実験では、ハリシンが広域スペクトルの抗生物質であることが示されています。 NN モデルに対して実施された広範なベンチマーク テストと比較して、GNN の適用により、Halicin は GNN の強力な学習表現能力をさらに実証することがわかりました。さらに、Chemprop アーキテクチャも注目に値します。ほとんどの GNN モデルとは異なり、Chemprop には 5 つのレイヤーと 1600 の隠しレイヤー次元があり、これは他の GNN パラメータをはるかに上回っています。上記の紹介は、新薬発見におけるGNNのほんの一端です。詳細については、こちらのレビューとブログを参照してください。

謝辞

フィードバックと提案をいただいた Michael Bronstein、Petar Veličković、Andreas Loukas、Chaitanya Joshi、Vladimir Ivashkin、Boris Knyazev およびその他の方々に感謝します。

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。