2021 年を迎えるにあたり、人気の GNN はどのアプリケーション分野で存在感を発揮するのでしょうか?

近年、グラフ構造の強力な表現力により、機械学習の手法を用いたグラフ解析の研究が注目を集めています。グラフ ニューラル ネットワーク (GNN) は、グラフ ドメイン情報を処理するためのディープラーニングに基づく手法の一種です。優れた性能と解釈可能性により、さまざまな分野で広く使用されています。

この記事では、機械学習の研究科学者である Sergei Ivanov が、推奨システム、組み合わせ最適化、コンピューター ビジョン、物理学/化学、創薬などの分野を網羅し、2021 年に知っておくべき GNN アプリケーションのホットスポットを取り上げます。

推薦システム

グラフ構造化データは、eコマース プラットフォーム上の製品に対するユーザーのインタラクションのコンテキストから取得されるため、多くの企業が製品の推奨に GNN を使用しています。典型的なケースとしては、ユーザーとアイテム間のインタラクションをモデル化し、何らかの形のネガティブサンプリング損失を使用してノード埋め込みを学習し、KNN インデックスを使用して特定のユーザーの類似アイテムをリアルタイムで取得することが挙げられます。このパイプラインを最初に使用した企業の 1 つが Uber Eats で、GraphSage ネットワークを通じて食べ物やレストランの推奨を行っています。

さらに、食品の推奨の場合、推奨の地理的制約により生成されるグラフは比較的小さくなりますが、数十億のエッジの規模で GNN を使用することに成功した企業もあります。中国の小売大手アリババは、数十億のユーザーと製品を持つネットワーク上でグラフ埋め込み技術と GNN を使用しています。このようなグラフを構築するのはエンジニアリング上の悪夢となる可能性がありますが、最近の Aligraph パ​​イプラインでは、4 億個のノードを持つグラフをわずか 5 分で構築できます。 Aligraph は、効率的な分散グラフ ストレージ、最適化されたサンプリング オペレーター、および多数の内部 GNN をサポートします。現在、推奨機能やパーソナライズされた検索のために、複数の Alibaba 製品に導入されています。

Alibaba、Amazon、その他多くの電子商取引企業は、GNN を使用して推奨システムの機能を強化しています。

同様に、Pinterest は、パーソナライズされた PageRank を使用して近隣地域を効果的にサンプリングし、各近隣地域内で集約することでノード埋め込みを効率的に更新する PinSage モデルを提案しました。後継の PinnerSage では、フレームワークがさらに拡張され、さまざまな埋め込み問題を処理して、さまざまなユーザーのニーズに対応します。これらは、この分野の注目すべき例のほんの一部です (Amazon のナレッジ グラフと GNN に関する研究や、Fabula AI の GNN を使用したフェイク ニュース検出に関する研究も確認できますが、ユーザー インタラクションからの情報が十分に強力であれば、GNN がレコメンデーションの問題に対して適切な結果を得ることができることは明らかです)。

ポートフォリオ最適化

組み合わせ最適化 (CO) 問題を解決することは、金融、物流、エネルギー、生命科学、ハードウェア設計において重要です。これらの問題のほとんどはグラフで表されます。その結果、過去 1 世紀にわたる多くの研究は、CO 問題をより効率的に解決できるアルゴリズムに焦点が当てられてきました。しかし、機械学習によって推進される現代のコンピューティング革命は、そのような問題を解決するための魅力的な新しいアプローチを提供しました。

Google Brain チームは、GNN を使用して、Google の TPU などの新しいハードウェア チップの電力、面積、パフォーマンスを最適化します。コンピュータ チップは、メモリ コンポーネントとロジック コンポーネントで構成されるグラフとして理解できます。各コンポーネントは、その座標とタイプによって表されます。密度と配線混雑の制約を遵守しながら各コンポーネントの位置を決定することは骨の折れる作業ですが、電気技術者の焦点であり続けています。 Google Brain チームは、ポリシーと報酬強化学習 (RL) 機能と組み合わせた GNN モデルを使用して、手作業で設計されたハードウェア レイアウトよりもさらに優れた最適化された回路チップ レイアウトを生成しました。

チェスや囲碁と比較したチップレイアウトの複雑さ。

別のアプローチでは、異なるアプローチを採用し、ML モデルを既存のソルバーに統合します。たとえば、Gasse らは論文「グラフ畳み込みニューラル ネットワークによる正確な組み合わせ最適化」で、分岐限定変数選択戦略を学習するためのグラフ ネットワークを提案しました。これは、混合整数線形計画法 (MILP) ソルバーの重要なステップです。このようにして、学習された表現はソル​​バーの実行時間を最小限に抑えようとし、推論時間と決定品質の間の良好なバランスを示します。

DeepMind と Google の最新の研究「ニューラル ネットワークを使用した混合整数計画の解決」では、MILP ソルバーの 2 つの主要なサブタスク (結合変数割り当てとターゲット値の制約) にグラフ ネットワークが使用されています。彼らが提案するニューラル ネットワーク アプローチは、Google の製品パッケージングおよび計画システムを含む大規模なデータセットに対する既存のソルバーよりも 2 ～ 10 倍高速です。このトピックの詳細については、「Reinforcement Learning for Combinatorial Optimization: A Survey」などの調査論文を参照してください。

コンピュータビジョン

世界中のすべてのオブジェクトは密接に関連しているため、これらのオブジェクトを含む画像も GNN の恩恵を受けることができます。イメージを認識する方法の 1 つは、シーン グラフ (論文「反復メッセージ パッシングによるシーン グラフ生成」) を使用することです。シーン グラフは、イメージ内に表示されるオブジェクトとそれらの関係のコレクションです。シーングラフは、画像の検索、理解と推論、キャプションの生成、視覚的な質問への回答、画像の生成に使用されており、このアプローチによりモデルのパフォーマンスが大幅に向上します。

Facebook の論文「インタラクティブなシーン生成におけるオブジェクトの属性と関係の指定」では、研究者は CV データセット COCO 内のオブジェクトをキャンバスに配置し、オブジェクトの位置とサイズを指定してシーン グラフを作成できます。次に、GNN を使用して画像をエンコードし、各オブジェクトの埋め込みを決定し、CNN を使用してオブジェクトのマスク、境界ボックス、外観を生成しました。最後に、ユーザーはグラフに新しいノードを簡単に追加し（ノードの相対的な位置とサイズを指定）、GNN/CNN がこれらのオブジェクトを使用して画像を生成できるようにすることができます。

シーングラフを使用して画像を生成します。

CV における画像のもう 1 つのソースは、2 つの関連する画像のマッチングです。これは、過去に手作業で作成された記述子を使用して解決されてきた古典的な問題です。 3D グラフィックス企業の Magic Leap は、3D 再構築、位置認識、ローカリゼーション、マッピング (SLAM) などのタスクのために、リアルタイム ビデオでグラフ マッチングを実行できる SuperGlue と呼ばれる GNN アーキテクチャをリリースしました。 SuperGlue は、画像のキーポイントの表現を学習し、それをマッチングする最適な転送レイヤーにフィードするアテンションベースの GNN で構成されています。このモデルは最新の GPU 上でリアルタイムにマッチングを実行し、最新の SLAM システムに簡単に統合できます。グラフとコンピューター ビジョンの交差点の詳細については、レビュー記事「グラフ ニューラル ネットワークの計算: アルゴリズムからアクセラレータまでの調査」をご覧ください。

物理学/化学

生命科学では、粒子または分子間の相互作用をグラフとして表現し、GNN を使用してそのようなシステムの特性を予測することでメリットが得られます。 Facebook と CMU の間の Open Catalyst プロジェクトでは、太陽光や風力などの再生可能エネルギーを貯蔵する新しい方法を見つけることが最終的な目標です。考えられる解決策の 1 つは、化学反応を通じてこのエネルギーを水素などの他の燃料に変換することです。しかし、そのためには化学反応を高速で進行させることができる新しい触媒の発見が必要であり、DFT などの既知の方法はコストがかかります。 Open Catalyst プロジェクトは、最大規模の触媒データセットの 1 つと、DFT 緩和法および GNN ベンチマーク法をオープンソース化しています。目標は、新しい、効率的で低コストの触媒分子を見つけることです。

吸着質（小さな結合分子）と触媒表面の初期状態と緩和状態の例。

DeepMind の研究者は、水や砂などの複雑な粒子システムのダイナミクスをシミュレートするためにも GNN を適用しました。各ステップでの各粒子の相対的な動きを予測することにより、システム全体のダイナミクスを合理的に再構築し、動きを支配する基本法則についてのさらなる洞察を得ることができます。このアプローチは、例えば、固体理論における最も興味深い未解決問題の 1 つであるガラス転移を理解するために使用されます。 GNN を使用すると、遷移中のダイナミクスをシミュレートできるだけでなく、距離と時間に基づいて粒子が互いにどのように影響し合うかをより深く理解できるようになります。

さらに、米国の物理学研究所であるフェルミ国立加速器研究所（フェルミラボ）は、CERN の大型ハドロン衝突型加速器（LHC）の結果を分析するために GNN の移行に取り組んでいます。目標は、何百万もの画像を処理し、新しい粒子の発見に関連する可能性のある画像を選択することです。彼らの仕事は、GNN を FPGA に実装し、それをデータ取得プロセッサと統合して、GNN を世界中でリモートで実行できるようにすることです。粒子物理学における GNN の応用について詳しくは、Jonathan Shlomi らによる論文「Graph Neural Networks in Particle Physics」をご覧ください。

創薬

製薬会社は、医薬品開発の新しいモデルを見つけるために、毎年数十億ドルを研究開発に投資しています。生物学では、グラフはさまざまなスケールでの相互作用として表現できます。分子レベルでは、グラフのエッジは分子内の原子間の結合、またはタンパク質内のアミノ酸残基間の相互作用になります。より大きなスケールでは、グラフはタンパク質、mRNA、代謝物などのより複雑な構造間の相互作用を表すことができます。抽象化の具体的なレベルに応じて、これらのグラフは、ターゲットの特定、分子特性の予測、ハイスループットスクリーニング、新薬の設計、タンパク質工学、薬物の再利用などの分野で使用できます。

GNN ベースの創薬タイムライン。ガウデレット他、2020

おそらく、創薬における GNN の最も有望な用途は、2020 年に MIT の研究者と協力者によって Cell に発表された記事「抗生物質の発見へのディープラーニングアプローチ」でしょう。この研究では、分子が抗生物質の特性（大腸菌に対する増殖阻害）を持つかどうかを予測するために、Chemprop と呼ばれる深層 GNN モデルが提案されました。 Chemprop は、FDA 承認薬のライブラリからわずか約 2,500 個の分子を使用してトレーニングした後、Halicin 分子を含む Drug Repurposed Hub を含む、より大規模なデータセットに適用されました。

ハリシン分子の構造が既知の抗生物質と大きく異なるため、これまで研究されてきたのはハリシン分子だけであることは注目に値します。しかし、実験室で実施された試験管内および生体内での臨床試験では、ハリシンが広域スペクトルの抗生物質であることが実証されています。強力な NN モデルに対する広範なベンチマークにより、Halicin の検出において GNN 学習機能を使用することの重要性が実証されました。この研究の実用性に加えて、Chemprop フレームワークはさらに注目に値します。他の GNN モデルとは異なり、Chemprop には 5 つのレイヤーと 1600 の隠し次元があり、このようなタスクの一般的な GNN よりもはるかに多くのパラメーターがあります。もちろん、これは AI によって発見されようとしている数少ない新薬のうちの 1 つにすぎません。このトピックに関する詳細な結果については、最近のレビュー記事「医薬品の発見と開発におけるグラフ機械学習の活用」とブログ記事「2021 年、グラフ ML はどうなるのか?」をご覧ください。