オープンソースのグラフ ニューラル ネットワーク フレームワーク DGL のアップグレード: GCMC のトレーニング時間が 1 日から 1 時間に短縮

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

別の AI フレームワークがアップグレードされました。

今回、ニューヨーク大学とアマゾンは共同でグラフニューラルネットワークフレームワークDGLを立ち上げました。

異種グラフのサポートを全面的に開始しただけでなく、関連する異種グラフニューラルネットワークのコードも再現してオープンソース化し、GCMCやRCGNなどの業界で有名なモデルの実装でより良い結果を達成しました。

また、多くの従来のグラフ埋め込みモデルのパフォーマンス向上を実現した Knowledge Graph Embedding (DGL-KE) をトレーニングするための特別なパッケージもリリースしました。

現在、2018年のNeurIPSカンファレンスで発表されたこのフレームワークは、3,000以上のスターを獲得しており、グラフニューラルネットワークやグラフ機械学習の分野で人気のツールとなっています。

異種グラフ: ニューラルネットワークの新しい方向性

異種グラフは同種グラフに対応する新しい概念です。

従来の同種グラフ データにはノードとエッジの種類が 1 つしかないため、グラフ ニューラル ネットワークを構築する場合、すべてのノードは同じモデル パラメーターを共有し、同じ次元の特徴空間を持ちます。

異種グラフには複数の種類のノードとエッジを含めることができるため、異なる種類のノードに異なる次元の機能や属性を持たせることができます。

この機能により、異種グラフは広く使用されています。グラフを使用して私たちと私たちの周りのものとの関係を説明すると、生成されるグラフは当然異種であることがわかります。次の例がその例です。

今日、映画『流転の地球』を観たので、観客である「私」と映画『流転の地球』との間に「観る」という関係が成立した。

異種グラフは、このような相互作用関係の集合を記述するために使用できます。このグラフは、「視聴者」と「映画」の 2 種類のノードと、「視聴済み」のエッジ タイプに分かれています。

視聴者として、「私」と映画の属性は異なっているはずであり、異なるモデルまたは異なる特徴次元を使用して表現する必要があります。

したがって、このグラフは当然ながら異質です。さらに、従来の方法と比較して、異種グラフでトレーニングされたニューラル ネットワークは、いくつかのシナリオでより優れた結果とパフォーマンスを達成することもできます。

現在では、ナレッジグラフ、推奨システム、悪意のあるアカウントの識別などの分野やタスクに適用されています。

最も代表的なモデルとしては、ノード分類やリンク予測などのタスク用の RGCN と、製品推奨用の GCMC の 2 つがあります。

しかし、高速かつ優れたディープ ニューラル ネットワークを設計するにはどうすればよいでしょうか?

これはまさに、ニューヨーク大学と Amazon が共同でグ​​ラフ ニューラル ネットワーク フレームワーク DGL を立ち上げる出発点です。

DGL の新バージョン: 異種グラフ ニューラル ネットワーク向けの強力なツール

このアップデートでは DGL バージョン 0.4 がリリースされ、フレームワーク全体がより実用的になります。

異種グラフのサポートが完全に開始されただけでなく、関連する異種グラフ ニューラル ネットワークのコードも再現され、オープンソース化されました。

△ DGL 0.4における異種グラフに基づくRGCN層の実装コード

関係者によると、この新しいバージョンの DGL は、業界で最も優れた異種グラフ ニューラル ネットワークを実装し、パフォーマンスが向上しているという。

GCMC: DGL の実装は、MovieLens-100K では元の作者の実装より 5 倍高速で、MovieLens-1M では 22 倍高速です。 DGL のメモリ最適化により、MovieLens-10M を単一の GPU でトレーニングできるようになりました (元の実装では CPU からのデータの動的ロードが必要でした)。これにより、元の 24 時間のトレーニング時間が 1 時間強に短縮されました。

RGCN: RGCN は、新しい異種グラフ インターフェイスを使用して再実装されます。新しい実装により、メモリのオーバーヘッドが大幅に削減されます。 AM データセット (エッジ数 > 5M) に対する元の実装では、メモリ オーバーヘッドが大きいため CPU でしか計算できませんでしたが、DGL では GPU を使用して高速化できるため、291 倍の速度向上を実現しました。

HAN: メタパスを通じて異種グラフを同種グラフに変換するための柔軟なインターフェースを提供します。

Metapath2vec: 元の作者の実装より 2 倍高速な新しいメタパス サンプリング実装。

さらに、DGL は分子化学用のモデル ライブラリ DGL-Chem と、ナレッジ グラフ埋め込み (Knowledge Graph Embedding) をトレーニングするための特別なパッケージ DGL-KE もリリースしました。 DGL-Chem は、分子特性の予測や分子構造の生成を含む事前トレーニング済みモデルを提供します。

DGL-KE は、単一の GPU 上で、従来の TransE モデルを使用して FB15K のグラフ埋め込みを 7 分でトレーニングできます。これに対し、4 つの GPU 上の GraphVite (v0.1.0) では 14 分かかります。

DGL-KE の最初のバージョンでは、CPU トレーニング、GPU トレーニング、CPU と GPU のハイブリッド トレーニング、および単一マシンのマルチプロセス トレーニングをサポートする TransE、ComplEx、および Distmult モデルがリリースされました。

DGLチームは、今後さらに多くのモデルとトレーニング方法がリリースされる予定であると述べました。