快手とインテルが提携し、KGNN プラットフォームでの大規模リアルタイム動的グラフトレーニングの効率を向上

ショートビデオの推奨やソーシャル推奨などのアプリケーションシナリオでは、推奨システムは大量の急速に変化する画像を分析して処理する必要があります。これには、推奨アルゴリズムが常に変化する動的グラフ上のより深いオブジェクト接続を探索できることが求められるだけでなく、推奨システムのインフラストラクチャ、特にメモリパフォーマンスに対する要求も高くなります。北京快手科技有限公司（以下、快手）は、レコメンデーション業務における大量のデータ、幅広い種類、高いリアルタイム性要件を考慮して、常に変化する動的グラフ上でより深いオブジェクト接続（トポロジー/機能関係）をマイニングできるアルゴリズムプラットフォームKGNNを開発しました。現在、KGNNプラットフォームはKuaishouの複数のビジネスシナリオと組み合わせてモデルを実装し、ディスカバリーページのトリガー、ユーザー推奨シナリオ、電子商取引の推奨などのシナリオでオンラインビジネスに大きなメリットをもたらしています。より多くのモデル/より高速で使いやすいツールなどを提供するために、反復を続けています。

プラットフォームのパフォーマンスを向上させるため、KGNN は従来の DRAM メモリの代わりに Intel® Optane™ パーシステント メモリを使用し、単一マシン メモリの TB レベルの拡張を実現しました。ポイント スケールが 10 億、エッジ スケールが 100 億の超大規模グラフをサポートできるため、より正確な推奨事項を提供できます。

KGNN: 超大規模異種リアルタイムグラフプラットフォームをサポート

従来の推奨アルゴリズムでは高次のインタラクション履歴情報をマイニングすることが難しいという問題を解決するために、近年、グラフニューラルネットワーク (GNN) が広く注目を集めています。 GNN はノード機能を初期埋め込みとして使用し、ユーザー機能とアイテム機能を追加して、高次のインタラクション履歴情報を導入します。企業は、GNN モデルを通じて、動的グラフ上のより深いオブジェクトの接続を探索し、より優れた推奨結果を提供できることを期待しています。

GNNモデルに基づいて、KuaishouのアルゴリズムプラットフォームKGNNが誕生しました。 KGNN プラットフォームは、さまざまな GNN モデルを迅速に実行するための一般的な動的 GNN トレーニング フレームワークを提供することに取り組んでいます。このプラットフォームは、超大規模グラフ（ポイントスケール10億、エッジスケール100億）の動的グラフニューラルネットワークトレーニングをサポートしています。Kuaishouメインアプリのディスカバリーページなどの超大規模トラフィックシナリオのリアルタイムトレーニングをサポートし、豊富な画像操作機能を提供します。さらに、このプラットフォームは再利用もサポートしており、シンプルで使いやすいアルゴリズム パイプライン、完全な周辺機能ツール、柔軟にカスタマイズされたインターフェイスを備えており、Tensorflow エコシステムと深く統合できるため、ユーザーはモデルの構築やシステム コンポーネントのトレーニングに費やす時間を大幅に節約できます。図1はKuaishou KGNNプラットフォームの全体的な実行フローチャートです。

KGNNプラットフォームでは、物理グラフストレージ層に基づく異種グラフストレージ層が、超大規模な異種属性グラフのストレージと読み取り/書き込みサービスを提供します。また、異なる業務ラインの異なるトポロジ構造に応じて、より合理的なノード分散を実現し、ノード間通信によるパフォーマンスの低下を大幅に削減します。さらに、ストレージ レイヤーは、さまざまなトレーニング データ ボリュームのシナリオに適応するための水平拡張もサポートし、さまざまなモデルの相互作用のニーズを満たすために、さまざまな加重サンプリング、トラバーサル、ネガティブ サンプリングなどの演算子を提供します。同時に、このストレージ レイヤーは GNN シナリオ専用に設計されており、エッジ テーブルの有効期限などの複数のメカニズムをサポートします。

図1. KGNNの全体的なトレーニングプロセス

ソリューション: Intel Optane パーシステント メモリが KGNN の実現に貢献

KGNN プラットフォームは、急速に変化する多数の超大規模画像に対してリアルタイムのトレーニングを実行する必要があるため、異種グラフ ストレージ レイヤーの読み取りおよび書き込みサンプリング機能とデータ スループット機能に対する要求が非常に高くなります。従来のソリューションでは、高性能 DRAM メモリを使用して異種グラフ ストレージを拡張し、読み取りおよび書き込みサンプリングのパフォーマンス要件を満たしていました。ただし、エンタープライズ レベルの DRAM メモリ 1 個の容量は 32 GB しかないことがよくあります。サーバーのメモリ拡張スロットの制限と相まって、1 台のサーバーで拡張可能なメモリの最大容量は大幅に制限されます。超大規模な動的グラフの処理ニーズを満たすには、グラフを多数の部分に分割する必要がありますが、これはトレーニングのパフォーマンスに影響を与えるだけでなく、複数のマシンのスケーラビリティも制限します。同時に、動的グローバル加重ネガティブサンプリング管理や動的高次ネガティブサンプリングなどの複雑なアルゴリズムは、さまざまなインスタンスに対して多くの非効率的な操作を実行し、パフォーマンスに大きな影響を与えるため、これらのアルゴリズムの実装が困難になります。

従来の DRAM メモリの代わりに Intel Optane 永続メモリを使用すると、上記の課題に対処できます。 Intel Optane パーシステント・メモリは、高速性、高コストパフォーマンス、大容量、永続的なデータ保護、高度な暗号化などの利点を兼ね備えたメモリ オプションを提供します。従来の DRAM メモリとは異なり、大容量、経済性、永続性を兼ね備えています。読み取りおよび書き込み帯域幅は NVMe デバイスの何倍も高く、レイテンシの問題が大幅に軽減されます。

Intel Optane パーシステント メモリには、メモリ モードと App Direct モードという 2 つの異なる動作モードがあります。メモリ モードでは、通常の揮発性 (非永続的) システム メモリとまったく同じように動作しますが、コストが低く、システム バジェットの範囲内で大容量を実現できます。 Intel Optane 永続メモリ モジュールには 128 GB、256 GB、512 GB のバージョンがあり、DRAM メモリをはるかに上回り、単一のサーバーで TB レベルの合計メモリ容量を提供できます。

Kuaishou KGNN プラットフォームは、Intel Optane 永続メモリの App Direct モードを使用しており、アプリケーションとオペレーティング システムで 2 種類のメモリを利用できます。システムは、DRAM または Intel Optane 永続メモリからデータを書き込むか読み取るかを決定します。最も低いレイテンシを必要とし、永続的なデータ保存を必要としない操作は DRAM 上で実行できますが、大規模なデータ構造と長期間保持する必要があるデータは、Intel Optane 永続メモリによって保存されます。このモードでは、システムの電源がオフになってもデータはメモリに残ります。

Kuaishou KGNN プラットフォームの異種グラフ ストレージ レイヤーは、Intel Optane 永続メモリ向けに最適化されており、不揮発性機能を活用して、より高性能な読み取りおよび書き込みサンプリングと高速リカバリなどの高可用性機能を提供し、プロセス全体のスループットと安定性を向上させます。

図2. Intel Optane 永続メモリをベースにした KGNN プラットフォーム アーキテクチャ

Intel Optane パーシステント メモリは、ストレージのパフォーマンスと容量のボトルネックを解決し、2 台のサーバーで 4TB の容量を提供できます。ポイント スケール 10 億、エッジ スケール 100 億の大規模なリアルタイム動的グラフを処理し、グラフのサブグラフを削減し、より複雑なアルゴリズムの処理をサポートして、より優れた推奨効果を得ることができます。

さらに、高次サンプリングでは、分散状況でさまざまな例外を処理する必要があります。コードは非常に複雑で、エラーが発生しやすくなります。例外が発生すると、パイプラインの実行に影響します。さらに、Intel Optane 永続メモリでの高レベル サンプリングのさまざまなステージを並列化できますが、分散状況では、各ホップが終了した後にのみ次のラウンドに進むことができます。複雑な実際のビジネス グラフの場合、Intel Optane パーシステント メモリにより、少なくとも 5 ～ 10 倍のパフォーマンス向上が見込まれます。

安定性と可用性の面では、大規模なリアルタイム動的グラフトレーニングの場合、ダウンタイムにより一部のシャードが自動的にトレーニングを停止すると、すべてのシャードが再起動するまで待機する必要があり、リアルタイムトレーニングの精度が大幅に低下します。一部の損失はチェックポイント メカニズムを通じて回復できますが、再起動するとマルチシャード全体が同じチェックポイントに戻り、最終的な回復時間は 12 時間にも及ぶことが予想されます。オンライン学習のシナリオでは、このようなユーザビリティの問題が発生すると、Kuaishou はトレーニングの消費をロールバックしてトレーニングの交差の問題を防ぐ必要があり、オンライン学習の効果に大きな損失が生じます。

Intel Optane パーシステント メモリは断片化を軽減し、パーシステント メモリとしてダウンタイム後もデータが消えないため、回復時間が 12 時間から 2 分に短縮され、99% 以上短縮されます。

結果: パフォーマンスの向上、TCO の削減、可用性の向上

Intel Optane 永続メモリの優れた機能のおかげで、Kuaishou の KGNN プラットフォームのパフォーマンスが大幅に向上し、アルゴリズム推奨アプリケーションがもたらす課題に、より効果的に対処できるようになりました。

リアルタイムの動的グラフ処理のパフォーマンスを向上: Intel Optane 永続メモリは、単一マシンのストレージ容量を大きくし、超大規模なリアルタイムの動的グラフ シャードのパフォーマンスへの影響を大幅に軽減します。テスト データは、Intel Optane 永続メモリがより複雑なアルゴリズムをサポートしながら、即座にパフォーマンスの向上をもたらすことができることを示しています。

アルゴリズム推奨システムの TCO を削減: DRAM メモリと比較すると、同じ容量の Intel Optane 永続メモリの購入価格は低くなります。さらに、Intel Optane パーシステント メモリは単一モジュールの容量が高く、Kuaishou は TB レベルのストレージ容量を実現するために必要なサーバー ノードの数を大幅に削減し、TCO を大幅に節約できます。

障害回復時間の短縮: Intel Optane 永続メモリをベースとする Kuaishou の KGNN プラットフォームは、回復時間を短縮します。これにより、Kuaishou は KGNN プラットフォームの安定性と可用性を向上させ、運用と保守の負担を軽減できます。

展望: エコシステムがデータ価値のマイニングを支援

Kuaishou KGNN の選択と最適化の実践により、Intel Optane パーシステント メモリが、高いメモリ容量が求められるシナリオで重要な役割を果たし、単位コスト内でより競争力のあるパフォーマンスを提供できることが証明されました。現在、Kuaishou KGNN は引き続き反復作業を行っており、Intel Optane 永続メモリでのアプリケーション探索をさらに推進して、推奨シナリオがアルゴリズムや計算能力などにもたらす課題に対処しています。

インテルは、インテル Optane パーシステント・メモリーに加え、テクノロジー、製品、アプリケーション、エコシステム構築など、さまざまな面で Kuaishou と協力し、ユーザー推奨などのシナリオにおける最先端のハードウェアおよびソフトウェア・テクノロジーの実装と最適化を共同で検証します。両者は、エンドツーエンドのデータ分析と人工知能ソリューションを基盤として、膨大なデータに秘められた価値を探求し、ビッグデータ分析と人工知能の革新を推進し、ユーザーにさらにパーソナライズされたインテリジェントなアプリケーション体験をもたらします。

快手について

Kuaishou は、一般の人々が自分たちの生活を録画して共有するための短編動画ソーシャル プラットフォームです。 「あらゆる人生を包括する」という基本理念のもと、温かみのあるテクノロジーで、一人ひとりの幸福感を高めます。 2020年6月30日現在、快手は1日あたり3億200万人のアクティブユーザーと260億本以上の短編動画を保有しており、世界をリードするオンラインライフシェアリングコミュニティとなっています。

インテルについて

インテル（NASDAQ: INTC）は、世界的な進歩を推進し生活を豊かにする、世界を変えるテクノロジーを生み出す業界リーダーです。当社はムーアの法則に着想を得て、半導体の設計と製造を進歩させ、お客様が最大の課題を克服できるよう支援することに尽力しています。クラウド、ネットワーク、エッジ、あらゆるコンピューティング デバイスにインテリジェンスを組み込むことで、データの可能性を最大限に引き出し、ビジネスと社会をより良い方向に変革します。 Intel のイノベーションに関する詳細については、Intel の中国ニュース センター (newsroom.intel.cn) および公式 Web サイト (intel.cn) をご覧ください。