快手コンテンツコールドスタートレコメンデーションモデルの実践

1. Kuaishou のコンテンツコールドスタートはどのような問題を解決しますか?

まず、Kuaishou コールドスタートが解決しなければならない問題を見てみましょう。

短期的には、プラットフォームはまず、より多くの新しい動画がトラフィックを獲得できるように、つまりリリースできるようにする必要があります。同時に、送信されるトラフィックもより効率的である必要があります。長期的には、人気プール全体に新鮮な血液を提供し、生態系のマシュー効果を軽減するために、高い可能性を秘めた新しいビデオをさらに探索して発掘する必要もあります。より高品質なコンテンツを提供することで、ユーザーエクスペリエンスが向上し、使用時間と DAU が増加します。

コールド スタートにより、UGC 作成者はインタラクティブなフィードバック インセンティブを獲得し、プロデューサー全体の維持を維持することができます。このプロセスには 2 つの制約があります。1 つ目は、全体的な探索コストです。トラフィック コストは、市場全体で比較的安定している必要があります。2 つ目は、低 vv 段階でのみ新しいビデオの配信に介入することです。では、これらの制約の下で全体的な利益を最大化するにはどうすればよいでしょうか?

ビデオのコールドスタート配信は、その成長の余地を決定します。特に、作品が不一致な興味を持つ人々に配信される場合、2 つの影響が生じます。 1 つ目は、著者の成長に影響が出ることです。著者が長期間にわたって効果的なインタラクティブ トラフィック インセンティブを受け取らないと、投稿の方向性や意欲が変わってしまいます。 2 つ目の理由は、初期のトラフィックは有効なアクション率がないため、システムはこれを高品質のコンテンツではないと判断し、長期間にわたって十分なトラフィックが得られず、成長できないことです。

このままでは生態系はかなり悪い状態に陥ってしまうでしょう。例えば、地元の食べ物に関する作品があった場合、それは最も適した視聴者グループAを持っているはずであり、全体的なアクション率は最も高くなります。まったく関係のない別のグループ C が存在する可能性があります。このグループの人々への投票にはある程度の選択性があり、アクション率は極めて低くなる可能性があります。もちろん、非常に幅広い興味を持つ 3 番目のグループ B も存在します。このグループの人々のトラフィック フローは大きいものの、このグループの人々の全体的なアクション率は比較的低いです。

できるだけ早くコアグループAにリーチし、コンテンツの早期インタラクション率を高めることができれば、自然なトラフィックの分散を実現できます。ただし、初期段階でグループ C またはグループ B にトラフィックを与えすぎると、全体的なアクション率が低下し、成長が制限されます。つまり、コールド スタート配信の効率を向上させることは、コンテンツの成長を達成するための最も重要な方法の 1 つです。コンテンツのコールドスタート効率の反復を完了するために、いくつかの中間プロセス指標と最終的な長期指標を確立します。

プロセス指標は主に2つの部分に分かれています。1つは新しいビデオの消費パフォーマンスで、主にトラフィックアクション率を含みます。2つ目は出力指標で、探索、利用、生態学を含みます。調査の方向性は、高品質の新しいビデオを見逃さないようにすることであり、主な観察は、露出が 0 より大きいビデオと露出が 100 より大きいビデオの数の増加です。活用項目は、VV流出量の多い高品質な新規動画数の増加を監視することです。生態学的志向は主に人気のあるプールの品質率によって決まります。長期的には、これは生態学的影響によってもたらされる長期的な変化であるため、最終的には定量的手法によるコンボ実験を使用して、APP 時間、著者 DAU、市場 DAU など、いくつかのコア指標の長期的な変化傾向を観察する予定です。

2. コールドスタートモデリングの課題と解決策

一般的に、コンテンツのコールドスタートには主に 3 つの困難の側面が含まれます。 1 つ目は、コンテンツ コールド スタートのサンプル空間と実際のソリューション空間の間に大きな違いがあることです。 2 つ目は、コンテンツ コールド スタートのサンプルが非常にまばらであるため、学習が不正確になり、偏差が非常に大きくなり、特に露出バイアスの点で不利になることです。 3 つ目は、動画の成長価値をモデル化することの難しさですが、これも私たちが計画し、取り組んでいることです。この記事では、最初の 2 つの側面に焦点を当てます。

1. 標本空間は実際の解空間よりもはるかに小さい

コンテンツコールドスタート最適化問題では、サンプル空間がソリューション空間よりも小さくなるという、非常に顕著な問題があります。特にコンテンツのコールドスタート推奨では、より多くの動画が表示される機会が得られるように、インデックスされたコンテンツのリーチを拡大する必要があります。

この問題を解決する最も重要な方法は、想起段階での動画のリーチと浸透効率を向上させることだと私たちは考えています。コールドスタートビデオのリコール到達率を解決するため。業界での一般的な実践はコンテンツベースに基づいており、属性の反転、意味的類似性に基づくいくつかのリコール方法、デュアルタワーと一般化された機能に基づくリコールモデル、または CB2CF アプローチに似た動作空間とコンテンツ空間間のマッピングの導入が含まれます。

今回は、グラフ エントロピー自己強化に基づく異種グラフ ネットワークと I2U に基づく Galaxy モデルという 2 つの興味深い新しい手法の紹介に焦点を当てます。技術の選択に関しては、まずコンテンツ コールド スタート U2I のベース モデルとして GNN を使用します。 GNN は全体として帰納的学習法であると考えられるため、新しいノードの追加に非常に適しており、より柔軟性があります。さらに、GNN にさらに多くの属性ノードを導入することは、コールド スタート コンテンツのリーチを拡大するための重要な手段です。具体的な実践としては、ユーザーノード、著者ノード、アイテムノードも導入し、情報の集約を完成させます。この一般化された属性ノードの導入後、新しいコンテンツの全体的なリーチが大幅に改善されました。ただし、タグ カテゴリなどの一般性が高すぎる中間ノードを使用すると、ビデオの知覚領域のパーソナライズ度が低下し、過度に滑らかになるリスクが生じます。ケースレビューから、バドミントンのビデオを見るのが好きな一部のユーザーにとって、既存の GNN 特性評価スキームでは、バドミントン ビデオを卓球やサッカーなどの他のビデオと区別する能力が低い傾向があることがわかりました。

GNN モデリング プロセスで一般化情報を過剰に導入することで発生する過度な一般化の問題を解決するために、私たちのアイデアは主に、より詳細な近傍特性評価スキームを導入すること、具体的には GNN に意味的自己強化エッジを導入することです。右下の図からわかるように、人気のない動画を基準に人気空間で類似した人気動画を探し、人気のある類似動画をコールドスタートエッジの初期ノードとして使用します。具体的な集約プロセスでは、グラフエントロピーの削減の原則に基づいて自己強化エッジを構築および選択します。具体的な選択スキームは、主に上記のエッジ隣接ノードの記述と現在のノード情報を考慮した式からわかります。 2 つのノード間の類似性が高くなるほど、情報エントロピーは小さくなります。下のノードの分母は、隣接ノードの全体的な知覚領域を表します。選択プロセスでは、より強い知覚を持つ隣接ノードを見つけることを優先することも理解できます。

実際には、主に 2 つの手法を使用します。1 つは、類似ビデオの特徴ドメインとアイテム ID の特徴ドメインが埋め込み空間を共有することです。もう 1 つは、自己強化ノードが人気のあるビデオのみを保持し、学習が不十分なノードによってもたらされるノイズを除去することです。このアップグレードにより、全体的な一般化が完全に保証され、モデルのパーソナライズが効果的に改善され、オフラインとオンラインの両方の効果が向上します。

上記の方法はすべて、実際に U2I の観点からのモデリングを使用してコンテンツのリーチを向上させていますが、ビデオのリーチ可能性の問題を根本的に解決することはできません。

考え方を変えて、アイテムの観点から適切なグループを探す、つまり I2U の視点に切り替えると、理論的にはすべてのビデオにトラフィックを獲得する余地があります。

具体的には、検索サービスを通じて各ビデオの関心グループを動的に検索できるように、I2U 検索サービスをトレーニングする必要があります。 I2U コンパイル グラフを通じて、U2I 逆インデックスが逆順に構築され、最終的にユーザーのリアルタイム リクエストに基づいてアイテム リストがコールド スタート推奨リストとして返されます。

重点は I2U 検索サービスをトレーニングすることであり、初期バージョンはデュアルタワー モデルです。実際には、マウントするユーザーが集中しすぎる問題を回避するために、まず uid を放棄し、アクション リストと自己注意を使用して、ユーザー集約問題を効果的に軽減します。同時に、学習プロセスで item-id によって引き起こされる学習露出バイアスを回避するために、item-id を放棄し、セマンティック ベクトル、カテゴリ、タグ、AuthorID などのより一般化された機能を導入して、item-id の集約を効果的に軽減します。ユーザーの観点から見ると、このデバイアス損失が導入され、次に、ユーザーの集中の問題をより適切に回避するために、バッチ内でネガティブ サンプリングが導入されます。

ツインタワーの I2U モデルは私たちの最初の実践バージョンであり、実践中にいくつかの問題が発見されました。まず、デュアルタワー モデルでは、ユーザーとアイテム間の相互作用に制限があり、全体的な検索精度が制限されます。さらに、興味の集中という問題もあります。ユーザーに付随するコンテンツは興味が非常に集中していることが多いのですが、実際にはユーザーの興味はマルチモーダルに分散しています。また、ユーザーが集中しすぎるという問題も見つかりました。コールドスタート動画のほとんどは一部のトップユーザーにマウントされていますが、トップユーザーが毎日消費できるコンテンツは限られているため、これは合理的ではありません。

上記の 3 つの問題を解決するための新しいソリューションは、TDM モデリングと TDM 階層検索です。 TDM の利点の 1 つは、デュアル タワーのインタラクションの制限を打ち破り、より複雑なユーザーとアイテムのインタラクション モードを導入できることです。 2 つ目は、単一モードの関心への依存を減らす DIN のようなモデルを使用することです。最後に、TDM に階層検索を導入すると、マウントユーザーの集中の問題を非常に効果的に軽減できます。

さらに、もう 1 つの効果的な最適化ポイントは、子孫ノードの集約表現を父ノードに追加して、父ノードの特徴の一般化と識別精度を高めることです。つまり、子ノードは Attention を通じて父ノードに集約されます。レイヤーごとの伝送を通じて、中間ノードにも一定の意味的一般化能力を持たせることができます。

I2Uモデルに加えて、最終システム実践プロセスではU2U関心拡大モジュールも導入しました。つまり、コールドスタートビデオが一部のユーザーの間で好評を博した場合、すぐに広まります。

これは業界の現在の U2U 方式の一部と似ていますが、ここでの U2U 関心拡張モジュールには 3 つの主な利点があります。1 つは、TDM ツリー構造が比較的固まっていることです。この U2U モジュールを追加すると、ユーザーのリアルタイムの好みに近づくことができます。さらに、リアルタイムの興味の拡散を通じて、モデルの限界を打ち破り、ユーザーのコラボレーションを通じてコン​​テンツを迅速に宣伝することもできます。これにより、多様性が高まり、最終的にGalaxy Recallの全体的なカバレッジが向上します。これらは、実際に行った最適化のポイントの一部です。

一般的に、これらのソリューションを通じて、コンテンツ コールド スタートのサンプル空間と実際のソリューション空間間の不一致の問題を効果的に解決でき、コールド スタートの到達範囲とカバレッジが大幅に向上します。

2. コールドスタートサンプルスパース学習は不正確で偏差が大きい

次に、最大の課題である、コンテンツのコールドスタートサンプルのスパース性によって引き起こされる不正確な学習と大きな偏差の問題を紹介します。この問題の本質は、対話型動作のスパース性にあります。この問題を 3 つの方向に拡張します。

まず、コールドスタートサンプルの露出が少ないため、アイテム ID の学習が非常に不十分であり、最終的な浸透と推奨の効率に影響を与えます。 2 つ目は、初期の配布が不正確であるため、収集されたラベルの不確実性が高く、信頼性が低いことです。 3 つ目は、修正を行わないと、現在のトレーニング パラダイムによってアイテムの埋め込みに熱情報が導入され、コールド スタート ビデオが過小評価され、配信できなくなることです。

私たちは主に4つの方向からこの問題を解決します。 1 つ目は一般化、2 つ目は転移、3 つ目は探索、4 つ目は修正です。一般化とは、一般化された機能の観点からモデリングとアップグレードを行うことです。移行の目的は、人気のないビデオと人気のあるビデオを 2 つのドメインとして扱い、人気のあるビデオ ドメインまたは完全な情報ドメインの情報を効果的に移行して、人気のないビデオの学習を支援することです。探索では、主に探索と利用の考え方を導入します。つまり、初期のラベルが不正確な場合、モデリングプロセスに探索の考え方を導入して、コールドスタート段階で信頼できないラベルによる悪影響を軽減したいと考えています。熱補正は現在人気のトピックです。私たちは主にゲーティングと正規化された損失を使用して、熱情報の使用を制限します。

以下は私たちの仕事の詳細な紹介です。

まず、一般化はコールド スタートの問題を解決するために非常に一般的かつよく使用される方法です。しかし、実際には、タグやカテゴリと比較すると、何らかの意味的埋め込みを導入する方が実際にはより有用であることがわかりました。ただし、意味的特徴を直接追加することの全体的な利点は非常に限られています。ビデオ意味空間と動作空間には違いがあるため、ビデオ意味の共通情報を通じて動作空間における新しいビデオのおおよその表現を取得し、この一般化された情報を使用して支援することはできますか?実際、私たちは以前にも、一般化された情報と実際の行動空間をマッピングして学習する CB2CF のアイデアを含むいくつかの実践について言及しました。実際には、このようなことは行いません。実際には、動画のセマンティックベクトルに基づいて、対象アイテムに類似する類似アイテムのリストを見つけます。まず、ユーザーの長期的および短期的な関心行動と行動空間を共有します。同時に、類似アイテムリストを集約して、行動空間における候補動画の表現をシミュレートします。実際、このアプローチは、先ほど述べたグラフリコールで候補項目に類似エッジを導入するアプローチと一致しています。このアプローチの効果は非常に明白で、オフライン AUC が 0.35PP 向上しました。

2 つ目は探索です。新しい動画の早期配信が不正確だと、事後平均 CTR が低くなります。また、この低い平均値により、モデルは動画自体の品質が低い可能性があると判断し、最終的にはコールド スタート コンテンツの探索的性質が制限されます。では、PCTR の不確実性をモデル化し、コールド スタート フェーズでのラベルの絶対的な使用率と信頼を軽減することは可能でしょうか?私たちは、オンラインで期待値と分散の両方を使用して、リクエストの CTR 推定値をベータ分布の推定値に変換しようとします。実際には、ベータ分布の α と β を推定します。具体的には、損失設計は推定値と真のラベル間の平均二乗誤差の期待値です。期待値を展開すると、推定値の二乗の期待値と推定値の期待値を取得する必要があることがわかります。そして、これら 2 つの値は、推定された α と β を通じて効果的に計算され、損失が生成されます。次に、ベータ分布をトレーニングし、最後にキュー バランスの探索と使用率をベータ分布の推定値に追加します。実際、低vv段階でBeta lossを使用すると、AUCに一定の改善が見られますが、特に顕著ではありません。ただし、オンラインでベータ配信を使用すると、全体的なアクション率を同じに保ちながら、0vv コンテンツの有効浸透率を 22% 向上させることができます。

次に、デュアルドメイン転移学習フレームワークを紹介します。全体的な考え方としては、コールド スタート コンテンツは通常、非常に偏ったロングテール分布であり、人気バイアスの影響を受けやすいグループでもあるということです。コールド スタート サンプルのみを使用すると、人気度の偏りをある程度緩和できますが、多くのユーザーの興味が失われ、全体的な精度が低下します。

現在の試みのほとんどは、ホット サンプルをアンダーサンプリングしたり、逆周波数重み付けや一般化機能を使用してコールド スタート サンプルを学習することに重点を置いています。ただし、コールド スタートの初期動作サンプルと動作空間で人気のあるビデオとの間の固有の共通性を無視することがよくあります。

そのため、設計プロセスでは、フルサンプルとコールドスタートサンプルを、上図のフルドメインとコールドスタートドメインの2つのドメインに分割します。フルドメインはすべてのサンプルに有効であり、コールドスタートドメインはコールドスタート条件のサンプルにのみ有効です。次に、コールド知識ドメインとホット知識ドメインの双方向移行モジュールを追加します。具体的には、ユーザーとアイテムを別々にモデル化し、グローバル サンプル タワーからコールド スタート サンプル タワーへのネットワーク マッピングを使用して、モデル レベルで暗黙的なデータ拡張をキャプチャし、コールド スタート ビデオの表現を改善します。アイテム側では、すべてのコールド スタート サンプルを保持します。さらに、露出に基づいていくつかの人気ビデオをサンプリングして、ホット ドメインとコールド ドメインの分布の類似性を確保し、最終的にマッピング全体の知識転送のスムーズさを確保します。

さらに、独自のデュアル人気ゲーティング メカニズムを追加し、ホット ビデオ ドメインとコールド ビデオ ドメインの融合比率を支援する人気機能をいくつか導入しました。一方では、異なるライフサイクルにおける新しいビデオのコールドスタート表現利用率を効果的に学習し、割り当てることができます。一方、ユーザー側では、さまざまなアクティブユーザーのコールドスタート動画に対する感度も学習されます。実際には、低 vv 段階と 4000 vv の AUC の両方でオフライン効果がある程度改善されています。

最後に偏差補正に関わる作業として、熱偏差補正について紹介します。推奨システムは人気の偏りに直面することが多く、全体的には売れ筋商品のカーニバルとなっています。既存のモデルパラダイムは、グローバル CTR の目標に適合しています。人気のある動画を推奨すると、全体的な損失が低くなる可能性がありますが、アイテムの埋め込みに人気に関する情報も注入されるため、人気の高い動画が過大評価されることになります。

既存の方法の中には、単に偏りのない推定値を求めるものもあり、実際には消費損失につながる可能性があります。では、一部のアイテムの埋め込みを人気情報と実際の興味情報から切り離し、人気情報と興味情報をオンライン融合に効果的に使用できるでしょうか? これはより合理的なアプローチかもしれません。具体的な実装プロセスでは、同業者のいくつかの実践例を参考にしました。

焦点は主に 2 つのモジュールにあります。1 つは、入力コンテンツの熱量と関心度に直交制約を設定することです。たとえば、入力がアイテム ID や作成者 ID などの特徴である場合、2 つの表現が生成されます。これらの 2 つの表現のうち 1 つは熱量表現であり、もう 1 つは実際の関心度表現です。解決プロセス中に通常の制約が設定されます。次に、ビデオの純粋な熱表現として、いくつかのアイテムの純粋な熱情報の埋め込みも生成します。純粋な熱表現は、ビデオの実際の熱表現に基づいて類似性制約を作成し、前述の熱表現と関心表現を取得できるようにします。1 つは熱情報を表現し、もう 1 つは関心情報を表します。最後に、これら 2 つの表現に基づいて、バイアス付き推定値とバイアスなし推定値のキューがオンラインで追加され、乗算式の融合が実行されます。

3. 今後の展望

最後に、今後の仕事についての展望を述べたいと思います。

1 つ目は、現在の類似パターンを含む群衆拡散のリアルタイム性を中心に、群衆拡散モデルのより洗練されたモデリングと応用です。私たちは実際に、コールド スタート フェーズでの U2U の拡散アプリケーションなど、類似のソリューションをいくつか実装しており、さらに改良していきたいと考えています。

2 つ目は修正ソリューションです。コールド スタート修正における現在の因果モデルに関する研究も数多く行われています。特に露出修正と熱修正については、この方向での研究と調査を継続します。3 つ目はサンプルの選択です。コールド スタートの推奨には、依然として高熱サンプルの方が価値があります。高熱サンプル空間でより価値のあるサンプルをいくつか選択し、異なる重み付けをして、コールド スタート モデルの推奨効率を向上させることはできますか?

3つ目は、動画の長期的な成長価値の描写です。すべての動画は、コールドスタート-成長-安定-衰退のプロセスを経る必要があります。動画をモデル化する際に、その長期的なメリット、つまり成長スペースにもっと注意を払う方法、特に価値の活用という観点から、将来の成長のために異なる単一分布の価値の違いをどのようにモデル化するか、これも非常に興味深いタスクです。

最後はデータ拡張ソリューションです。サンプルであれ比較学習ソリューションであれ、コールド スタート推奨の効率を向上させるために、この分野でいくつかの取り組みを導入したいと考えています。

4. 質疑応答

Q1: オンライン リクエストはすべてユーザー単位で行われます。I2U ユーザーをベクター エンジンにオンラインで組み込むにはどうすればよいでしょうか。

A1: I2U モデルは、インデックス データベース内で最も類似したユーザーをオフラインで継続的に検索し、アイテムに基づいて見つかった最も類似したユーザーをユーザーとアイテムのペアに変換します。最後に、ユーザーからアイテムのリストの集約を取得し、オンラインで使用できるように Redis に格納します。

Q2: コールドスタートのもう 1 つの側面は、ヘッドの内容物が過熱してサンプル比率が高くなりすぎて、プッシュが集中するのを防ぐ方法です。何か方法はありますか。

A2: 共有ではいくつかの方法が言及されています。基本的には、一般化、探索、修正の観点から問題を解決しています。たとえば、アイテム ID を初期化してより良い開始点を設定する方法と、同時にいくつかの一般化された機能を導入し、その一般化された機能を動作意味空間にマッピングする方法などです。次に、ベータ分布を使用して探索機能を向上させます。また、純粋なコンテンツタワーを導入し、PIDなどの強力なメモリを持つ機能を削除することで、熱バイアスのない純粋な一般化推定を導入します。バイアスを修正する作業も行います。学習プロセス中に熱係数を個別に学習および制約し、純粋な関心基準と熱基準を提供し、オンラインで熱基準の使用を合理的に配布したいと考えています。もちろん、これらの方法に加えて、データ強化を通じてコールドスタートコンテンツのスパース性を緩和したり、転移学習の観点から人気のあるコンテンツを使用してコールドスタートコンテンツの学習を支援したりすることも試みています。

Q3: 人気プールの優待料金はどのように計算されますか？

A3: 動画の品質は、実際には多くの手作業を必要とする作業です。モデルを使用して動画の品質を完全に評価することは不可能です。モデルを使用して、50,000 回の露出があるビデオなどのコンテンツを評価できる場合、全体的な品質率は手動で評価され、どのビデオが高品質であるかをレビュー担当者がレビューできるようにプッシュされます。