写真とテキスト付き！推奨アルゴリズムのアーキテクチャ - 大まかなランキング

1. 全体的なアーキテクチャ

粗いソートは、リコールと細かいソートの中間のモジュールです。。数万の候補項目を再現率から取得し、数百または数千の項目を出力して細かいランキングを作成します。これは、精度とパフォーマンスのトレードオフの典型的な結果です。推奨プールが大きくないシナリオでは、粗いソートはオプションです。粗い全体的なアーキテクチャ次のように：

2. 大まかな分類の基本的な枠組み：サンプル、特徴、モデル

現在、大まかなソートが一般的にモデル化されており、基本的なフレームワークにもデータサンプル、特徴エンジニアリング、ディープモデルという 3 つの部分が含まれています。

1. データサンプル

現在、粗いランキングが一般的にモデル化されており、そのトレーニングサンプルは細かいランキングに似ており、露出クリックを正のサンプルとして選択し、クリックのない露出を負のサンプルとして選択します。ただし、粗いソートには通常、数万の候補セットが含まれるのに対し、細かいソートには数百または数千しか含まれないため、解空間ははるかに大きくなります。トレーニングには曝露サンプルのみが使用されますが、曝露と非曝露の両方が同時に予測されます。サンプル選択バイアス (SSB 問題) が深刻で、トレーニングと予測の間に不一致が生じます。細かいソートと比較すると、粗いソートの SSB 問題は明らかにより深刻です。

2. 特徴エンジニアリング

粗いソートの特性は細かいソートの特性と似ています。計算遅延要件が高く、わずか 10ms ～ 20ms であるため、一般的に 2 つのカテゴリに大別できます。

共通の機能: 細かいソートに似ており、ユーザー、コンテキスト、アイテムの 3 つの部分で構成されます。どのような特徴があり、どのように処理するかの詳細については、精製ランキングの特徴エンジニアリングセクションを参照してください。
クロスフィーチャー: ユーザーとアイテム間のクロスフィーチャーは、モデルの精度を向上させるのに非常に役立ちます。ただし、クロスフィーチャ列挙の数が多すぎるため、オフラインで計算して保存することは困難です。リアルタイムスコアリングは、一度だけ計算する必要があるユーザー機能とは異なるため、レイテンシが高くなります。したがって、クロス機能は注意して使用する必要があります。

3. ディープモデル

大まかな選別は基本的にモデル化されており、その開発プロセスは次の 4 つの段階に分けられます。

第一世代 : 人工ルール戦略は、事後統計に基づいて人工ルールを構築できます。たとえば、商品の過去の CTR、CVR、カテゴリの価格帯、販売量、その他の主要な要素を統合します。手動ルールは精度が低く、パーソナライズされておらず、リアルタイムで更新できません。

第二世代 : LR 線形モデルは、一定のパーソナライズ機能とリアルタイム機能を備えていますが、モデルが単純すぎるため、表現力が弱いです。

第三世代 : DSSM ダブルタワー内積深層モデル。ユーザーとアイテムを切り離し、2 つのタワーを通じて独立して構築します。これにより、アイテムベクトルのオフラインストレージが可能になり、オンライン予測の待ち時間が短縮されます。主なパラダイムは 2 つあります。

アイテムとユーザーは両方ともオフラインで保存されます。このソリューションでは、ユーザーとアイテムの内積を計算するだけで済むため、計算の遅延は低くなります。ユーザーはオフラインで保存されるため、複雑なモデルを使用して表現力を向上させることができます。しかし、ユーザー側のリアルタイム性は低く、ユーザーの行動をリアルタイムで捉えることができません。
アイテムはオフラインですが、ユーザーはリアルタイムです。ユーザーと比較すると、アイテムにはそれほど高いリアルタイム要件はありません。スコアリングは同一ユーザーに対して行われるため、ユーザー側はリアルタイムで一度計算するだけで済み、速度も非常に高速です。このソリューションは現在、より頻繁に使用されています。

第4世代：アイテムとユーザーが分離しているため、両者間の機能の相互連携がなく、モデルの表現力が弱い。そこで、軽量MLP粗粒度モデルであるCOLDに代表される第4世代モデルが提案されました。 SE ブロックを通じて特徴クリッピングを実装し、ネットワークプルーニングおよびエンジニアリング最適化と連携して、精度とパフォーマンスのトレードオフを実現します。

3. 大まかなソートの最適化

粗選別の主な問題点:

精度と特徴のクロスオーバーの問題: 従来の DSSM モデルには多くの利点があり、現在、粗いソートで広く使用されています。その最も大きな欠点は、特徴のクロスオーバー機能がないことです。諺にあるように、成功か失敗かは小何にかかっています。ユーザーとアイテムを分離しているからこそ、DSSM は高いパフォーマンスを発揮します。しかし一方で、両者の交差が不足しているため、モデルの表現力が不十分となり、精度が低下します。精度とパフォーマンスの間の典型的なトレードオフ。
低レイテンシ要件: 粗いソートには高いレイテンシ要件があり、通常は 10 ミリ秒から 20 ミリ秒のみで、細かいソートの要件よりもはるかに低くなります。
ＳＳＢ質問：粗いソートの解空間は、細かいソートの解空間よりもはるかに広くなります。細かいソートと同様に、露出サンプルのみを使用するため、サンプル選択バイアスの重大な問題が生じます。

1. 精度の向上

精度を向上させるためのソリューションには、主に精製蒸留と特徴クロスオーバーが含まれ、主な目標は特徴クロスオーバー問題を最適化することです。

精製蒸留

洗練されたモデルは教師として機能し、粗いモデルを精製することで粗いモデルの効果を向上させます。これが粗いモデルのトレーニングの基本的なパラダイムとなっています。

機能のクロスオーバー

機能の交差は、機能レベルまたはモデルレベルで実装できます。機能レベルでは、モデルの基本的な入力としてクロス機能を手動で構築しますが、これは独立したタワー内に存在することもできます。モデルレベルでは、自動クロスオーバーを実現するために FM または MLP が使用されます。主な方法は次のとおりです。

機能の抽出 : 教師と生徒は同じネットワーク構造を使用します。教師モデルは共通特徴とクロス特徴を使用し、生徒は共通特徴のみを使用します。生徒は教師からクロスフィーチャーの高レベルな情報を学ぶことができます。

クロスフィーチャーを追加する : 手動クロスフィーチャはフィーチャレベルで構築され、独立したタワーで使用されます。クロスフィーチャをオフラインで保存するのは困難であり、リアルタイム計算スペースも非常に大きいため、この独立したタワーはあまり複雑にすることはできません。最初に思い浮かぶのは、ワイド＆ディープモデルです。奥の部分では引き続き DSSM ツインタワーが使用され、奥の部分ではクロス機能が使用されています。

軽量MLP : 独立したタワー分割なしにモデルレベルで機能クロスオーバーを実現します。たとえば、COLD は、独立したタワーに依存するのではなく、機能の調整、ネットワークの削減、エンジニアリングの最適化を通じてレイテンシを削減します。

2. 遅延の低減

精度とパフォーマンスは常にトレードオフの関係にあり、多くのソリューションでは両者のバランスが求められます。粗いソートにはより高いパフォーマンス要件があり、その遅延は 10 ミリ秒〜 20 ミリ秒以内に制御する必要があります。パフォーマンスの最適化一般的な方法はたくさんある。

主な方法は次のとおりです。

特徴のプルーニング: たとえば、COLD では、重要でない特徴が最初に除外されるため、全体的なレイテンシが自然に短縮されます。このレイヤーをモデルに組み込むことで、パーソナライズしたり、リアルタイムで更新したりできるようになります。
量子化と固定小数点変換: たとえば、32 ビットを 8 ビットに減らすと、コンピューティングとストレージのパフォーマンスが向上します。
ネットワークプルーニング: シナプスプルーニング、ニューロンプルーニング、重み行列プルーニングなどの方法を含むネットワークプルーニング。拡張されません。
モデルの蒸留: モデルの蒸留については上で説明しましたが、これ以上拡張されることはありません。

ネットワーク構造検索 NAS: より軽量で優れたモデルを使用します。ネットワーク構造内で NAS を検索してみてください。