Huaweiの推奨システムにおけるマルチタスクとマルチシナリオの応用

1. マルチタスクとマルチシナリオの背景と課題

まず、Huaweiのマルチタスクで推奨されるシナリオを紹介します。

Huaweiの広告はさまざまな媒体で配信されています。たとえば、左の写真はブラウザの情報フロー内のオリジナル広告を示しており、右の写真はHuaweiのビデオページの下の広告カードを示しています。これらの広告は、APP タイプ、フォーム タイプ、製品タイプなどのさまざまなタイプに分かれており、その中で APP タイプが当社の主な広告タイプです。 APP広告はユーザーの視界に現れます。ユーザーがそれに気づけば、詳細ページをクリックするきっかけとなるかもしれません。詳細ページの情報を見て興味を持ったユーザーは、APPをダウンロードするかもしれません。APPをダウンロードした後、ユーザーはAPPを使わずに放置したり、アクティベーション、アプリ内購入、リテンションなどのさらなるコンバージョン行動を生み出したりするかもしれません。

広告主は独自の運用指標に基づいてクリックまたはコンバージョンの種類に対して料金を支払うため、クリックスルー率、ダウンロード率、その他のコンバージョン率など、コンバージョン チェーン内の複数のリンクに対するユーザー行動を推定します。当然のことながら、リンクが深くなるにつれて、ユーザーのコンバージョン行動はよりスパースになります。コンバージョン目標が深くなるほど、コンバージョンスパース性の問題は深刻になり、トレーニングが難しくなります。

したがって、サンプルのスパース性の問題を軽減するためにマルチタスクジョイントモデリングを使用し、異なるタスクが連携して相互に改善できることを期待しています。

Huawei の広告はさまざまな種類のメディアに掲載されていますが、大きく分けて次の 2 つのカテゴリに分けられます。

• 独自のメディア：Huawei Video、Huawei Browser、Huawei Music、Huawei Reading など。
• サードパーティメディアには、Sina、NetEase、UC Browser などがあります。

Huawei の自社メディアを例にとると、Huawei の広告はメディア内のさまざまな場所に配置され、アプリケーション アイコン、起動画面ページなど、さまざまな形式で表示されます。ユーザーがさまざまなメディアのさまざまな場所を閲覧すると、広告をクリックするなど、さまざまな種類の行動が発生します。ユーザーが広告をクリックするシナリオは異なり、クリックの背景も異なります。つまり、さまざまなシナリオで異なるユーザーの好みの行動を抽出できます。そのため、より包括的なユーザー嗜好プロファイルを構築するために、マルチシナリオ共同モデリング ソリューションを使用します。さらに、マルチシナリオ共同モデリングには通常、次の 2 つの利点があります。1) 維持されるシナリオ モデルの数が削減される。2) コールド スタート シナリオのスパース性の問題が軽減される。

2. アルゴリズムの分類と導入

1. マルチタスクとマルチシナリオの比較

まず、モデリング空間はターゲット空間とサンプル空間の 2 つの部分に分けられます。複数のタスクのターゲット空間は、クリックスルー率、アクティベーション率など、それぞれ異なりますが、サンプルはすべて同じ空間、たとえば同じサンプルと特徴空間から取得されます。マルチシナリオでは、その逆になることがよくあります。トレーニング データはさまざまなシナリオから取得され、サンプル スペースも異なることがよくあります。データ分布と機能セットは異なりますが、予測タスクはすべてクリックスルー率などの同じタイプです。もちろん、最近ではマルチシナリオおよびマルチタスクの共同最適化シナリオとアルゴリズムがいくつか存在しますが、ここでは詳しく説明しません。

2. アルゴリズムの分類

現在、マルチタスク推奨アルゴリズムに関連する作業は、1) タスク関係の次元と 2) 方法の次元の 2 つの次元に分けられます。

タスク関係ディメンションには、主に 3 つのタイプがあります。1 つは並列です。これは、クリック、コレクション、共有、いいねなどの複数のタスク間に明確な依存関係がないことを意味します。これは、コンテンツ配信の情報フロー推奨シナリオでより一般的です。 2 番目のタイプはカスケード タイプで、複数のタスクの変換が同じリンクにあり、それらの間には一定の依存関係があります。このタイプは、広告推奨シナリオでより一般的です。 3 つ目は、メインタスクと補助タスクの共同最適化です。これは主に、メインタスクの最終的な効果を最適化するためにいくつかの補助タスクを見つけることに重点を置いています。

方法の次元から、3つのカテゴリに分類できます。最初のカテゴリは、MOE 構造などのハード共有とソフト共有を含むパラメータ共有です。 2 番目のカテゴリはタスク最適化であり、主に負の転送と多目的トレードオフに焦点を当てています。これは、タスクまたは勾配の優位性と、負の関係の処理にさらに分けることができます。 3 番目のカテゴリは、従来の共同モデリング方法などのモデリング トレーニング メカニズムであり、複数のタスクを直接共同で最適化します。もうひとつは強化学習に基づくトレーニングメカニズムです。以下の記事は、私たちのマルチタスク推奨システムの概要であり、関連するいくつかの作業を体系的に紹介しています。興味のある学生は注目してください。

次に、複数のシナリオに関連するアルゴリズムを、主に 2 つの次元から異なる次元に分割しました。1 つ目はモデル構造の次元、2 つ目は方法の次元です。

モデル構造の観点から見ると、多塔式と単塔式の2種類に分けられます。マルチタワーとは、シーンごとに予測ネットワークを構築することを意味します。これは通常、シーンの数が比較的明確で多くない場合に使用されます。もう 1 つはシングル タワー、つまりすべてのシーンの予測ネットワークを共有するもので、シーンの数が十分に明確でないシーンや、数が比較的多いシーンで主に使用されます。方法の面では、実際にはマルチタスクと非常に似ています。最初の方法は、依然としてパラメータ共有方式であり、ハード共有とソフト共有が含まれます。 2 つ目は、シーン ジョイント モデリング中の負の情報移行の処理です。 3 つ目は、シーンの特徴情報を取得して調整する動的重みネットワークです。また、ジョイントモデリングに関する論文もあり、マルチ行動やマルチモーダルを含むマルチシナリオ関連の研究や、大規模言語モデルを使用したレコメンデーションのためのジョイントモデリング関連の研究を紹介しています。興味のある学生は、こちらも注目してください。

3. アルゴリズムの紹介

次に、Huawei が広告シナリオに実装したマルチタスクおよびマルチシナリオ推奨アルゴリズムをいくつか紹介します。

（１）マルチタスクアルゴリズム：TAML

1 つ目は、www2023 で公開した作品 (TAML) で、主に分類におけるカスケード タスク、共同トレーニング、およびいくつかのトレーニング メカニズムをカバーしています。

TAML は主に 2 つの課題に対処します。1 つは、変換サンプルがまばらであることです。単純なタスク レベルのエキスパート ネットワーク フュージョンのみを使用すると、十分な情報が提供されず、この情報には多少の偏差が生じます。もう 1 つのポイントは、モデル推定の堅牢性です。私たちが特徴付ける分類ネットワークは十分にトレーニングされていないため、最終的なトレーニング予測結果が十分に堅牢ではありません。

上記の 2 つの問題に対処するために、TAML フレームワークには主に 2 つのモジュールが含まれています。1 つはマルチレベル タスク適応表現抽出モジュールで、主にマルチレベル エキスパート ネットワークを通じて多粒度のマルチタスク知識表現を抽出します。2 つ目のモジュールは蒸留マルチ学習者モジュールで、主に複数の学習者を構築し、蒸留を通じて複数の学習者間の知識共有を実現して、推定ネットワークの安定性を向上させます。

次に、これら 2 つのモジュールについてそれぞれ簡単に説明します。

最初のモジュールであるマルチレベルタスク適応表現抽出モジュールは、主に低レベルの表現を抽出するために使用されます。これは、共有マルチエキスパート ネットワーク、タスク レベルの固有エキスパート ネットワーク、学習者レベルの専門家ネットワークの 3 種類のマルチレベル エキスパート ネットワークを通じて構築されます。ここでの学習器は、タスクのスパース性の問題を軽減し、タスク表現の安定性を向上させるように設計されています。タスクごとに複数の学習器が個別に構築されるため、複数の観点からタスク表現を抽出できます。最後に、3 つの表現がゲーティング ネットワークを通じて融合され、最終的な表現が出力されます。

2 つ目は MLSD 学習モジュールで、主にネットワーク最適化の推定に使用されます。複数の学習者が、異なる視点から同じタスクに関する異なる情報を学習できます。最後に、異なる学習者の平均を融合学習者の知識出力として使用します。これを基に、各学習者と融合学習者間の距離を制限する正規化された損失を構築し、異なる学習者間での情報共有を実現し、推定ネットワークの堅牢性を向上させます。

私たちはこの作業をパブリックデータセットと Huawei のプライベートデータで検証し、SOTA と比較して大幅なパフォーマンスの向上を達成しました。さらに、下の図の左下隅の図から、さまざまなレベルのエキスパートネットワークが最終表現にどのように貢献しているかがわかります。タスクや学習者によって、3 つのエキスパートネットワークによって抽出された情報の重要性は異なります。たとえば、CVR タスクの場合、学習する学習者レベルのパラメータ ネットワークの重みは重くなります。

オフラインの効果の方が優れているため、Huawei の広告シナリオでオンライン AB 実験を実施しました。クリック後のデータに基づいて 2 つのタスクを構築しました。1 つはダウンロード率、もう 1 つはアクティベーション率です。 CVR と eCPM の両方のシナリオにおいて、比較的明らかなオンラインのメリットが達成されていることがわかります。これはコンバージョン率のシナリオであるため、コンバージョン率の影響と最終的な広告収益の影響を重視します。

（２）マルチシナリオアルゴリズム：CausalInt

2つ目の研究は、KDD2022で発表した研究（CausalInt）です。この研究では、主にマルチタワー分類器と分類におけるソフトシェアリングを取り上げており、負の情報移行の整理や動的重みネットワークのシーン適応パラメータの調整も含まれています。

ここでは因果図を使用して、マルチシナリオ モデリングの問題を分析します。まず、ユーザーの視点からマルチシナリオの推奨事項について説明します。図(a)において、xnはシナリオnにおけるユーザーの行動_であり、ynはシナリオnにおいてユーザーが実行するクリックなどの操作_である。 x は、シナリオとは無関係なユーザーの好みを表します。シナリオ n でユーザーによって生成された操作 yn は、実際に_は、シナリオでのユーザーの行動の一部とユーザー自身の好みの一部を組み合わせた結果です。

モデリングの観点から、マルチシナリオ モデリングのプロセスについて説明します。シーン データを混合してモデリングすると、異なる変数間の関係がより複雑になることがわかります。

_X1はシーンに依存しないユーザー表現を表していますが、シーン知覚表現_Dnとシーンnにおけるユーザーの表現の影響を受けます。これは、シーンにおけるユーザーのクリック行動に対するモデルの予測を表していますが、他のシーン知覚情報やユーザー行動などの他のシーンの影響を受けます。予測には多少の偏差があり、より良い推奨効果を得ることはできません。つまり、モデリングのプロセスにおいて、偏った情報や効果的な情報伝達を考慮していませんでした。

モデリングプロセスの視点をユーザーの視点の因果グラフにより近づけるため、つまりモデリングにおける逸脱問題を解決するために、マルチシナリオ共同モデリングにおける 3 つの主要な課題を抽出しました。最初の課題は、シーン間の共通点をいかに効果的に抽出するかです。 2 番目の課題は、他のシナリオによってもたらされる否定的な情報を排除しながら、製品内の特定の情報を保持する方法です。主に、 x _{n を}効果的に抽出する方法を扱います。3 番目の課題は、シーン認識情報をどのように探索して転送するかです。

これらの課題に対処するために、私たちは因果介入戦略に頼ります。ここで、 D _nから X _n 、および X _nから Y _nへの介入が実行されます。実際の商用レコメンデーションシステムでは、データや実験の観点から実際の介入戦略を採用することは実際には困難です。そのため、学習手法を使用してこの介入をシミュレートし、混乱が生じやすい因果経路を遮断することを検討しています。

3つのモジュールを提案します。最初のモジュールは共通性抽出モジュールで、赤い部分です。 2 番目のモジュールは、中央の灰色の部分にある、マイナスの影響を除去するモジュールです。 3つ目は、シーン情報移行モジュール、黄色の部分です。次に、これら3つの部分について詳しく紹介します。

1 つ目は共通性抽出モジュールです。私たちは主に構造表現を使用して、いくつかのシーン認識とシーンに敏感な情報を独立したブランチ ネットワークに分離し、4 つの異なるタスクを構築してシーン固有の表現またはシーン不変の表現を抽出します。これら 4 つのタスクの最初のものは、一番左にある一般的な分類器です。これは主に、抽出されたシーンに依存しない表現に基づいています。一部のシーンに依存する情報を削除した後、これは統合分類器、つまりすべてのシーンで共有される CTR 推定タスクに対応します。 2 つ目は、シーン依存情報を分離し、シーン依存情報の表現を使用してシーン識別子を構築する、つまりサンプルがどのシーンからのものかを判断することです。 3 番目のタスクは、シーン表現とシーン知覚表現を組み合わせて、CTR 推定のための一般的な分類器を構築することです。最終的に、これら 2 つの表現を効果的に抽出し、可能な限り直交させるために、ここで実際の正規化制約が存在します。これら 4 つの方法を通じて、後続のモデリングの基礎として偏りのない表現が抽出されます。

2 番目のモジュールは、マイナスの影響を除去するモジュールです。これはさらに 2 つの部分に分けられます。最初の部分は、いくつかのシーン固有の表現といくつかのシーン共通の表現の間の勾配競合の問題です。たとえば、シーン固有の分類子と返される勾配、および共有分類子の返される勾配により、共有表現にいくつかの競合が発生します。

2 番目の競合は、さまざまなシナリオで分類子によって返される勾配が共有表現に与える影響です。私たちはこれら 2 つの異なる紛争に対して 2 つの異なる戦略を使用しました。最初の競合については、メタ学習 MAML トレーニング方法を使用して、シーンの特徴表現と共通性表現の間の競合を解決しました。 2 番目のタイプの競合については、共有表現間の勾配競合問題は、シュミット直交化プロセスを採用し、勾配の直交基底を実装してそれらの間の勾配方向を制約することで解決され、それによってこの次元の勾配競合問題が解決されます。

3 番目のモジュールは情報移行モジュールです。この部分では、実験的な介入戦略をシミュレートし、単一のシーンに表示されるユーザーアイテム表現が、異なるシーンの情報と対話できるようにします。

反事実的な質問をシミュレートします。シーンのユーザーとアイテムの相互作用がシーン j に現れた場合、結果はどうなるでしょうか? 複数のシーンのスコアリング ネットワークを複数の専門家として使用して、この相互作用にスコアを付けます。 最後に、最初のモジュールは、このシーンの表現に対応するシーンの分類器を学習し、現在のサンプルに重み付け、つまり、現在のシーンに対応するエキスパートのスコアリング結果を信じる確率を予測するために使用されます。これにより、エキスパート ネットワークによって出力されたスコアの融合が実現され、異なるシーン間の情報転送が実現されます。

私たちは、公開データセットとHuaweiのプライベートデータセット上でモデルに対していくつかのオフラインAB実験を実施しました。単一シーンモデリングのマルチタスクモデルと比較して、いくつかのマルチシーンベースラインモデルを含むいくつかの転移学習微調整モデルでは、比較的明らかなパフォーマンスの向上が見られることがわかります。

モデルのさまざまなモジュールに対してアブレーション解析を実行しました。全体として、各サブモジュールはいくつかの増分効果をもたらしました。例えば、表8では、シーン情報転送モジュールにおける異なるアテンションネットワークの実装を比較しました。例えば、直接乗算を行うか、mmoeと同様のエンドツーエンドのトレーニングを直接使用してゲートネットワークを作成し、複数のエキスパートスコアを融合します。判別モデルを構築してトレーニングしたゲートネットワークの方が、より良い結果が得られていることがわかります。

（３）マルチシナリオアルゴリズム：DF​​FM

3 番目に紹介したいのは、今年 CIKM で発表した DFFM という研究です。この研究は主に、動的な重みネットワークを使用して機能の相互作用とユーザーの行動のシナリオ適応型学習を実行する、単一のタワーのマルチシナリオ モデリング モデルを対象としています。

推奨を行う学生は、CTR モデルにおける 2 つの非常に重要な概念である機能の相互作用とユーザーの行動に精通している必要があります。

機能の相互作用は、多くのディープレコメンデーション モデルの基礎となります。たとえば、通常は、2 次および 3 次の相互作用の構築を手動で実装するか、ニューラル ネットワークを設計するか、MLP を通じて高次の暗黙的な相互作用を直接構築します。

ユーザーの行動はシナリオによって異なり、それが機能のインタラクションにも反映されますが、機能のインタラクションはシナリオによって異なります。つまり、機能のインタラクションはシナリオによって重み付けが異なります。第二に、ユーザーの行動はユーザーの興味の一部を反映する可能性があります。さまざまなシナリオにおけるユーザーの過去の行動は、その時点のシナリオにおけるユーザーの特定の好みの一部を反映しています。したがって、複数のシナリオを共同でモデル化する場合は、これらの2つの点、つまり複数のシナリオの共通点と特性も考慮する必要があります。

したがって、機能の相互作用とユーザー行動のシナリオ認識のための DFFM モデルを提案します。主に2つのモジュールで構成されています。最初の DFFI はシーン認識機能インタラクション モジュールであり、2 番目の DFUB はシーン認識ユーザー動作モジュールです。

シーン認識機能インタラクション モジュールは、内積インタラクション メソッドを例に挙げています。シーンを区別しないという条件下では、インタラクション メソッドは実際には 2 つの特徴ベクトルの内積を直接実行します。複数のシーンでは、ドメイン ID などのいくつかのシーン表現を使用し、このシーン表現を変換および分割して、動的重みネットワークを確立し、元の機能を変換します。たとえば、シーン表現は、変換と分割を通じて重みネットワークとバイアスに分解され、ここでの e _iや e _jなどの元の特徴の一部を変換するために使用され、これに基づいて 2 次または多次の特徴の相互作用が実行され、最後に元のベクトルと連結されて DFFI モジュールの出力表現が得られます。ここでの相互作用方法は、内積に限定されるものではなく、外積や、DCN および autint のいくつかの相互作用方法を使用することもできます。

2 番目のモジュールは、シナリオ認識型ユーザー行動モジュールです。私たちは、ユーザー行動の粒度から始めて、シーン関連の特徴を使用してユーザー行動間の関連性を学習します。具体的には、DFUB モジュールは、マルチヘッド自己注意メカニズムを使用してユーザー行動シーケンスを処理します。シーケンス内の一部のアイテムの相互作用のみを考慮する従来のマルチヘッド自己注意メカニズムと比較して、ターゲットアイテムとシーン表現の両方を考慮して、マルチヘッド注意ネットワークの QKV マトリックスを構築します。その変換行列は 2 つの部分に分かれており、1 つはそれ自体でランダムに初期化される回転行列であり、もう 1 つはターゲット項目から変換された回転行列です。このようにして、対象アイテムとシーンの情報をアテンションメカニズム内のアイテム間の相互作用に組み込みます。最終的に、複数のヘッドの出力が連結され、DFUB モジュールの最終的な表現出力になります。

最後に、DFFI モジュールと DFUB モジュールの表現を組み合わせて分類器を構築します。この分類器は、単純な MLP にすることも、他のより高度な分類ネットワークにすることもでき、いくつかのインタラクティブ ネットワークを重ねることもできます。

ここでは、2 つの公開データ セットでの DFFM のオフライン パフォーマンス評価をいくつか示します。既存の SOTA モデルと比較すると、比較的明らかなパフォーマンスの向上がもたらされることがわかります。

同時に、このモデルをサードパーティメディアのシナリオに実装しました。シナリオの数が比較的多く、確実性も低いため、オンラインでの起動と検証にはシングルタワーモデルを使用しました。 DFFI モジュールと完全な DFFM モジュールが徐々に開始され、その効果が比較的顕著に現れていることがわかります。ecpm の利点はここに示されています。

III. 関連研究

最後に、マルチシナリオとマルチタスクに関する最近発表されたいくつかの研究を要約します。

最初の 2 つはマルチタスクです。1 つ目は TAML で、マルチ粒度エキスパート ネットワークとカスケード学習に基づくマルチタスク最適化です。2 つ目はマルチタスク機能選択フレームワークです。

以下の 5 つの記事は、主にマルチシナリオ モデリングを対象としています。たとえば、DFFM は機能レベルを対象としており、主にいくつかの機能インタラクションとユーザー動作のモデリングが含まれています。HAMUR はインタラクティブ ネットワーク用のシーン アダプター ネットワークです。Instance は主にサンプル レベルを対象としており、つまり複数のシナリオでのサンプル選択アルゴリズムを対象としています。先ほど紹介した CausalInt は主に複数のシナリオのトレーニング フレームワークであり、負の情報転送の問題の解決に重点を置いています。PLATE はプロンプト学習に基づく転移学習の新しいパラダイムです。

最後の2つは、マルチタスク学習のための共同トレーニングです。マルチタスク、マルチシナリオ、マルチモダリティ、マルチ動作、マルチ関心、言語モデル支援の推奨システムを統合し、推奨のための共同モデリング ソリューションを作成します。

以上が今回のシェアの内容です、皆様ありがとうございました。

4. 質疑応答

Q1: モデルがオフラインで完全にトレーニングされている場合、たとえば 90 日間のサンプルを使用すると、実験はベースよりも優れています。ただし、モデルが毎日増分更新されると、実験の効果はベースの効果よりも悪くなります。理由は何でしょうか。

A1: 主にエンジニアリングとアルゴリズムの影響を受けます。エンジニアリングでは、増分トレーニングはリアルタイムの特徴取得とリアルタイムのサンプルリフローに依存しており、主にサンプルの精度が関係します。アルゴリズムの観点から見ると、増分更新中に、学習率など、モデル更新の効果に影響を与える戦略もいくつかあります。バッチサイズから小さなバッチへのサンプルの増分トレーニングでは、通常、減衰やより小さな大きさなど、学習率を調整する必要があります。次に、機能の追加と削除もモデルの効果に影響します。次に、異なるアルゴリズムは、蒸留モデルのローリング蒸留などの増分トレーニングプロセス中に異なる戦略を持ち、モデルの効果にも影響します。特定の問題は具体的に調査する必要があります。

Q2: マルチタスク学習には追加の学習シグナルがありますか?これら 3 つの異なるタイプの専門家が、異なる知識を学習できるようにするにはどうすればよいでしょうか?

A2: 現在、マルチエキスパートネットワークとスパースゲートネットワークに基づく MMOE や PLE などの多くのモデルは、実際にこの非常に暗黙的な方法を使用して重み間の分布を学習しています。 1 つのポイントは、パラメータの初期化方法とランダム シードです。 2 番目のポイントは、エキスパート ウェイト ネットワークの出力にいくつかの外乱を追加することです。これは、トレーニング プロセス中に徐々に減らすことができます。

Q3: メインシナリオにはより多くのサンプルがあり、学習プロセス全体を支配する可能性があります。Alibaba スターモデルと同様に、複数のシナリオに対して適応型の計画を立てようとしたことがありますか? 同様の方法を使用しましたか?

A3: 実際、私たちは以前にも著者と何度かやり取りをしたことがあります。異なるシナリオのデータがある場合、特にシナリオデータが多く、バッチが比較的小さい場合、この方法は同じバッチではあまりうまく機能しない可能性があります。ただし、Alibaba のように交互トレーニングを直接使用する場合、たとえばバッチに 1 つのシーンのデータしかない場合でも、実際には一定の効果があります。この支配的なパラメータに関して、勾配優位性の問題を紹介しました。実際、この分野ではいくつかの研究が行われています。実際に以前に試したことがあります。実際、最も簡単な方法はグランドノルムに似ています。勾配の次元を直接使用して勾配のペアを作成し、いくつかのペナルティを実行します。勾配が大きい場合、現在のタスクに対応する損失の重みは、トレーニング ステップに応じて調整されます。