OPPOのコアアーキテクチャとインテリジェント成長アルゴリズムの応用

1. 業界背景

スマートフォン業界は、典型的なハードウェア製造業として、人々の生活に密接に関係しています。

国家統計局の統計によると、携帯電話でインターネットにアクセスしている人は10億6500万人に上る。携帯電話でインターネットにアクセスしたことがない人は、主に未成年者と高齢者で、携帯電話業界の成長はほとんど見られない。既存ユーザーの需要面では、ユーザーがデバイスを変更するサイクルがますます長くなっています。昨年と一昨年を比較すると、1～2年保有しているユーザーの割合は15％から13％に減少し、2～3年保有しているユーザーの割合は28％から22％に減少し、3～4年保有しているユーザーの割合は24％から28％に増加し、4年以上保有しているユーザーの割合は28％から31％に増加しました。

供給面では、2020年と2021年は供給の激化を経験し、すべてのメーカーが残りの成長を競うために必死に新製品を発売しました。昨年は新製品の数は2019年の水準に戻ったが、発売から2年以上経過したモデルの数は年々減少している。旧モデルは競争力がなく、市場から撤退せざるを得ないことが主な理由と考えられる。 2023年に入り、国内Android陣営の競争は激化しており、WeiboやBilibiliなどのコミュニティにも戦場の痕跡が見られる。

スマートフォンブームが去るにつれ、携帯電話会社は多くの課題に直面することになるかもしれない。一般的に言えば、これらの課題には次の 4 つの方向から対処できます。

1つ目の方向性は、海外の先進国や国内の高級市場など、高価値市場への進出です。

2つ目の方向性は、モバイルインターネットサービスのユーザー当たり平均収益（ARPU）の向上など、携帯電話の付加価値を高めることです。

3つ目の方向性は、スマートウェアラブルデバイスや自動車産業への進出など、新たな事業ラインを追加することです。

4 番目の方向性は、パフォーマンス マーケティングの強化や、オフライン チャネルとオンライン チャネルの補完によるユーザーの定着率の向上など、チャネルの効率とマーケティング モデルを改善することです。

OPPO は過去 2 年間のインテリジェント成長の探求において、主に第 3 および第 4 の方向で経験を積んできました。次に、関連する成長戦略についてお話しします。

2. アルゴリズムアーキテクチャ

近年、ディープラーニングの推進により、各業界のインテリジェントアルゴリズムアーキテクチャは基本的にTensorFlowやPyTorchをベースとして採用し、この基礎の上に構築することで、技術的な敷居を下げ、技術の配当を享受し、業界の特性を生かした革新と優位性を生み出しています。携帯電話業界に関して言えば、インターネット大手のデータの優位性と、製造業のインテリジェント変革の課題の両方を抱えています。

以下は、OPPO チームの全体的なアルゴリズム アーキテクチャです。携帯電話の成長のためのアルゴリズム アーキテクチャは、主に、基本データ、データ構築、機能プロファイリング、モデル構築、アプリケーション シナリオの 5 つの部分で構成されます。

基本データに関して、携帯電話の成長アルゴリズムに必要な主なデータは次のとおりです。

• 電話のステータス: 一般的には、オペレーティング システム レベルのさまざまな文字列または数値のステータス データを指し、主にユーザーのライフ サイクルをモデル化するために使用されます。
• 製品属性: メモリ、サイズ、セールスポイント、権利など、販売される製品のいくつかの基本的な属性を指します。
• 注文データ: ユーザーが携帯電話を購入する際の重要なデータを指します。
• マーケティング配信: スマート成長プロセスに関与するユーザーのデータを指します。通常、RTA、RTB、広告配信データ、またはその他のメッセージ ログが含まれます。
• リアルタイムの動作: 主に、モバイル フォン上のユーザーからのリアルタイムのフィードバックを表します。
• 資料：介入効果を高めるために用意されたコンテンツ。

データの再利用効率と拡張性を向上させるには、基本データに基づいて一連の標準化と正規化処理を実行し、携帯電話のフロー関係に基づいてユーザーのフロー関係図を抽出する必要があります。ここでの自然人とは、携帯電話と自然人との間のマッピング関係を説明しています。データ構築が完了した後、機能ポートレートの構築は、リアルタイム統計、リアルタイムシーケンス、コンテンツ理解、長期的なユーザーポートレートなど、業界のほとんどの実践と同様です。ただし、携帯電話の流通ポートレートやマーケティングノードポートレートなど、主に携帯電話市場における競争関係と対応策を描写する業界独自のものもあります。

モデル構築に関しては、次のようなアプローチを採用しました。

• 因果モデル (アップリフト): マーケティングの限界利益を特徴付け、デバイス交換の予測に対する否定的な介入を減らすために使用されます。
• PU 学習法: 介入の対象となる正確な集団を正確に見つけ、ユーザー情報への干渉を減らすために使用されます。
• マルチモーダル理解: 主にテキストと画像の事前トレーニングに使用されます。
• PID 方式: 主に、ほとんどのシナリオの自動制約要件を満たすために使用される自動制御機能です。
• AIGC 方式: 安定拡散モデルの機能を使用して画像素材を出力します。
• CTR と CVR: 主にリンクのクリック率とコンバージョン率を推定するために使用されます。

これらのモデルとアルゴリズムの適用シナリオには、次の側面が含まれます。

• RTA および RTB: ドメイン内およびドメイン外の広告配信を含む広告配信シナリオが含まれます。
• コミュニティとモール：ユーザー操作とセルフ操作の携帯電話のコアマーケティングチャネルであるOPPO独自のプラットフォームを指します。
• 公平性とプッシュ: 包括的な介入チャネル。

上記は、OPPO のアルゴリズム レベルの全体的なアーキテクチャです。

エンジニアリングの観点から、インテリジェントな変革のための技術的ソリューションをどのように解決するかを見てみましょう。最も高度なスマート選択モジュールは、アルゴリズム シナリオへの自動アクセスを完了します。携帯電話の成長に関わるリンクは、新電話のセールスポイントの洞察、クラウドマーケティングの洞察、新電話の予熱、初売り、プロモーションなど、非常に長く、各リンクには多くのシナリオがあります。スマートセレクションは、主にシナリオへの迅速なアクセスのニーズを満たし、操作、エンジニアリング、アルゴリズムを切り離し、アルゴリズムが効果の最適化に集中できるようにサポートします。 Marketing Cloud は主に、資料の作成、広告の管理、分析と監視に使用されます。ミドルエンジンモジュールは、リコール、大まかなソート、細かいソート、再ランク付け、戦略的演算子を自由に組み合わせてカスタマイズされたニーズを満たすレコメンデーションエンジンです。エンジンの柔軟性をさらに高めるために、多様性、多目的、再配置、戦略の各モジュールに DSL 変換を行い、チームのアルゴリズム探索をサポートしました。さらに、マシン コストの制約により、上記のステップの多くは、使用中にコストなしでプラグを抜き差しして、レイテンシを削減し、スループットを向上させることができます。

上記のアルゴリズム アーキテクチャは、主に OPPO の Andes Smart Cloud に基づいています。インテリジェント クラウド インフラストラクチャの柔軟性と使いやすさのおかげで、特にチーム間、部門間、システム間のコラボレーションのためのより優れたソリューションを実現できます。

3. 応用シナリオ

次に、具体的な応用シナリオの事例を 4 つ紹介します。最初の事例は AIGC コンテンツ供給に基づいています。2 番目の事例はショッピング モールで、マルチシナリオ、マルチターゲット、マルチモーダルの推奨に基づいています。3 番目の事例は因果推論に基づく正確な人口配置です。4 番目の事例は携帯電話業界における精密な広告マーケティングです。

1. 最初の応用シナリオ: AIGCに基づくコンテンツ供給

まず、非アルゴリズム分野や伝統的な製造業では、ビジネス チームがコンテンツ供給の重要性を理解するために、一般的な科学知識が必要になる場合があることに気付きました。そこで、ビジネスパートナーと連携する際には、推論とデータ提示のアプローチを採用し、いくつかの小規模なシナリオでの実験を通じて、コンテンツ供給の拡大によるメリットを検証しました。コンテンツの供給量を増やすことでクリック率を大幅に向上させ、クリック率が 15% 増加することがわかり、合意に達しました。

もう一つの課題は、供給効率と人件費です。当初、コンテンツの提供プロセスは手作業に依存しており、デザイナーがいくつかの素材を出力し、セキュリティレビュー後にオンラインに公開していました。このプロセスは比較的非効率的です。この目的のために、私たちのチームはエンジニアリング テンプレート描画の方法を使用して最初の変換を実行しました。このように、コンテンツ供給プロセスは変化しました。デザイナーはテンプレートの作成に重点を置き、テンプレートを通じて大量の候補素材を生成し、予備レビューとセキュリティ監査を経てリリースします。この変革により、当初毎日レビューされていたコンテンツの量が大幅に増加しました。しかし、テンプレートの繰り返し率が高く、生成された候補資料に情報が不足しているため、ユーザーがすべて同じだと感じてしまうという新たな問題も発生しています。

現在、AIGC 技術が成熟するにつれて、AIGC の関連ソリューションを調査したところ、この技術は情報量を増やすと同時にテンプレート作成の難易度も高める可能性があることがわかりました。そこで、関連チームと協力して AIGC テクノロジを導入し、素材作成時の情報量を増やしてユーザー エクスペリエンスを向上させました。

現在、私たちが使用している AIGC モデルは主に CLIP モデルです。その主なアイデアは、大量の画像データとテキスト データを使用してモデルを事前トレーニングし、モデルが画像と自然言語の対応関係を理解できるようにすることで、クロスモーダルな意味的推論を実現することです。この目標を達成するために、生成モデルのフレームワークには 2 つのコンポーネントが含まれます。 1 つ目は、Transformer アーキテクチャに基づいて画像の特徴を埋め込みベクトルに変換する画像エンコーダーです。 2 つ目は、自然言語を特徴ベクトルに変換する VILT アーキテクチャに基づくテキスト エンコーダーです。これら 2 つのベクトルに基づいて、クロスエントロピー学習と対照学習の方法を組み合わせてモデルをトレーニングします。事前トレーニング段階では、オープンソースデータやOPPOのプライベート画像・テキストデータを参照し、Andes Smart CloudのGPUクラスター上でトレーニングを実施しました。

生成の部分では、AIGC が出力するコンテンツが広告配信のニーズを満たすようにするために、多くの試みがなされました。キーワード、セールスポイント、マーケティング言語、グラフィック スタイル、否定的なフィードバック、画像の詳細を追加すると、資料の生成に役立つことがわかっています。右端の例は、アセットとテンプレートを組み合わせて生成された最終結果を示しており、背景画像はその一例です。

2. 2番目の応用シナリオ: マルチシナリオ、マルチ目的、マルチモーダル推奨

上図に示すように、当社の現在のビジネスシナリオは主にモールインターフェースに関する提案を行うことです。たとえば、ホームページのバナー広告セクション、グリッド位置、ウォーターフォール プッシュ通知、ポイント、コミュニティ、クーポン配布などのシナリオで推奨を行うことができます。

アルゴリズム インターフェースに関しては、数百近くのビジネス シナリオに接続しており、クリックスルー率、コンバージョン率、GMV などのビジネス指標に注意を払う必要があります。同時に、携帯電話業界では人材の制約があり、アルゴリズムには異なる要求が課せられます。

当初、推奨にはシナリオ間、多目的のモデル ソリューションを採用しました。シナリオの数が増えるにつれて、モデルを繰り返し最適化していきました。その後、コミュニティや動画など、製品以外のコンテンツのおすすめも追加しました。さらに、コンテンツ素材の需要に応えるために、マルチモーダル モデルにいくつかの新しい機能を導入する必要もあります。

継続的な反復の後、モデルは上の図のように表示されます。左側の部分はマルチモーダル理解であり、モデルは主に ViLT の構造に基づいています。比較の結果、ビジネスデータによって微調整された ViLT モデルは、公開されている ViIT モデルよりも効果的であることがわかりました。私たちは多くの分析を実施し、特にマーケティング言語などの垂直分野において、実際のビジネスシナリオのデータと公開データセットの間に大きな違いがあることを発見しました。右側の部分は、最新の論文の進捗状況を取り入れた構造の推奨モデルです。基礎となるモデルは、主に、履歴動作、コンテキスト、候補マテリアルの 3 つの部分に基づいています。候補となる素材については、現在、対応するマルチモーダル事前トレーニング済み機能を使用しています。リアルタイムの統計的動作は、エンコード方式を使用してベクトル化され、さらに、コンテキスト コンテンツのベクトル化のためにシーンとドメインの特徴を区別します。

マルチモーダル・マルチ感覚シーン認識モジュールでは、主にTransformerとシーン固有の方法を使用します。最上位レベルでは、ターゲット専用のタワーを設定し、最終的にターゲットの比例結果を取得します。テストと比較を行った結果、AITM のマルチターゲット キャリブレーション メソッドを導入すると、一定のメリットが得られることがわかりました。マルチゴールレベルでは、従来の電子商取引と比較して、業界の特性に関連したより多くのゴ​​ールを追加します。たとえば、携帯電話業界では、各ユーザーが携帯電話を交換するまでに 2 ～ 3 年かかる場合があり、その結果、コンバージョン率が低くなります。同時に、携帯電話を買い替えたユーザーの再購入率も比較的低い。したがって、ユーザーの現在の電話機変更の意図を正確に把握するためには、レビューの閲覧、期間関連、商用保険関連の目標など、ユーザーの意図の発見を支援する他の目標を追加する必要があります。これらの目標を取得した後、近似ランキング式を使用して、複数の目標の積であるスコアを計算します。同時に、各目標は 3 つのハイパーパラメータ α、β、γ によって制約され、これらは現在、離散ハイパーパラメータ モデルを通じて学習されています。

目標の追加、マルチモーダル性の導入、ハイパーパラメータの最適化など、複数の反復を経て、元のモデルと比較してコンバージョン率 (CVR) が累計で 20% 以上向上しました。

3. 3番目の応用シナリオ:因果推論に基づく正確な人口

携帯電話業界における「正確な人口」の概念は、電子商取引プラットフォーム上の区分とは異なります。これは、携帯電話を購入する際のユーザーの行動に異なる特徴があるためです。たとえば、ユーザー A が現在のブランドの携帯電話を引き続き購入することを選択したとします。あるいは、別のブランドに切り替える可能性もあります。現行ブランドを購入したユーザーの場合、自分で電話機を使用する（保持）ことと、他の人に渡すことの 2 つの行動が考えられます。しかし、オンラインおよびオフラインのデータのプライバシーやセキュリティなどの問題により、携帯電話会社は購入や携帯電話の交換に関する部分的なデータしか取得できません。携帯電話業界の成長目標は、既存のデータを通じて携帯電話を購入して保持するユーザーを特定し、マーケティング活動を通じて製品の粘着性を高めることです。精密な群衆の背景シーンです。

したがって、アルゴリズム チームが群衆モデリングを実施する際には、精度と再現率という 2 つの指標に重点を置きます。通常、完全かつ正確なマーケティングデータを取得することは困難です。そのため、実際には、機能プロファイリングとユーザー分析に多くの時間を費やし、さまざまな方法を使用して実際の購入ユーザーを発見し、対応するモデルソリューションを重ね合わせて、最終的な正確な人口を取得します。

比較的正確な集団を取得するために、Look-Alike、PU 学習、グラフ学習などのさまざまな方法を使用します。

マーケティングでは、特定のグループをターゲットにするだけでは不十分です。マーケティングの 4 象限図の B、C、D 象限のグループに対してマーケティングを行っても、効果がほとんどなく、期待に応えられない可能性があるからです。私たちの主な目標は依然として集団 A をターゲットにすることなので、この問題は実際には因果推論の問題になります。

アルゴリズムレベルでは、因果推論は、特定の条件が満たされた場合の Uplift の計算と同等になります。このモデルには通常、次の 3 つのモデリングのアイデアがあります。

• 2 モデル: ベースライン グループとコントロール グループを個別にモデル化し、その 2 つを減算して結果を取得します。欠点は、2 つのモデルでエラーが蓄積されることです。
• シングルモデル: モデルエラーを解決するための推奨フィールドにおける多目的モデルを指します。
• Direct-Model: ITE を直接モデリングします。

一般化検索アルゴリズムの典型的な分野では、トレーニング データと予測データが独立しており、同一に分布していると仮定すると、良好な結果が継続的に生成されます。因果推論では、人は介入を受けるか受けないかのどちらかであるため、同じ環境でベースライングループとコントロールグループの結果を同時に観察することは不可能です。したがって、隆起モデリング問題を解決するには因果モデルが必要です。 Uplift をモデル化する場合、2 つの課題があります。

• ビジネス要件により、2 つのデータ セットの分布は異なります。
• 一般的に、企業はベンチマーク グループとして少数のユーザーのみを保持します。サンプル サイズが不均一であることも、モデルの構築を困難にします。

私たちはDESCNの論文のアイデアを試し、介入グループとコントロールグループの全サンプルを使用しました。この構造は、Single-Modelのアイデアの実装に相当します。この論文の主な革新性は、中間変数処理を学習するためのネットワークを導入し、メタ学習の考え方を採用したことです。

詳細な反復処理中に、特定のビジネス上の問題にも遭遇します。たとえば、t1 期間では、ビジネスは左右の群衆に介入する必要があります。しばらく経った t2 では、ビジネスは中央の群衆に介入する必要があります。t3 では、介入する群衆が再び変化しています。ビジネス人口の急激な変化というこの問題は、因果推論にとってより大きな課題をもたらします。

これが、私たちがこの問題をとらえる方法です。この問題は本質的には露出選択バイアスの問題であり、正確にモデル化するには露出バイアスを排除する必要があります。 EUEN（Explicit Uplift Effect Network）の論文方式を参照します。μt(X, 最終上昇) = μc(x, 対照群の転換率) + ω(X, 露出確率) · τe(X, 露出群の上昇)。サンプルが露出されているかどうかの補正に基づいて、ビジネス露出の選択バイアスによって引き起こされるモデルバイアスが軽減されます。

因果推論の反事実的性質のため、オンライン検証のコストは非常に高くなります。すべての最適化では、まずすべての詳細をオフラインで検証します。オフラインで正確性が保証されると、オンライン実験が実行されます。現在の増分実験では、元の教師ありモデルと比較して、増分 ROI が 11.3% 向上していることがわかります。

4. 4番目の応用シナリオ：精密広告マーケティング

データのプライバシーは携帯電話メーカーにとって極めて重要であり、すべてのデータは社内に保管され、漏洩は許可されません。そのため、マーケティング活動を行う際に、まず考慮するのはデータセキュリティです。オーディエンスパッケージに基づいてドメイン外や他の広告プラットフォームに広告を掲載するといった方法は機能しません。当社では、リアルタイム API (RTA) やリアルタイム入札 (RTB) などのより安全な方法を使用してトラフィックを獲得しています。 RTA と RTB に基づいて、さまざまなチャネルからのトラフィックを統合し、反復効率を向上させる社内マーケティング クラウド プラットフォームも構築しました。

RTAとRTBについて簡単に紹介します。 RTA は Real Time API の略で、特定のトラフィックを選択するかどうかを決定します。 RTB はリアルタイム入札の略で、入札に参加するかどうか、また特定のトラフィックに対してどのような価格で競争するかを決定します。

次に、精密広告マーケティングに関連する独自の技術をいくつか紹介します。

RTB チャネルの入札プロセスでは、モデルは主に入札成功率、クリックスルー率、コンバージョン率という 3 つの目標を考慮します。入札成功率とは、基本入札額でトラフィックを獲得できる確率を指します。この目標は、その後の価格調整戦略に使用されます。コンバージョン率とは、ユーザーがクリック後にコンバージョンする確率を指します。この目標は入札戦略の調整にも影響し、配信全体の投資収益率 (ROI) を大きく左右します。

モデルの全体的な構造は、ターゲットごとに個別の出力レイヤーを追加する点を除いて、マルチタスク マルチ出力 (MMOE) の構造と似ています。機能部分には主に長期機能、リアルタイム機能、マルチモーダル機能が含まれます。観察を通じて、チャネルのリアルタイム特性が ROI に大きな影響を与える一方で、マルチモーダル特性はコールド スタートの問題に非常に役立つことがわかりました。

RTB では、クリックスルー率 (CTR) の推定精度がトラフィック入札の投資収益率 (ROI) に大きな影響を与えることがわかりました。例えば、推定 CTR が実際の統計値よりも高い場合、獲得したトラフィックの価値は実際の値よりも高くなり、キャンペーンの ROI が低下します。また、推定 CTR が実際の統計値よりも低い場合、勝率が低下し、十分なトラフィックが得られず、予算を十分に活用できなくなります。

私たちの目標は、モデルの推定値と事後統計値が対応するレベルにあり、実際の状況を正確に予測できるようにすることです。通常、元のモデルと後続のモデルの間には一定のギャップがあり、これを調整する必要があります。私たちの現在のキャリブレーション戦略では、22 年前の公開論文に基づいて、特徴に敏感なツリー モデルのビニング戦略を使用しています。元のモデルと比較すると、CTR バケット キャリブレーション後のモデルの PCOC 値は約 44% 低下します。 PCOC は推定値と実際の値の間の偏差を反映します。 PCOC 値が減少すると、モデルの精度が向上し、対応する ROI も大幅に向上することを意味します。

以下は、配信時の入札戦略の紹介です。当社では、業界標準とは異なる RTB 方式を採用し、より多くの要素を考慮しています。最初は素材の基本入札額、次に素材の CTR スコアです。また、主にコンバージョン率、ユーザーが携帯電話を変更する可能性、携帯電話を変更したときに増分ユーザーになる可能性など、素材のトラフィックの価値も推定します。さらに、予算と ROI の制約も考慮します。同時に、入札勝率の要素も増加します。これらすべての要素が掛け合わされます。実際のアプリケーションでは、計算結果を並べ替えたり切り捨てたりする場合があります。

何度も繰り返し実験した結果、ROI に関するこれらの多要素の考慮により、ROI が約 25% 向上することがわかりました。

IV. 要約と展望

携帯電話業界で成長を達成するプロセスでは、いくつかの方法論が必要ですが、その中で最も重要なのは、ノーススター指標を決定すること、つまり成長を特定するための中核指標を定義することです。新しいマシンのアクティベーション、古いユーザーの維持、再購入率、ユーザーの離脱、介入の投資収益率 (ROI) などのマクロ指標を大まかに整理しました。これらのマクロ指標は製造業にとって特に重要であり、データ ビジネス ロジックに関するコンセンサスの構築に大きく役立ちます。 North Star 指標に加えて、特定のリンクに対して定量化可能な指標も設定しました。要約すると、主に以下の内容が含まれます。

1つ目は、成長の源泉となる新たな機械の洞察です。その背後にあるロジックを深く理解することで、ビジネスを大きく改善することができます。この部分には、主に競合製品のセールスポイント分析、同時に市場の社会的分析、マーケティングに適用できる戦略、最初の販売期間中のユーザーからのフィードバックなど、業界特性の分析が含まれます。

2 番目はマーケティングに敏感なグループです。精度、再現率、AUCC (コンバージョン率の平均上昇率)、AUUC (ユーザー コンバージョン率の平均上昇率) などのアルゴリズム指標に注目します。後者の 2 つの指標は因果推論に関連しています。

次に、お金を使うという観点から成長を見てみましょう。大きく分けて、無料の成長と有料の成長の2つに分けられます。自由成長に関しては、既存トラフィックの効率化による成長の実現に注力しています。クリックスルー率、勝率、コンバージョン率、カテゴリー回転率、増分ROIなど、注目する指標は数多くあります。これらのインジケーターは、現在のビジネス ニーズを満たすために反復が進むにつれて追加または削除される可能性があります。

有料成長に関しては、私たちは主に予算配分などの指標に焦点を当てています。予算配分は広告分野に限定されず、JD.com と自営店舗間の動的配分や、第 1 週の異なる時間帯での予算スケジュールなど、異なるチャネルやリソース パーティ間の動的スケジュール設定も含まれます。異なる期間やチャネルにリソースを割り当てることは、キャンペーンの ROI に大きな影響を与えるという結論に達しました。

5. 質疑応答

Q1: マルチターゲットとマルチ推定の部分でハイパーパラメータについて触れましたが、ハイパーパラメータの設定方法は企業によって異なります。例えば、CNN を使用する企業もあれば、実験的な方法で決定する企業もあります。ハイパーパラメータはどのように学習して取得するのでしょうか。

A1: 私たちも多くの方法を試しました。例えば、最初は経験的なパラメータに基づいていましたが、後にシナリオの数が増えるにつれてうまくいかないことがわかりました。手動設定は非効率的で非科学的でした。現在は主にPSO法を使用しています。もちろん、強化学習のアイデアも模索していますが、強化学習には収束と大量のデータに対する高い要件があることもわかりました。インテリジェント成長の分野では、データ量が大きな欠点です。インターネット業界のAPPのように豊富なログデータを持つことはできません。これは、PSOなどのモデルを使用してオフライン指標を出力することしかできないことも意味します。

Q2: マルチターゲット推定部分に関して、モデルターゲットを追加した後、オンラインでどのような適応を行う必要がありますか？何か経験やヒントはありますか?ソート時に目標が多数ある場合があり、目標が追加されるごとにさまざまな問題が発生する可能性があるためです。

A2: それは良い質問ですね。もちろん、ビジネス シナリオが異なれば、詳細の調整も異なります。たとえば、私たちの業界では、候補セットが比較的少ないため、リコールに関連する作業はほとんど行われません。しかし、候補セットが大きい場合は、リコールや大まかなソートなど、調整する必要があることがたくさんあります。しかし、私たちの業界では、主な調整は、たとえば、ターゲットを追加した後、最初にオフライン検証を行って、元のターゲットが影響を受けるかどうかを確認することです。たとえば、推定偏差は人口の分布によって影響を受けるでしょうか?オフラインで問題がないことを確認した後、主に調整するオンライン部分は、まずターゲットを追加した後の融合式、次に再配置に関する調整です。もちろん、アプリケーション シナリオも考慮する必要があります。このマルチターゲットが広告シナリオにある場合、他の指標についてより懸念することがあります。たとえば、RTB を例にとると、入札勝率に関連する実験を観察する必要があり、この適応も行う必要があります。

Q3: マーケティングゲインの例では、機能の分布がサイクル全体を通じて大きく変化することがわかった場合はどうすればよいでしょうか?

A3: マーケティングの時点で、モデルの好みなど、機能の分布が非常に大きいことがわかりました。携帯電話業界では、今年はハイエンドモデルをターゲットにすることもあれば、ローエンドモデルをターゲットにすることもあれば、女性市場に重点を置くこともあります。そのため、私たちは露出バイアスに関しても業界の多くの先進的な経験を参考にしています。たとえば、露出選択では、PSM に基づいて一部のサンプルをフィルタリングし、同じモデルで受信したサンプルが可能な限り同じ分布から取得されるように努めています。これらの調整を行った後でも、機能分布の違いに関するいくつかの問題に直面することになります。これは、一部のコア機能分布の違いの問題しか解決できず、解決できないマイナーな機能が常に存在するためです。

なぜなら、私たちのシナリオでは、携帯電話の販売量が 1 日あたり数千の使用可能なサンプルにのみ配分されるという大きな問題に直面するからです。サンプル サイズは大きな調整が必要であり、この制限のために多くの方法を使用する必要があります。

Q4: 因果推論に関しては、コントロール モデルとトリートメント モデル、およびアップリフト モデルについて説明しました。モデリングのこの部分では、A/B テスト データまたは直接観察されたデータのどちらが使用されますか?

A4: モデルで使用されるサンプルは、介入グループとコントロールグループを含む完全なサンプルです。次に、モデルを使用してユーザーが介入される確率を学習し、上昇率を計算します。

Q5: 介入実験は実際に存在するのですか?モデルは介入実験を通じてデータを収集することでトレーニングされますか?

A5: はい、この実験では、コントロール グループが常に存在し、残りはさまざまなグループの人々に介入してデータを取得します。

Q6：露出バイアスは、バイアスを盲目的に修正した場合、この問題を考慮していない場合があります。

A5：それは良い質問です。特に、サンプルを削除してフィルタリングするためにサンプルを選択する場合、私たちは非常に慎重です。まず第一に、私たちの原則は、サンプルを可能な限り使用することです。これに基づいて、たとえば、いくつかの特定の指標を検討して、多くの実験を行い、オフラインの条件でAUUCインジケーターを同時に見て、インジケーションを個別に分解し、特定の技術を実際に採用する必要があるかどうかを確認します。