Ctrip列車チケットSMSリコールアルゴリズムの最適化の実践

著者について

Ctrip アルゴリズムの専門家であるライアンは、パーソナライズされた推奨事項、スマート マーケティングなどの分野に重点を置いています。

Ctrip のアルゴリズム エンジニアである Xiaobai は、インテリジェント マーケティングやユーザー増加などの分野を研究しています。

1. 背景

現在、インターネットの急速な発展により、トラフィックこそが王様です。しかし、トラフィック配当が徐々に消え、顧客獲得コストが上昇し続けるにつれて、ユーザー維持は大手インターネット企業にとって重要な関心事となっています。その中でも、今日のトラフィック市場のレッドオーシャンでは、失われたユーザーの呼び戻しが特に重要です。このため、ビッグデータと機械学習に基づくインテリジェントマーケティングテクノロジーが登場しました。

Ctripの鉄道チケット事業では、毎週SMSマーケティング活動を行っており、最近注文していない古い顧客にSMSを送信して思い出させ、リピート購入を促進し、ユーザーの粘着性を向上させることを目指しています（ビジネスプロセスを図1に示します）。元のビジネス戦略は、ルールベースの方法に基づいて、SMS配信の条件を満たすユーザープールの一部をランダムに選択することでした。この方法は範囲が広すぎる、思い出し効果が低い、SMS送信のROIが低いという問題を解決するために、レスポンスモデルに基づくコンバージョン率予測モデルとアップリフトモデルに基づくSMS感度予測モデルを段階的に提案し、より科学的な方法で問題を1つずつ定義、分解、最適化しました。

図1 Ctrip列車チケットSMSリコールビジネスプロセス図

2. 問題の定義

上記の SMS リコール事業において対処すべき中核的な課題は、以下のようにまとめることができます。

定義: 条件を満たす古い顧客のプール (ユーザー規模が N であると仮定) で、戦略またはモデルを通じて K 人のユーザーを選択し (SMS コストの制約下で、K は通常 N より小さい)、これらのユーザーに SMS を送信して、全体的なコンバージョン率と SMS 送信 ROI を向上させます。

3. 解決策

3.1 レスポンスモデルに基づくコンバージョン率予測モデル

上記の問題を解決するために、ビジネスポリシーに基づく SMS 送信履歴レコードしかない場合、まずレスポンスモデルに基づいてコンバージョン率予測モデルを構築し、ユーザーが SMS マーケティングの影響を受けて注文する確率を予測し、注文する確率の高いユーザーを選択して SMS 配信を試みます。この方法は、次のように正式に説明できます。

V1

目的: N 人のユーザーの中から、SMS 配信後に注文を行う可能性が最も高い K 人のユーザーを見つけます。

方法: 過去の SMS 送信記録に基づいて、SMS 露出後のユーザーのコンバージョン率推定モデルを構築し (サンプル サイズと連続機能の割合が高いことを考慮して、XGBoost を使用)、対象ユーザー グループにスコアを付け、注文する可能性が最も高い上位 K 人のユーザーを選択します (ラベル定義: SMS 送信後、ユーザーが注文した場合は正のサンプル、注文しなかった場合は負のサンプル)。

実験計画: 図 2 に示すように、まず N 人のユーザーがランダムに 2 つのグループ A と B に分けられます。

a. 制御グループ: グループ A から K/2 人のユーザーをランダムに選択し、SMS メッセージを受信します。

b. 実験グループ: グループ B では、コンバージョン率予測モデルを使用してスコアを予測し、スコアの高い順に上位 K/2 ユーザーが選別されます。

評価指標: オフライン: AUC、TopK リコール率、オンライン: ユーザーコンバージョン率、SMS 送信 ROI。

図2 v1実験プロトコルフローチャート

実験後、実験グループは対照グループと比較して上記の評価指標で大幅な改善を達成しました。しかし、慎重に分析した結果、2 つの明らかな問題が見つかりました。

a. 不合理な評価指標: ランダムに選択されたユーザーと比較して、コンバージョン率予測モデルによって選択されたユーザーは、注文を行う確率に自然な偏りがあります。

b. 実験計画は不合理です。自然なユーザー想起要因（マーケティング活動の有無にかかわらず注文する人もいる）の影響を排除できず、SMS マーケティングの増分利益を定量化して評価できません。

V2

上記2つの問題に対応して、実験スキームと評価指標を改善しました。

目的: ソリューション v1 で見つかった K 人のユーザーが、SMS 配信後に注文数と収益の増加率が高くなるかどうかを確認します。

方法: v1 と同じように、コンバージョン率予測モデルを構築します。

実験計画: 図 3 に示すように、N 人のユーザーがランダムに 2 つのグループ A と B に分けられます。

a. 制御グループ: グループ A はランダムに A1 と A2 に分けられます。A1 と A2 からそれぞれ K/2 人のユーザーがランダムに選択されます。前者には SMS が送信され、後者には SMS が送信されません。

b. 実験グループ: グループ B はランダムに B1 と B2 に分けられます。最高スコアの上位 K/2 ユーザーは、コンバージョン率推定モデルによってそれぞれ B1 と B2 から選別されます。前者には SMS メッセージが送信されますが、後者には送信されません。

評価指標: オフライン: Qini スコア、AUUC。オンライン: SMS 配信人口と非 SMS 配信人口を比較した SMS 配信人口の増分コンバージョン率、および SMS 送信の増分 ROI。

この方法の実験計画と評価指標はより科学的で合理的ですが、コンバージョン率予測モデルの最適化目標と評価指標の最適化方向が一致していないため、モデルはSMS配信の増分利益を予測できません（自然なコンバージョン要因の影響を考慮せずに）。したがって、最適化目標に基づいて、ビジネスシナリオのニーズをよりよく満たすモデルをさらに構築する必要があります。

3.2 アップリフトモデルに基づくSMS感度推定モデル

上記のビジネス シナリオにおける応答モデルに存在する問題を解決し、SMS 配信によってもたらされる増分メリットを向上させるために、アップリフト モデルに基づく SMS 感度推定モデルをさらに構築しました。

アップリフト モデルは、業界で最も成熟したアルゴリズムの 1 つで、因果推論と機械学習を組み合わせたものです。インテリジェント マーケティングやユーザー成長の分野で広く使用されています。まずは、アップリフト モデルの説明に使用される、より古典的なマーケティング人口セグメンテーション図を紹介します。

図4: マーケティング人口の4象限分割

図中の 4 つのグループについては、次のように説明されます。

a. マーケティングに敏感なグループ: マーケティング活動 (テキスト メッセージ、クーポンなど) に感動すれば購入しますが、感動しなければ購入しません。

b. 自然コンバージョングループ: マーケティング活動を通じてリーチしたかどうかに関係なく購入する人々。

c. 無関心な人々: マーケティング活動によってアプローチできるかどうかに関係なく、購入することはありません。

d. マーケティングを嫌う人々: マーケティング活動によってリーチされなければ購入しますが、リーチされても購入しません。

言うまでもなく、インテリジェント マーケティングの目標は、図 4 に示すように、マーケティングに敏感なグループをできるだけ多く見つけ、マーケティング活動の増分利益を最大化することです。アップリフト モデルはこの目的のために作成されました。

アップリフトモデルは、特定の介入因子（治療、以下T）が個別の治療効果（個別の治療効果、以下ITE）に与える影響を推定するために使用されるモデルの一種です。上記のビジネス シナリオでは、T = 0 はテキスト メッセージを送信しないことを表し (対応するグループはグループ T と呼ばれます)、T = 1 はテキスト メッセージを送信することを表し (対応するグループはグループ C と呼ばれます)、X はユーザー特性を表し、Y は出力予測値を表し、P は変換確率を表し、ITE は変換確率の増分変化を表し、正式には次のように表すことができます。

ITE=P(Y|X=x,T=1)-P(Y|X=x,T=0) (1)

一般的に使用されるアップリフトモデルには、メタ学習者（S-learner、T-learner、X-learnerなど[1]）、ツリーベース学習者（アップリフトツリー[2]、Causal Forest[3]など）、Dnnベース学習者（TARNet[4]、CEVAE[5]など）があります。これらのうち、Causal Forestは主にアップリフトツリーに基づいており、アンサンブル学習にランダムフォレストを使用します。業界でより一般的なアプローチは、一般化ランダムフォレスト（GRF [6]）を使用することです。

上記3種類のアップリフトモデルの特徴をまとめると次のようになります。

表1 アップリフトモデルの特徴の概要

アップリフト モデルを通じて、ユーザーに対する SMS マーケティングの増分メリットを推定できます。増分メリットの定量的なランキングに従って、図 4 に示すように、マーケティングに敏感な集団を選別できます。実験計画は、図 3 に示すプロセスに従います。アップリフト モデルにはトレーニング サンプルに対する高い要件があり、CIA (条件付き独立性仮定) に従う必要があることに注意してください。X と T を互いに独立に保つことで、この条件を満たすことができます。このため、実験の実施中は、ランダム化された A/B 実験用にトラフィックの一部を予約します。実験グループは、テキスト メッセージを送信するユーザーをランダムに選択し、コントロール グループは、テキスト メッセージを送信しないユーザーをランダムに選択します。この実験により、アップリフト モデル モデリング用の偏りのないサンプルを提供できます。

4. 実験結果

図 3 に示す実験計画に従って、段階的に 2 つの実験を実施しました。最初の実験は、レスポンス モデルに基づくコンバージョン率予測モデルが SMS マーケティングに増分的なメリットをもたらすかどうかを検証することでした。オンライン効果は表 2 に示されています。私たちのビジネス シナリオでは、SMS マーケティングは、ランダムに選択された人々よりも、コンバージョン率の高い人々に実際に強いプラスの影響を与えていることがわかります。そのため、これは比較的成功した試みであると考えられます。

表2 オンライン実験結果: レスポンスモデルとランダムモデルの比較

レスポンスモデルに基づくコンバージョン率予測モデルは、オンライン実験を通じて検証されています。ビジネス指標は大幅に改善されましたが、この記事のSMSマーケティングの増分メリットの分析に基づいて、実験評価の第2フェーズを継続することにしました。オフラインモデリングの結果を表3に示します。

写真

表3 オフライン評価結果: アップリフトモデルとレスポンスモデル

表3は、主にメタ学習器に基づいて構築されたアップリフトモデルとレスポンスモデルを比較して、オフライン指標の改善を評価しています。この実験では、レスポンスモデルに基づくコンバージョン率予測モデルをコントロールバージョンとして使用し、アップリフトモデルに基づくSMS感度予測モデルを実験バージョンとして使用しています。アップリフトモデルは、オフライン評価効果が比較的良好なT学習器です。オンライン効果は表4に示されています。

写真

表4 オンライン実験結果: アップリフトモデルとレスポンスモデル

表 4 からわかるように、アップリフト モデルのオンライン パフォーマンスはオフライン パフォーマンスと一致しており、レスポンス モデルと比較してビジネス指標が大幅に改善されています。これは、アップリフト モデルが SMS マーケティングの増分メリットの向上に適しており、SMS マーケティングに敏感なより多くのユーザーを獲得するのに役立つことも証明しています。

5. 探索分析

上記の 2 つのフェーズの実験を実施した後、私たちはビジネス シナリオにおける Uplift モデルの適用可能性を継続的に調査し、現在のビジネスで実験の反復を継続する必要性を評価しました。

評価・比較には、Meta-Learnerに加えて、GRFに代表されるTree-based learnerとTARNetに代表されるDnn-based learnerも選択した。同時に、S-learnerのTはモデル学習プロセスで特徴として追加され、多くのユーザー特徴によって希釈される可能性があることを考慮し、PCAを使用してユーザー特徴の次元を削減し、TをS-learnerで学習・評価するための特徴として使用した（表5のPCA+S-learner）。表のテストセットv1では、表3と一致するテストセットを引き続き使用している。

各モデルのオフライン評価結果は次のとおりです。

写真

表5 Uplift Modelオフライン指標評価結果（テストセットv1）

図5 Uplift Modelオフライン評価結果 - Qini曲線（テストセットv1）

アップリフト モデルの増分メリットをより明確に確認するために、図 5 に示すように、Qini 曲線もプロットしました (図の横軸は ITE 推定値でソートされたサンプルの割合を表し、縦軸は対応する母集団の実際のコンバージョン増加を表します。曲線の下の領域が大きいほど、モデルの効果は高くなります)。

表5と図5からわかるように、TARNet、GRF、PCA+S-learnerはいずれも良好なパフォーマンスを示しています。ただし、これらのモデルは全体的なデータ分布の影響を受けやすいため、各モデルの一般化能力を評価するために、後に流行の影響を受けたオンラインテストデータセットv2を追加で選択しました。オフライン評価の結果を表6と図6に示します。

表6 Uplift Modelオフライン指標評価結果（テストセットv2）

図6 Uplift Model オフライン評価結果 - Qini 曲線 (テスト セット v2)

表6と図6から、PCA + S-learner、GRF、TARNetなどのモデルはすべて、データ分布の変化の影響を受けやすいことがわかります。これらのモデルは、モデル構造をさらに最適化し、一般化能力を向上させて、データ分布の変化に適応する堅牢性を高める必要があります。これは、私たちのその後の探求の方向の1つでもあります。その中でも、T-learnerは比較的安定して動作し、データ分布の変化に適応する能力が強く、現在のビジネスシナリオに適しています。

VI. 要約と展望

Ctrip の列車チケット SMS リコール ビジネスは、典型的なインテリジェント マーケティング シナリオです。SMS リコール アルゴリズムの最適化プロセスと結論は、次のように要約されます。

a. インテリジェントマーケティングのシナリオでは、介入要因の増分効果を直接推定するアップリフトモデルの方が、従来のレスポンスモデルよりも適しています。

b. スマート マーケティング シナリオでは、介入要因の増分効果を検証するための科学的かつ合理的な実験計画の設計が必要です。アップリフト モデルのトレーニングと評価に偏りのないサンプルを提供するために、ランダム化実験用にトラフィックの一部を予約しておくのが最適です。

c. アップリフトモデルを実装する方法は多数あります（メタ学習者、ツリーベース学習者、Dnnベース学習者など）。その中でも、T学習者は比較的安定しており、当社のビジネスシナリオに適用できますが、他のシナリオには適用できない可能性があります。実際の状況に応じて分析および評価する必要があります。

d. 継続的かつ複数の介入要因への対処、一般化機能を向上させるためのモデル構造の最適化、多目的クロスドメイン共同モデリングの解決など、アップリフトモデルの調査をさらに深める必要があります。