美団の店舗ビジネスにおける異種広告混合配置の探求と実践

著者 | 屈譚旭洋他

LBS (位置情報サービス) の距離制約により、候補数が少ないと店内広告ランキングシステム全体の潜在的なスペースが制限されます。この記事では、候補タイプの観点から候補拡張を紹介し、高性能異種混合スケジューリングネットワークを通じてパフォーマンスの課題に対処し、ローカルライフシナリオランキングシステムの潜在的な上限を改善します。関連分野で働く学生たちにインスピレーションを与えることができれば幸いです。

1 背景と概要

1.1 背景

美団の店内広告は、美団の検索トラフィックの商業的収益化を担っており、店内飲食、家族向けレジャー・娯楽、美容・医療、ホテル・旅行など、多くの地域生活サービス事業に貢献しています。品質推定チームは、広告システムにおけるCTR/CVRや平均注文額/取引額などの品質スコアの推定を担当しています。過去数年間、位置コンテキストモデリング[1]や時空間超長シーケンスモデリング[2][3]などの革新的な技術を通じて、CTR推定のユーザーとコンテキストの側面でいくつかのブレークスルーを達成しました。これらのブレークスルーは論文にまとめられ、SIGIR、ICDE、CIKMなどの国際会議で発表されています。しかし、上記の論文はモデルの精度に焦点を当てており、モデルの精度と広告候補が共同でランキングシステムの品質を決定します。しかし、広告候補の観点から見ると、従来の電子商取引の候補セットと比較すると、美団検索広告はLBS（位置情報サービス）の制限により、一部のカテゴリで店舗候補が少なく、候補が少ないことでランキングシステム全体の潜在的なスペースが著しく制限されます。従来の候補者数増加方法では効果が得られない場合、地域生活シナリオランキングシステムの潜在的な上限を高めるために、広告候補者の拡大と最適化を検討します。

1.2 シナリオの紹介

単一の店舗広告だけでは、商品やサービスを見つけたいというユーザーのきめ細かな要求を満たすのに十分ではありません。商品広告を店舗広告の補足候補として利用し、両者が競合してディスプレイ広告のスタイルを決定するシナリオもあれば、商品広告を店舗広告と組み合わせて吊り下げ形式でディスプレイするシナリオもあります。さまざまな形態の異種広告表示スタイルは、店舗内広告テクノロジーチームにチャンスと課題をもたらしました。私たちは、ビジネスシナリオの特性に基づいて、ターゲットを絞った方法で異種広告の混合最適化を実行しました。以下の記事では、MeituanのウェディングチャンネルページとMeituanのホームページ検索を例に、競争型異種広告と組み合わせ型異種広告という2種類の典型的な異種混合広告を紹介します。

競合関係にある異種広告: 店舗広告と商品広告の 2 種類の広告が競合し、混合されます。混合モデルでは、pCTR を比較して広告表示の種類を決定します。下の図1に示すように、左列の1位は勝った店舗タイプの広告で、表示される内容は店舗の写真、店舗名、店舗の星評価数です。右列の1位は勝った商品タイプの広告で、表示される内容は商品の写真、商品名、対応する店舗です。広告システムは広告の順序と表示タイプを決定します。商品タイプの広告が勝った場合、システムは表示する特定の商品を決定します。

図1 ウェディングチャンネルページにおける競合異種広告シナリオ

組み合わせ関係にある異種広告：店舗広告とその商品広告が、一覧ソート用の表示単位（青枠）に組み合わされています。商品は店舗に属しており、2種類の異種広告の組み合わせが混在して表示されます。下の図 2 に示すように、店舗広告には店舗のヘッダー画像、タイトル、価格などの情報が表示され、2 つの商品広告には商品の価格、タイトル、販売量などの情報が表示されます。広告システムは、ディスプレイユニットの配置順序を決定し、店舗の製品コレクションから表示する上位 2 つの製品を決定します。

図2 ホームページ検索シナリオにおける異種広告の組み合わせ関係

1.3 課題と解決策

図3 広告候補者数の推移の模式図

現在、オンライン検索広告モデルはDNN（ディープニューラルネットワーク）[4-6]に基づく店舗粒度ランキングモデルである。店舗候補の数は限られており（約150）、商品などのより直接的で重要な意思決定情報が欠けている。そのため、店舗の候補補足として商品広告を活用し、店舗と店舗下の複数の商品を混在させることで候補スペースを開拓します。候補数は1500以上に達することもあります。さらに、広告コンテキストの影響を考慮し、スコアリング候補をさらに拡大してランキングの上限を向上させるため、店舗粒度を異種広告組み合わせ粒度のソートにアップグレードし、これを基に生成型広告組み合わせ推定システムを構築しました。候補の上限は1500Xに達しました（オンラインパフォーマンスを考慮し、最終的に1500Xを選択しました）。調査プロセス中に、次の 3 つの大きな課題に遭遇しました。

製品レベルの見積パフォーマンスのプレッシャー: 製品レベルにまで落ち込むと、候補数が少なくとも 10 倍に増加し、オンライン見積サービスの時間消費が耐えられないほど増加します。
組み合わせ間の関係をモデル化する難しさ: 店舗内の同じ製品の組み合わせ間のコンテキスト関係は、Pointwise-Loss モデルを使用して記述するのが困難です。
製品広告のコールドスタート問題: モデル選択後に公開された候補のみを使用すると、マシュー効果が簡単に発生する可能性があります。

上記の課題に対応するため、技術チームは慎重な検討と実践を経て、以下のターゲットを絞った最適化を実施しました。

高性能異種混合スケジューリングシステム：バイアスネットワークを通じて店舗情報転送学習を実行し、高性能な製品粒度推定を実現します。
生成型広告組み合わせ推定システム: 製品推定プロセスをリスト組み合わせ推定にアップグレードし、製品コンテキスト情報をモデル化するためのコンテキスト結合モデルを提案します。
異種広告コールドスタート最適化: Thomson サンプリングアルゴリズムに基づいて E&E (Exploit&Explore) 最適化を実行し、ユーザーの興味を深く探ります。

現在、高性能な異種混合生成広告組み合わせ推定は、複数の広告シナリオで実装されており、さまざまなシナリオやビジネスに応じて、広告収益を測定する千広告表示あたりの収益（RPM）指標は4％から15％増加しています。異種広告のコールドスタート最適化は各ビジネスで有効になり、精度を低下させることなくトラフィックに 10% のランダム性を与えます。以下では、当社の具体的な取り組みについて詳しく紹介します。

2 技術の探求と実践

2.1 高性能異種混合スケジューリングシステム

スコアリングの粒度が店舗から製品に移されると、ランキング候補の数は 150 から 1,500 以上に増加します。これによりランキングの可能性は向上しますが、店舗モデルを使用して製品を直接推定すると、オンライン時間が耐えられないほど増加します。分析の結果、店舗内のすべての商品は基本的な店舗特性を共有しており、これがネットワーク計算の 80% 以上を占めていることがわかりました。ただし、複数の商品の場合は 1 つの計算のみが必要であり、商品に固有で個別に計算する必要がある商品特性はネットワーク計算の 20% しか占めていません。この特徴に基づいて、我々は複合推定法[7]を参照して異種混合スケジューリングネットワークを実装する。メインネットワークの高複雑度のストア表現は、共通表現の転移学習を通じて再利用され、製品推定を実行するときにストアネットワークの繰り返し計算を回避します。下の図4に示すように、ネットワーク全体は店舗ネットワークと商品ネットワークに分かれています。オフライントレーニングフェーズでは、ストアネットワーク（メインネットワーク）はストア機能を入力として受け取り、ストア出力層を取得し、ストア損失を計算し、ストアネットワークを更新します。製品ネットワーク（バイアスネットワーク）は製品機能を入力として受け取り、製品出力層を取得し、ストアネットワークの出力層のストアベクトルとのCONCAT演算を実行し、最終的な製品損失を計算し、同時にストアネットワークと製品ネットワークを更新します。オンライン推定時に店舗ネットワーク出力層を再利用するために、製品をリスト形式でモデルに入力し、スコアリングサービスを 1 回要求して、1 (店舗) + n (製品) の推定値を取得します。さらに、店舗内の商品数の変動の問題に対応するため、動的寸法変換により寸法の整合を確保します。ネットワークサイズを維持しながらパケットサイズが 10 倍に増加しましたが、要求時間はわずか 1% しか増加しませんでした。図4 異種混合スケジューリングネットワーク構造図異種混合スケジューリングネットワークを通じて、パフォーマンス制約の下で店舗と各製品の推定値を取得します。ただし、広告エクスポートでは、請求とソートの単位として店舗がまだ使用されているため、さまざまなビジネスシナリオの特性に応じて推定値を適用する必要があります。説明の便宜上、以下では店舗の推定値を「Pstore」、i 番目の商品の推定値を「Pproduct_i」で表します。チャンネルページで競合の異なる広告をフィルタリングする

フィルターチャネルページには、ストアと商品の 2 つの表示タイプが競合しており、最終的に勝利した広告タイプが表示されます。トレーニングフェーズでは、各露出はサンプルであり、サンプルは製品と店舗のタイプの 1 つです。ストアサンプルはストアネットワークのみを更新しますが、製品サンプルはストアネットワークと製品ネットワークの両方を更新します。
推定段階では、店舗と商品のクリック確率は相互に排他的です。Max 演算子を使用します。Max(Pstore, Pproduct_1,...,Pproduct_n) により、店舗が勝った場合は店舗情報が表示され、店舗の推定値が下流の課金ソートに使用されます。商品が勝った場合は商品情報が表示され、商品の推定値が下流で使用されます。

ホームページ検索における異種広告の組合せ関係

ホームページ検索のソートリストページの各表示単位は、店舗と 2 つの商品で構成され、メカニズムモジュールはこの表示単位に対して課金とソートを実行します。トレーニングフェーズでは、各露出は複数のサンプル (1 つの店舗サンプルと複数の製品サンプル) で構成されます。ストアサンプルはストアネットワークのみを更新しますが、製品サンプルはストアネットワークと製品ネットワークの両方を更新します。
見積段階では、ユーザーが [More Offers] をクリックする前に、デフォルトで上位 2 つの商品が表示されるため、見積額が最も高い上位 2 つの商品を表示商品として選択し、残りの商品を見積額順に並べ替えることができます。 pCTR(store|product1|product2)を推定する必要があります。数学的な観点から、ストアまたは製品 1 または製品 2 がクリックされる確率を推定しているので、確率加算ルール演算子を使用します: pCTR(store|product1|product2) = 1 - (1-Pstore) * (1-Pproduct_1) * (1-Pproduct_2)。そのため、店舗と商品の推定値を取得した後、まずは推定値に従って商品を並び替えて商品の陳列順位を取得し、上位2つの商品推定値と店舗推定値を選択して確率加算計算を行い、店舗並び替えや課金のための陳列単位の推定値を取得する必要があります。

システムの全体的なアーキテクチャは似ていますが、使用シナリオが異なるためサンプル生成方法が異なり、モデルによって最終的に出力される P 製品には異なる物理的な意味があります。競合関係広告では、P 製品は店舗の横に並ぶ別のタイプのディスプレイとして機能しますが、複合関係広告では、P 製品は店舗広告に表示される情報を補完するため、推定値の適用方法も異なります。最後に、高性能な異種混合スケジューリングシステムを複数の広告シナリオに実装しました。ビジネスシナリオに応じて、RPM は 2% から 15% 向上しました。

2.2 生成型広告ポートフォリオ推定システム

商品リストでは、商品のクリック率は商品自体の品質だけでなく、その上下に表示される商品によっても影響を受けます。たとえば、アイテムのコンテキスト品質が高い場合、ユーザーはアイテムのコンテキストをクリックする傾向が高くなりますが、アイテムのコンテキスト品質が低い場合、ユーザーはアイテムをクリックする傾向が高くなります。この決定の差はトレーニングデータに蓄積され、コンテキストバイアスが形成されます。トレーニングデータ内のコンテキストバイアスを排除することは、ユーザーの意図をより適切に位置付け、広告システムのエコロジーを維持することにつながります。そのため、リストソート[8-9]のアイデアを参考にして、生成的な製品ソートシステムを構築し、製品のコンテキスト情報をモデル化します。製品リストの完全な順列を推定することでコンテキスト信号を取得できますが、完全な順列のスコアは非常に大きくなります (10 個の製品候補の完全な順列のスコアは 10!=21,772,800 です)。時間の消費が許す限りコンテキスト信号を取得するために、完全な順列結果を整理する二次推定アプローチを使用します。最初の推定では、ベースモデルがスコアリングに使用され、上位 N 個の製品のみがランク付けされます。2 番目の推定では、コンテキストモデルを使用して、ランク付けされたすべての結果がスコアリングされます。順列の数を 10! から N! に減らします (オンラインでは、N を 3 として選択します)。しかし、二次推定を行うと、サービスに耐えられないほどの RPC 時間消費が発生します。パフォーマンス制約下でオンラインにするために、TensorFlow 内に二次推定モジュールを実装しました。下の図 5 に示すように、最終的にプルーニングに基づく高性能な複合推定システムを実装し、全体的な時間消費はベースラインと同じになりました。図 5 プルーニングに基づく高性能な組み合わせ予測システムプルーニングと TF 演算子により、あらゆる製品入力がそのコンテキスト信号を認識できるようになります。コンテキスト情報をモデル化するために、Transformer に基づくコンテキスト適応型モデルを提案します。モデル構造を図6に示します。

まず、店舗特徴と商品特徴を埋め込み層に渡して店舗埋め込みと商品埋め込みを取得し、次にそれらをフルリンク層に渡してランクフリー商品ベクトルとランクフリー推定値を取得します。
ランク付けされていない製品ベクトルは製品ランク信号と連結され、製品のコンテキスト情報はTransformerを介してモデル化され、コンテキスト情報を含む製品Embが得られます。
コンテキスト情報を含む製品Embはランキング信号と再度連結され、DNN非線形クロスオーバーを通じて、コンテキスト情報とランキング情報を含む最終出力製品推定値が得られます。製品間の交差を強化することで、製品コンテキストのモデリングの目的が達成され、最終的な生成広告の組み合わせにより、ホームページ検索で RPM+2% の向上が達成されると推定されました。

図6 次のテキストの組み合わせ予測モデル

2.3 異種広告コールドスタート最適化

マシュー効果を回避するために、ユーザーの新たな興味を積極的に探り、新しい製品を推奨して、潜在的に高品質な製品を発見します。モデルがオンラインになる前に、ランダム表示を使用して、ユーザーが興味を持っている製品を発見します。しかし、ユーザーへの表示機会は限られています。ユーザーが過去に好んでいた商品を表示したり、ユーザーの新たな興味を探索したりすると、貴重な表示機会が奪われてしまいます。また、完全にランダムに表示すると、CTR/PRSなどの効果が大幅に低下するため、「探索と活用」の問題をより合理的な方法で解決することを検討しています。

従来のランダム表示E&Eアルゴリズムと比較して、我々はトンプソンサンプリング[10]に基づく探索アルゴリズムを採用しており、これは精度の低下を合理的に制御し、部分的なトラフィックの探索バケット化によって引き起こされるバイアスの問題を回避できる。トンプソンサンプリングは、古典的なヒューリスティック E&E アルゴリズムです。基本的な考え方は、過去のインプレッション (HI) が多い製品にはランダム性を低くし、過去のインプレッションが少ない製品にはランダム性を高くするというものです。具体的なアプローチは、製品の推定値 (pCTR) をベータ (a,b) 分布に従わせることです。

ここで、p は pCTR を独立変数とする関数であり、n は EI を独立変数とする関数です。経験に基づいて、最終的に使用する関数は次のとおりです。

2 つのパラメータ hyperP と hyperN を調整することで、最終的なプレゼンテーション結果のランダム性を制御します。下の図 7 に示すように、action1 は action2 よりも平均が高く、action3 は他の 2 つの分布よりもランダム性が強くなります。ランダム性が高くなると、精度が低下する可能性があります。フルバージョンのハイパーパラメータは、オフラインパラメータシミュレーションを通じて決定します。最終モデルでは、表示される製品に 10% のランダム性がありますが、精度と効果は低下しません。

図7 異なるパラメータにおけるベータ分布の分布

2.4 ビジネス実務

異種混合配置と広告の組み合わせ推定により、LBS 制限下で店舗候補が少ないという問題を効果的に解決します。上記で紹介した異種広告の代表的な2つのタイプ、競争関係異種広告と組み合わせ関係異種広告については、表示スタイルや業務特性を踏まえて対応する技術探索を実施し、一定の成果を上げています。下の図8に示すように:

図8: 異種広告混合レイアウト技術のビジネス実践

3 結論

この記事では、Meituan の店内検索広告事業における異種広告混合の調査と実践を紹介します。高性能な異種混合ネットワークを使用してパフォーマンスの課題に対処し、ビジネス特性に基づいて異種推定を適用します。広告のコンテキスト情報をモデル化するために、製品推定プロセスを単一点推定から複合推定モードにアップグレードし、製品ランキングとコンテキスト情報をモデル化するコンテキスト複合推定モデルを提案しました。次に、トンプソンアルゴリズムに基づくE＆E戦略を通じて製品コールドスタート問題を最適化し、複数のシナリオで一定の結果を達成しました。最近、ますます多くのビジネスシナリオでディスプレイスタイルのアップグレードが開始されています。たとえば、食品カテゴリは店舗から料理広告に調整され、ホテルカテゴリは店舗から客室ディスプレイに調整されています。この記事で説明したソリューションとテクノロジも徐々に推進され、実装されています。特筆すべきは、店舗を主な広告主とする美団と比べ、同業界の広告主は主に商品とコンテンツであることだ。本稿で述べた共有表現移行と生成的組み合わせ推定の技術は、商品と創造性の組み合わせにも応用でき、候補規模をさらに拡大することができる。異種広告混合スケジューリングプロジェクトは、ビジネスの観点から元の反復フレームワークを打破する重要な試みでもあります。このプロジェクトにより、技術的な手段を通じてビジネス上の問題を解決し、ビジネスを理解することで技術の進歩を推測できることを願っています。さらに、広告候補問題に関してもさらなる調査を実施し、新たな突破口を見つけ、より完全なネットワーク構造をさらに設計し、ランキングシステムの潜在的空間を継続的に解放していきます。

4 参考文献

[1] Huang, Jianqiang、他「CTR予測のためのディープポジションワイズインタラクションネットワーク」第44回国際ACM SIGIR情報検索研究開発会議議事録。2021年。
[2] Qi、Yi、他「位置情報検索におけるユーザー行動モデリングのための三次元時空間注意ネットワーク」第30回ACM国際情報・知識管理会議議事録。2021年。
[3] 胡克、建強、他「美団の店内シナリオにおける広告深度予測技術のブレークスルーと想像力」
[4] Cheng, Heng-Tze他「レコメンデーションシステムのためのワイド＆ディープラーニング」レコメンデーションシステムのためのディープラーニングに関する第1回ワークショップ議事録。2016年。
[5] Zhou, Guorui, et al. 「クリックスルー率予測のためのディープ・インタレスト・ネットワーク」知識発見とデータマイニングに関する第24回ACM SIGKDD国際会議議事録。2018年。
[6] Ma, Jiaqi、他「マルチゲート専門家混合によるマルチタスク学習におけるタスク関係のモデリング」第24回ACM SIGKDD国際知識発見・データマイニング会議議事録。2018年。
[7] Gong, Yu、et al.「最大クリーク最適化による正確なk推奨」知識発見とデータマイニングに関する第25回ACM SIGKDD国際会議議事録。2019年。
[8] Guo, Huifeng、他「PAL: ライブレコメンデーションシステムにおけるCTR予測のための位置バイアスを考慮した学習フレームワーク」第13回ACMレコメンデーションシステム会議議事録。2019年。
[9] Feng, Yufei、et al.「順列予測におけるレコメンデーションシステムを再検討する」arXivプレプリントarXiv:2102.12057 (2021)。
[10] イコノモフスカ、エレナ、シナ・ジャファルプール、アリ・ダスダン。「トンプソンサンプリングベースの専門家選択を使用したリアルタイム入札予測」第21回ACM SIGKDD国際知識発見およびデータマイニング会議議事録。2015年。

<<: AIが産業のデジタル変革をどのように促進するか

>>: 次回の組み込み設計に人工知能を使用する4つの理由