1. 背景と課題1. 背景Fliggy アプリ、Alipay、Taobao では、航空券、鉄道チケット、バスチケットという 3 つの主要な交通関連サービスを利用しています。ここでは、航空券を例に、さまざまなサブシナリオを示します。
2. 特徴と課題輸送ビジネス シナリオは、輸送と旅行のシナリオに優れたシナリオ特性があるため、従来の電子商取引の推奨とは異なります。具体的には、ユーザーの移動サイクルは主に次の 4 つの段階に分かれます。
ユーザー旅行サイクルには、主に 4 つの課題があります。 意思決定には長いサイクルがあります。従来の電子商取引プラットフォームでは、ユーザーは Taobao や JD App を使って毎月または毎週買い物をしますが、旅行の意思決定サイクルは非常に長く、ユーザーは年に数回、2 か月に 1 回、または月に 1 回しか旅行しない場合があります。 動作の希薄性。同様に、電子商取引アプリのユーザー行動は比較的集中的ですが、旅行シナリオでは、特に流行期間中は、ユーザーは年に 2 回旅行する可能性があり、その行動は比較的まばらです。 行動のタイミング。実際、それがこのシナリオの利点です。ユーザーが旅行する場合、まず交通手段を利用して目的地まで行き、次にホテルを予約し、次に交通手段を利用して別の目的地まで行きます。ユーザーが最初に行うことと次に行うことには、明らかなロジックがあります。旅行パターンのロジックをいかに活用するかが難しい点です。 時空間相関。ユーザーが2022年の春節に帰省すると仮定すると、2023年の春節にも帰省する可能性が高く、時空間の相関性が比較的強いです。時間的・空間的な相関関係をどのように捉えるかということも解決すべき問題です。 課題を特定した後、ビジネス目標をユーザー側と製品側に分けることができます。製品側でのマッチングには、ユーザーの基本属性、社会的関係、旅行状況が使用されます。現在、マッチングは次の 3 つの側面に重点を置いています。
上記 3 つの側面について、以下では主にアルゴリズムの最適化プロセス全体について説明します。 2. アルゴリズムの最適化プロセス1. 建築ユーザーが Fliggy 推奨シナリオに入ると、パーソナライズがトリガーされます。当社のリアルタイム ユーザー センター、リアルタイム フィーチャー センター、交通情報プールは、それらの情報に基づいてユーザーのユーザー プロファイルを作成します。ユーザー ポートレートには、主にユーザーに関する基本的な情報と、ユーザーのリアルタイム、長期、短期の履歴行動情報が含まれます。ユーザーポートレートを構築した後、iGraph、FPP、Summary、RTP などのグループのプラットフォームのいくつかを使用して、リコール、OD 情報の改善、およびソートのサポートを提供します。 推奨予測アルゴリズムは、一般的にリコールとソートの 2 つの段階に分かれています。
一般的に、最初のステップは特徴の交差を考慮し、次に特徴の融合またはシーケンス モデリングのサポート メカニズムを検討することです。図のODNET論文はマルチタスク学習をベースに2022年に発表した論文です。ご興味があればぜひご覧ください。 次に、リコールとソートの2つの段階における最適化作業をそれぞれ紹介します。 2. 思い出すまずはオンラインの状況を見てみましょう。
彼は西安から重慶までのチケットを持っています。従来の Swing アルゴリズムを使用して類似度を計算すると、ユーザーには西安から成都までのチケットと鄭州から重慶までのチケットが推奨されます。これは常識ではありません。ログを確認すると、これらのユーザーはクリックしていないことがわかります。分析により、ユーザーはすでに西安から重慶までのチケットを持っているため、同様の旅程を推奨しても意味がないこともわかります。ユーザーは重慶から成都、または成都からチベットへのチケットを注文するかもしれません。上記のように、ユーザーが旅行中の場合、その行動には明らかな連続性があります。ただし、プラットフォームがユーザーがすでにプロセス中であることを認識しない場合、推奨アルゴリズムを使用した予測は不正確になります。
従来の推奨アルゴリズムを使用して思い出すと、北京→蘇州、天津→杭州というルートが提案されます。北京と天津は近く、杭州と蘇州も近く、都市も非常に似ているため、このようなルートが推奨されます。しかし、これも間違いです。ユーザー B が杭州から北京への往復をクリックし、ユーザー C が杭州から蘇州、杭州から上海への往復をクリックする場合があります。なぜ 2 人のユーザーが異なるものをクリックするのでしょうか?特徴分析により、ユーザー B は出張で杭州に来て、旅行するつもりがなかったため、直接戻ったことがわかります。ユーザー C は旅行の目的で北京から杭州に行くので、次のステップは杭州から次の都市に行くことになるかもしれません。 上記は、従来の Swing リコール アルゴリズムを使用するときに存在する問題です。ユーザーにとって、西安 -> 重慶 -> 成都、そして再び西安に戻るといったように、移動には明らかな連続性があり、行動の明らかな連続性があります。 ユーザーの旅行意図をどのように捉えるかということも、最適化の方向性の一つです。まず、従来の推奨アルゴリズムを見てみましょう。上の図の左側:ユーザー1は青いズボン、赤い靴、灰色のドレスを購入しました。これはユーザー1の購入行動です。ユーザー2も青いズボン、赤い靴、灰色の服を購入しました。 新しいユーザーがプラットフォームにアクセスし、青いパンツとグレーのシャツを購入した場合、そのユーザーに靴を勧めるとき、赤い靴を勧めるのが自然なようです。ユーザー 1 と 2 はズボンと服の 2 つのアイテムを購入し、さらに赤い靴も購入したため、靴はズボンと服と非常によくマッチしているはずです。これが従来の Swing 推奨アルゴリズムです。しかし、旅行シナリオにはシナリオ特性があり、つまり、ユーザーが旅行中なのか、出張中なのか、それとも帰省中なのかにかかわらず、明確な潜在的な目的があります。 故郷、観光地、企業のニーズを8つのタイプに分類します。
これら 8 つのニーズを具体的にどのように統合するかは、上図の右側の異種図に示されています。ユーザー 1 の場合、点線は北京を出発したことを示しています。ユーザーが北京を出発して上海に到着し、次に上海を出発して厦門に到着し、最後に厦門を出発して三亜に到着したとします。この意図をどのようにモデル化しますか?私たちがより注目するのは、ユーザーの出発地が自宅なのか会社なのか、ユーザーにとってどのような意図を持っているのか、そして到着地が観光地なのか自宅なのか会社なのか、という点です。 オンラインでは、ユーザーのリアルタイム機能システムを使用して、現在の都市がユーザーの永住地、故郷、出生地、または人気の観光地であるかどうかを判断します。 図の右下にある式の赤い部分に示されているように、新しい意図モジュールが追加されます。ここで、β はユーザー u の旅行意図を表し、γ はユーザー v の旅行意図を表します。これら 2 つの旅行目的が一致する場合、η が意味のある方向としてここに追加されます。意味がない場合、この項は 0 になります。アルゴリズムの改善は、出発意図と到着意図を式に統合して、別のユーザー旅行を追加することです。 具体的なケースとして、トリガー D がオンラインでプッシュされたと仮定します。ユーザーの目的地が上海である場合、ユーザーが上海に行く理由を「答える」ために、次の 2 つの方法でユーザーを呼び戻すことができます。
A/B テストの結果は、上の図の下に示されています。全体的に、ベースと比較すると、リコール効率、uvctr および pvctr 効果が大幅に向上しています。 3. ソート(1)モデル1—LSGMNetソート モデルを説明する前に、オンライン ケースを例に挙げて、なぜこれを実行するのかを説明しましょう。
上記の 3 つの状況については、3 つのモジュールで説明します。
このモジュールは主に、ユーザーが最初に中国南部に行くか、最初に中国東部に行き、次に上海または杭州に行き、最終的に杭州に行くことを決定するなど、旅行前の段階でどこに行くかという多段階の検討を解決します。モデリングは、GeoHash2、GeoHash2、City レベルのサブタスクの 3 つのサブタスクに分かれており、最終的に損失トレーニングに統合されます。
両方を同時に保持することは困難です。ここでは主にドメイン全体の長期的な行動シーケンスを考慮してODを抽出し、空間マップと人気都市マップをモデル化します。 a. 空間グラフに関しては、2 つの都市が同じ GeoHash2 内にある場合、GeoHash2 のサイズは 2 つの省レベルにまたがる可能性があります。 2 つの都市が GeoHash2 に含まれている場合、エッジが生成されます。含まれていない場合はエッジは生成されず、空間グラフが生成されます。 b. 人気都市マップについては、主に人気都市と非人気都市を考慮します。人気都市の定義は、Fliggyの鉄道チケット、航空券、バスチケット、ホテルの売上を組み合わせて販売量を算出し、販売量に基づいて計画を立てて人気都市を算出します。同時に、華東、華南など7つの主要地域ブロックなど、地域別に人気都市も分けられます。地域によって行きたい場所が異なるため、地域ごとに都市を人気都市と不人気都市に分けます。たとえば、中国中部地域と中国南部地域の人気都市間には Alpha によってエッジが生成され、人気のない都市間には Beta によってエッジが生成されます。 これを行う目的は、全体的な新規性を確保し、ユーザー トラフィックを獲得することです。 空間マップと一般的な都市マップを構築した後、1 つまたは 2 つのモジュールを使用してこれらの都市の潜在的なポイント表現を抽出し、最後にマルチヘッド自己注意メカニズムを通じて特徴表現を融合して、現在の 3 つのサブタスクに Contact を出力します。これら 3 つのサブタスクを完了すると、マルチヘッド自己注意メカニズムを通じて 3 つのサブタスクがインタラクティブに相互学習されます。
ユーザーの長期的および短期的な利益を捉えるために、3 つの損失が共同でトレーニングされます。 オフラインでは、主に次の 2 つのデータセットが使用されます。
Fliggy2 でトレーニングされたモデルは、A/B テストのためにオンラインにプッシュされました。全体的な pvctr と uvctr は約 4% 改善されました。オンラインで約 10 日間経過した後、全体的な改善効果は比較的安定していました。 (2)モデル2—G-PDINここでは、オフラインで発見された現象を紹介しながら、なぜこれを実行するのかを説明します。 まず、最初のユーザーは杭州から青島、威海、杭州、青島に行きました。これが彼の行動順序です。2 番目のユーザーは北京から重慶、麗江、大理、チベットに行きました。彼はこれらの都市に行きました。 リコール段階の候補都市は、三亜、北京、杭州、威海、青海、西安、成都である。候補セットは両方のユーザーに対して同じです。候補セットから 2 人のユーザーに推奨を行うにはどうすればよいでしょうか?
なぜ彼に威海を宣伝する必要があるのでしょうか?ユーザーは威海に行き、威海に行く前に青島に行ったため、明らかな時間と空間の周期性があります。ユーザーが昨年青島と威海に行き、今年も青島に行ったとします。次の段階では威海に行くでしょうか? これには明らかな時間と空間の周期性があります。 なぜ杭州を宣伝するのですか?なぜなら、ユーザーは杭州から出発し、最終的に杭州に戻る必要があるかもしれないからです。 なぜ三亜を宣伝するのですか?なぜなら、三亜、青島、威海はどれも似たような島の都市だからです。これは、ユーザーの潜在的な目的が沿岸都市や海辺の都市に興味を持つことであることを示しています。推奨の公平性や新規性を確保するために、沿岸都市や海辺の都市がユーザーに推奨されます。
なぜ成都を宣伝するのか?ユーザーが重慶に行ったことがあるなら、成都は間違いなくお勧めです。 なぜ青海省を宣伝するのか? ユーザーの旅程を分析するからです。重慶、麗江、大理、チベット、この旅程は明らかに四川・チベット線観光ルートに属します。ユーザーがチベットに行った後、ほとんどの人の行動の連続性によると、ユーザーの次の目的地は青海省になるか、直接北京に戻るか、つまり往復になる可能性が高いです。 上記はオンラインで解決された事例の一部です。 以下に最適化の方法を詳しく説明します。 DIN モデルに基づいて G-PDIN モデルを設計しました。改善されたモジュールは、右側のモデル アーキテクチャ図の赤い部分で、主にローカル関心キャプチャ モジュール、定期的関心キャプチャ モジュール、潜在的なユーザー意図キャプチャ モジュールが含まれます。最後に、対象アイテムを使用して特徴計算が実行されます。 次に、これら3つのモジュールについて詳しく紹介します。
従来の DIN モデルは、特徴埋め込み乗算および加算アテンション メカニズムを直接実行します。 G-PDIN は、メタパス学習ベースのアプローチを使用する点で異なります。上図の左側に示すように、灰色の点はユーザー、黄色の点はユーザーの出発地、紫色の点はユーザーの到着地です。異種グラフをモデル化し、いくつかのMentfastを定義することで、ユーザーの長いトリガーを捉えます。 グラフを構築し、メタパスを定義した後、上記の空間グラフと人気都市グラフも Graph SAGE に渡され、特徴が抽出されます。特殊抽出後、出発都市と到着都市の表現情報を取得できます。これらの表現情報をクロス積することで、OD の類似度を計算できます。 図に示すように、たとえば、ユーザー 1 は昆明、重慶、成都に行き、ユーザー 2 は三亜、青島、厦門に行きました。大理は地理的な相関と二部グラフの両方の点で昆明、重慶、成都と高い相関関係にあるため、候補セットはユーザー 1 に大理を推奨します。ユーザー2 は、三亜、青島、厦門などの沿岸都市へのユーザーの訪問を記録しており、推奨都市は青島に比較的近いため、威海と大連を推奨しています。
特徴クラスタリングを実行するために、ヒントン教授のカプセルネットワークを借用しました。このアイデアは、ユーザーのクリック シーケンスに適用されます。各都市が各ユーザーのクリック シーケンスに埋め込まれた後、CapsuleNet カプセル ネットワーク + Attention を通じて n 個のカテゴリにクラスタ化され、ユーザーが帰宅中か、仕事で移動中かを表します。 前述の Swing 改良アルゴリズムに対応する 8 つのインテントもここでクラスター化され、次にマルチヘッド アテンション メカニズムを使用してインテントが融合され、最終的な埋め込みが他の表現情報と連結されて後続のトレーニングに使用されます。
CNN 画像分野におけるアトラス畳み込みのアイデアは、春節、国慶節、中秋節などの一部の祝日を処理するために使用されます。データ分析中に、ユーザーあたりの平均クリック数は 2 回または 3 回を超えないことがわかったので、2 回または 3 回をステップとして、ノードをスキップし、ノードに関する情報を集約し、マルチヘッド アテンション メカニズムを通じて最終的な Emending 表現を生成しました。このようにして、ユーザー サイクルをシミュレートし、新しい動作をキャプチャできます。 これら 3 つのモジュールを完了すると、Contact が実行され、その後のモードは DIN モデルと同じです。 オフライン トレーニングでは、DIN モデルがベースラインとして使用され、データセットの AUC は 0.8 です。グラフアテンションメカニズムと、周期性および潜在的意図キャプチャモジュールを追加すると、AUC は 0.83 に向上し、絶対値は約 3 ポイント向上します。オンラインで約 10 日間 A/B テストを実施しました。全体的に、pvctr と uvctr の両方で 1 ポイントの改善が見られました。 3. 考察と結論最後に、過去の作業の概要と将来の作業の方向性を示します。 まず、最近の仕事についての考えをいくつか述べます。
主にSwingモデルに基づいて、IC(Intention Capture Swing)インデックスRecallが開発されました。ICインデックスは、ユーザーの潜在的な意図を捉えるためのものです。
a. マルチタスク学習に基づいて、主に空間マップ、人気の都市マップ、さまざまなレベルのサブタスクモジュール、および LSTM モジュールと GRU モジュールを段階的に追加しました。 b. DIN モデルに基づいて、ローカル関心抽出、定期抽出、潜在的意図キャプチャ、事前トレーニング済み GNN モデルを徐々に追加し、OD の類似性を計算しました。 今後の研究の方向性としては、超長期の歴史的行動シーケンスの階層的モデリング、時空間シーケンスの全体論的モデリング、メタ学習およびクロスドメイン学習を主に検討します。 具体的には、たとえば、三亜/厦門のユーザーが 2009 年に三亜に行き、2020 年に厦門に行き、2021 年に三亜に行き、2022 年に再び厦門に行ったとします。ユーザー間には明らかな周期性があり、ユーザーのシーケンスが比較的長いため、2023 年に三亜はこのユーザーに昇格する必要があります。このようなシーケンスをどのようにモデル化すればよいでしょうか? 次のステップは、これらのシーケンスを時空間グラフにモデル化し、時間と空間のグラフを使用して抽象モデリングを実行することです。 さらに、メタ学習やクロスドメイン学習、コールドスタートやその他の戦略も考慮されます。ユーザーは飛行機に乗ることはほとんどないかもしれませんが、電車や高速鉄道に乗ることは多いため、クロスドメイン学習と追跡を使用してコールドスタート戦略を開発できます。 4. 質疑応答Q1: G-PDIN モデルは論文として発表されていますか?A: 論文はまだ発表されていません。現在、オンラインで実践し、オフラインで評価しています。効果は比較的良好です。後で論文を書くかもしれません。 Q2: GAT ノードはどのような機能を使用しますか?A: GAT モジュールの機能はほとんど使用されません。使用されるのは、都市、その都市が位置する GeoHash、人気の都市かどうか、その他の基本的な属性機能のみです。POI や経度と緯度などの他の機能は使用されません。 Q3: 人気のルートを推奨することで大きな貢献ができますか?A: はい、できます。なぜなら、ほとんどの人は旅行前にどこに行くべきか分からず、小紅書などのアプリの都市のおすすめに心を左右されるからです。 Q4: ロングシーケンスモデルについて詳しく説明していただけますか?A: 私たちが主に行っているのは、時空間シーケンスのシミュレーションです。各年と各月のシーケンスを別々にモデル化し、レベルに分割します。たとえば、2022 年の 12 か月は 1*12 です。マトリックスを積み重ね、マトリックスの特徴を時空間グラフとして抽出します。 Q5: 旅行意図モデルには別の出力がありますか?A: いいえ、これはエンドツーエンドのクロスネットワークであるためです。トレーニング中は、Embedding を直接出力し、その表現をユーザーの特徴情報に接続します。 Q6: 時間情報はどのように使用されますか?A: 先ほど述べたように、特徴抽出のためにマトリックスに積み重ねられます。この方法は現在オンラインで使用されており、時間情報を引用し、マトリックスまたはマトリックスの露出幅を通じて時間情報を表します。旅行需要予測は従来の交通流予測とは異なるため、交通流予測は常に異なります。しかし、観光行動に関するデータは比較的まばらで、周期も長いため、月を単位として使う方が合理的です。データを毎秒または毎時間ごとに分割すると、不合理になり、データが非常にまばらになり、結果のマトリックスは基本的にゼロでいっぱいになります。 |
>>: 持続可能なAI: イノベーションと環境責任のバランス
[[422724]]今学期の一番の話題は、未成年がゲームをプレーできなくなった平日です!これにより、...
海外メディアの報道によると、市場調査会社ガートナーは最近、投資家が人工知能やデータ分析技術をますます...
数学的 AI ビッグモデルはこの分野の将来を変える可能性があります。本日、中国初の兆スケール数学モデ...
[51CTO.com クイック翻訳]チャットボットは、人間との会話を自動的に行い、組織と顧客間のビジ...
人工知能は最近、私たちの私生活や仕事で非常に活躍していますロボット工学と同様に、人工知能(AI)も長...
[[397252]]画像ソース: https://pixabay.com/images/id-594...
さまざまなアルゴリズムの実装やソフトウェア パッケージがオープン ソースで利用できる世界において、ア...
Google は 12 月 26 日に、高性能な Gemini Pro モデルを Android ...
この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式...
翻訳者|朱 仙中レビュー | Chonglou導入GPT-4 は、韻を踏んだプロンプトを出しながら素...
この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を得て転載...