Dianping.com における検索関連性技術の探求と実践

著者: Xiaoya、Shen Yuan、Judy など

1. 背景

レビュー検索は、Dianping アプリへの主要な入り口の 1 つです。ユーザーは、さまざまなシナリオで生活サービス業者を見つけるニーズを満たすために検索を使用します。検索の長期的な目標は、検索エクスペリエンスを継続的に最適化し、ユーザーの検索満足度を向上させることです。そのためには、ユーザーの検索意図を理解し、検索用語と販売者の関連性を正確に測定し、関連性の高い販売者をできるだけ多く表示し、関連性の高い販売者のランクを高くする必要があります。したがって、検索用語と販売者間の関連性を計算することは、レビュー検索の重要な部分です。

Dianping の検索シナリオが直面する関連性の問題は複雑かつ多様です。ユーザーの検索用語は、商店名、料理、住所、カテゴリ、およびそれらのさまざまな複雑な組み合わせの検索など、非常に多様です。商店も、商店名、住所情報、グループ注文情報、料理情報、その他のさまざまな施設やラベル情報など、さまざまな種類の情報を持っているため、クエリと商店のマッチングモードが非常に複雑になり、さまざまな関連性の問題が簡単に発生します。具体的には、以下の種類に分けられます。

テキストの不一致: 検索中に、より多くの商店が検索され、表示されるようにするために、検索クエリはより細かい単語に分割される場合があります。これにより、商店のさまざまな分野にクエリが誤って一致するという問題が発生する可能性があります。図 1(a) に示すように、「牡蠣鍋」を検索しているユーザーは、スープベースに牡蠣が入った鍋を見つけたいはずですが、「牡蠣」と「鍋」はそれぞれ商店の 2 つの異なる料理に一致しています。
意味的逸脱: クエリは文字通り販売者に一致しますが、販売者はクエリの主な意図とは意味的に無関係です。たとえば、「ミルクティー」と「黒糖パールミルクティーバッグ」などです (図 1(b) を参照)。
カテゴリの逸脱: クエリは文字通り販売者と一致し、意味的にも関連していますが、メインカテゴリがユーザーのニーズと一致していません。たとえば、ユーザーが「フルーツ」を検索する場合、「フルーツプレート」を提供する KTV 販売者は明らかにユーザーのニーズとは無関係です。

(a) テキストの不一致の例

(b) 意味の変化の例

図1 レビュー検索の関連性の問題の例

文字マッチングに基づく関連性方法では、上記の問題を効果的に処理できません。検索リスト内のユーザーの意図に合わないさまざまな無関係な問題を解決するには、検索用語と販売者間の深い意味的関連性をより正確に特徴付ける必要があります。本論文では、Meituanの大規模なビジネスコーパスでトレーニングされたMT-BERT事前トレーニング済みモデルに基づいて、Dianping検索シナリオにおけるクエリとマーチャント（ POI、一般的な検索エンジンのDocに相当）間の深い意味相関モデルを最適化し、クエリとPOI間の相関情報を検索チェーンの各リンクに適用します。

この記事では、既存の検索関連性技術の概要、レビュー検索関連性の計算スキーム、実際のアプリケーション、および要約と展望の 4 つの側面からレビュー検索関連性技術を紹介します。レビュー検索関連性計算の章では、マーチャント入力情報の構築、レビュー検索関連性計算へのモデルの適応、オンライン化後のモデルのパフォーマンスの最適化など、3 つの主要な課題をどのように解決したかを紹介します。実際の応用の章では、レビュー検索関連性モデルのオフラインおよびオンラインの影響を紹介します。

2. 先行技術の関連性の検索

検索関連性は、クエリと返されたドキュメント間の相関関係を計算すること、つまり、ドキュメント内のコンテンツがユーザーのクエリのニーズを満たしているかどうかを判断することを目的としており、これは NLP のセマンティックマッチングタスクに相当します。 Dianping の検索シナリオでは、検索関連性は、ユーザークエリと販売者の POI 間の相関関係を計算することです。

テキストマッチング方法: 初期のテキストマッチングタスクでは、クエリとドキュメント間のリテラルマッチング度のみを考慮し、TF-IDF や BM25 などの用語ベースのマッチング機能を通じて相関関係を計算していました。文字一致の関連性のオンライン計算効率は高いですが、用語ベースのキーワード一致の一般化性能は低く、意味と語順の情報が不足しており、単語の複数の意味や同じ意味を持つ複数の単語の問題を処理できません。そのため、一致の見逃しや不正確な一致が深刻です。

従来のセマンティックマッチングモデル: リテラルマッチングの欠点を補うために、クエリとドキュメント間のセマンティック関連性をよりよく理解するためのセマンティックマッチングモデルが提案されました。従来の意味的マッチングモデルには、主に暗黙的な空間ベースのマッチング（クエリと文書の両方を同じ空間内のベクトルにマッピングし、ベクトル距離または類似性をマッチングスコアとして使用する部分最小二乗法（ PLS ） ^[1]など）と翻訳モデルベースのマッチング（文書をクエリ空間にマッピングしてからマッチングを実行するか、文書をクエリに変換する確率を計算する^[2]）が含まれます。

ディープラーニングと事前トレーニングモデルの発展に伴い、ディープセマンティックマッチングモデルも業界で広く使用されるようになりました。ディープセマンティックマッチングモデルは、実装方法に基づいて、表現ベースの方法とインタラクションベースの方法に分けられます。自然言語処理の分野における効果的な方法として、事前トレーニング済みモデルはセマンティックマッチングタスクでも広く使用されています。

(a) 表現ベースのマルチドメイン相関モデル

(b) 相互作用に基づく相関モデル

図2 深層意味マッチング相関モデル

表現ベースのディープセマンティックマッチングモデル: 表現ベースの方法では、クエリとドキュメントのセマンティックベクトル表現をそれぞれ学習し、2 つのベクトルに基づいて類似度を計算します。マイクロソフトのDSSMモデル^[3]は、2つの独立したネットワークを使用してクエリとドキュメントのベクトル表現を構築し、コサイン類似度を使用して2つのベクトル間の相関を測定する、古典的なデュアルタワーテキストマッチングモデルを提案しました。 Microsoft Bing SearchのNRM ^[4]は、ドキュメントの表現問題に対処しています。基本的なドキュメントのタイトルとコンテンツに加えて、外部リンク、ユーザーがクリックしたクエリなどの他のマルチソース情報（各情報タイプはドメインフィールドと呼ばれます）も考慮されます。複数のフィールドを持つドキュメントを考えてみましょう。各フィールドには複数のインスタンスがあり、各インスタンスはクエリ用語などのテキストに対応しています。モデルは最初にインスタンスベクトルを学習し、すべてのインスタンスの表現ベクトルを集約してフィールド表現ベクトルを取得し、複数のフィールドの表現ベクトルを集約して最終的な Doc ベクトルを取得します。 SentenceBERT ^[5]は、事前学習済みモデルBERTをデュアルタワーのクエリとドキュメントのエンコード層に導入し、さまざまなプーリング手法を使用してデュアルタワーの文ベクトルを取得し、ドット乗算や連結などの手法を通じてクエリとドキュメントと対話します。

Dianpingの初期の検索関連性モデルは、NRMとSentenceBERTからアイデアを借用し、図2(a)に示す表現ベースのマルチドメイン関連性モデル構造を採用しました。表現ベースの方法では、POIベクトルを事前に計算してキャッシュに保存できます。クエリベクトルとPOIベクトルの相互作用のみをオンラインで計算する必要があるため、オンラインで使用すると計算速度が速くなります。

インタラクションベースのディープセマンティックマッチングモデル: インタラクションベースの方法では、クエリとドキュメントのセマンティック表現ベクトルを直接学習するのではなく、クエリとドキュメントが基礎となる入力段階で相互作用できるようにし、いくつかの基本的なマッチング信号を確立してから、基本的なマッチング信号をマッチングスコアに融合します。 ESIM ^[6]は、事前学習済みモデルが導入される以前に業界で広く使用されていた古典的なモデルです。まず、クエリとドキュメントをエンコードして初期ベクトルを取得し、次に初期ベクトルをAttentionメカニズムを使用して相互作用重み付きベクトルと連結します。最後に、分類によって関連性スコアを取得します。

事前学習済みのBERTモデルをインタラクティブコンピューティングに導入する場合、クエリとドキュメントは通常、BERT文関係タスクの入力として連結され、最終的な関連性スコアはMLPネットワーク^[7]を通じて得られます（図2（b）を参照）。 BERT文関係タスクでクエリベクトルとドキュメントベクトルを取得した後、CEDR ^[8]はクエリベクトルとドキュメントベクトルを分割し、さらにクエリとドキュメント間のコサイン類似度行列を計算しました。 Meituan検索チーム^[9]は、Meituan検索関連性モデルにインタラクションベースのアプローチを導入し、事前トレーニングのために商店カテゴリ情報を導入し、マルチタスク学習のためにエンティティ認識タスクを導入しました。美団店内検索広告チーム^[10]は、インタラクションベースのモデルを表現ベースのモデルに蒸留し、デュアルタワーモデルの仮想インタラクションを実現し、パフォーマンスを確保しながらクエリとPOI間のインタラクションを増やす方法を提案しました。

3. 検索関連性の計算を確認する

表現ベースのモデルは、POIのグローバルな特徴を表現することに重点を置いており、オンラインクエリとPOI間のマッチング情報が欠けています。インタラクションベースの方法は、表現ベースの方法の欠点を補い、クエリとPOI間のインタラクションを強化し、モデルの表現力を向上させることができます。同時に、テキストセマンティックマッチングタスクにおける事前トレーニング済みモデルの優れたパフォーマンスを考慮して、レビュー検索関連性計算は、Meituanの事前トレーニング済みモデルMT-BERT ^[11]に基づくインタラクティブなソリューションを決定しました。事前トレーニング済みモデルに基づくインタラクティブ BERT をレビュー検索シナリオの関連性タスクに適用する場合、まだ多くの課題が残っています。

POI 側モデル入力情報をより適切に構築する方法: Doc 側モデル入力情報の構築は、関連性モデルの重要な部分です。一般的なウェブ検索エンジンでは、ドキュメントのウェブページタイトルは関連性を判断する上で非常に重要です。しかし、レビュー検索のシナリオでは、POI情報は多くのフィールドと複雑な情報という特徴を持っています。「ウェブページタイトル」と同様の情報を提供できるフィールドはありません。各マーチャントは、マーチャント名、カテゴリ、住所、グループ順序、マーチャントタグなどのさまざまな構造化情報を通じて表現されます。関連性スコアを計算する際、多元的な商店情報をモデルに完全に入力することはできません。しかし、商店名やカテゴリなどの基本情報のみを使用すると、情報が不足しているため満足のいく結果が得られません。したがって、豊富な情報で入力された POI 側モデルをより適切に構築する方法が、私たちが解決しなければならない主な問題です。
レビュー検索の関連性計算にうまく適応するためにモデルを最適化する方法: Dianping 検索シナリオのテキスト情報は、一般的な事前トレーニング済みモデルコーパス情報とは多少異なります。たとえば、「happy」と「happy」は一般的な意味シナリオでは同義ですが、レビュー検索シナリオでは、「happy barbecue」と「happy barbecue」はまったく異なる 2 つのブランドです。同時に、クエリと POI 間の相関判断ロジックは、一般的な NLP シナリオにおけるセマンティックマッチングタスクとまったく同じではありません。クエリと POI 間のマッチングパターンは非常に複雑です。クエリが POI の異なるフィールドに一致する場合、相関判断結果も異なります。たとえば、クエリ「フルーツ」が「フルーツショップ」商店カテゴリに一致する場合、相関は高くなりますが、KTV の「フルーツプラッター」ラベルにヒットした場合、相関は弱くなります。したがって、一般的なインタラクションベースの BERT 文対文の意味マッチングタスクと比較して、相関計算ではクエリと POI 部分間の特定のマッチングにも焦点を当てる必要があります。私たちが直面している主な課題は、レビュー検索シナリオに適応し、複雑で多様な関連性判断ロジックを処理し、さまざまな無関係な問題を可能な限り解決するためにモデルを最適化する方法です。
事前トレーニング済み関連性モデルのオンラインパフォーマンスのボトルネックを解決する方法：表現ベースのモデルは計算速度が速いですが、表現能力には限界があります。インタラクションベースのモデルは、クエリと POI 間のインタラクションを強化してモデル効果を向上させることができますが、オンラインで使用するとパフォーマンスのボトルネックが大きくなります。したがって、12 層 BERT ベースの相互作用モデルをオンラインで使用する場合、モデル計算効果を確保しながら、計算リンク全体のパフォーマンスを確保し、オンラインで安定的かつ効率的に実行できるようにする方法が、相関計算のオンラインアプリケーションにおける最後のハードルとなります。

継続的な調査と実験を経て、POI側の複雑なマルチソース情報に基づいて、レビュー検索シナリオに適応したPOIテキストサマリーを構築しました。モデルをレビュー検索の関連性計算にさらに適応させるために、2段階のトレーニング方法を採用し、関連性計算の特性に応じてモデル構造を修正しました。最後に、計算プロセスを最適化し、キャッシュなどの対策を導入することで、モデルのリアルタイム計算と全体的なアプリケーションリンクの時間消費を削減し、BERTのオンラインリアルタイム計算のパフォーマンス要件を満たすことができました。

3.1 POI側モデル入力情報をより良く構築する方法

クエリと POI の関連性を判断する場合、POI 側の計算には 12 を超えるフィールドが関係します。一部のフィールドには大量のコンテンツが含まれます (たとえば、商店には数百のおすすめ料理がある場合があります)。したがって、POI 側の情報を抽出して整理し、相関モデルに入力する適切な方法を見つける必要があります。一般的な検索エンジン ( Baidu など) や一般的な垂直検索エンジン ( Taobao など) の場合、ドキュメントの Web ページタイトルや製品タイトルには豊富な情報が含まれており、関連性の決定プロセス中にドキュメント側モデルの主な入力となるのが一般的です。

図3(a)に示すように、一般的な検索エンジンでは、検索結果のタイトルから、該当ウェブサイトの主要情報とクエリとの関連性を一目で確認できます。しかし、図3(b)のDianpingアプリの検索結果では、販売店名フィールドだけでは十分な販売店情報を取得できません。販売店のカテゴリ（ミルクティーとジュース）、ユーザーのおすすめ料理（オリオリミルクティー）、タグ（ネットセレブの店）、住所（武林広場）など、複数のフィールドを組み合わせて、クエリ「武林広場ネットセレブミルクティー」に対する販売店の関連性を判断する必要があります。

(a) 一般的な検索エンジンの検索結果の例

(b) Dianpingアプリでの検索結果の例

図3 一般的な検索エンジンとDianping.comの検索結果の比較

ラベル抽出は、業界でトピック情報を抽出する一般的な方法です。そのため、まずはマーチャントタグを介して入力されたPOI側モデルの構築を試みました。マーチャントのコメント、基本情報、料理、およびマーチャントの対応するヘッド検索クリックワードに基づいて、代表的なマーチャントキーワードをマーチャントタグとして抽出しました。オンラインで使用する場合、抽出された加盟店タグ、加盟店名、基本カテゴリ情報はモデルの POI 側入力情報として使用され、クエリを使用して対話的に計算されます。しかし、マーチャントタグはまだマーチャント情報を包括的にカバーしていません。たとえば、ユーザーが「カスタード」という料理を検索すると、ユーザーのすぐ近くにある韓国料理店がカスタードを販売していますが、その店の看板料理やトップクリックワードは「カスタード」とはまったく関係がありません。その結果、レストランから抽出されたラベルワードも「カスタード」との関連性が低くなります。そのため、モデルはレストランを無関係と判断し、ユーザーエクスペリエンスに悪影響を及ぼします。

最も包括的な POI 表現を得るための 1 つの解決策は、キーワードを抽出せず、すべてのマーチャントフィールドをモデル入力に直接結合することです。ただし、この方法では、モデル入力の長さが長すぎるため、オンラインパフォーマンスに重大な影響を及ぼし、大量の冗長情報もモデルのパフォーマンスに影響します。

より有益なPOI側情報をモデル入力として構築するために、オンラインクエリのマッチング状況に基づいてPOIマッチングフィールドテキストをリアルタイムで抽出し、マッチングフィールドサマリーをPOI側モデル入力情報として構築する、POIマッチングフィールドサマリー抽出法を提案した。 POI マッチングフィールドサマリー抽出プロセスを図 4 に示します。いくつかのテキスト類似性機能に基づいて、クエリに最も関連性が高く有益なテキストフィールドを抽出し、フィールドタイプ情報を統合してマッチングフィールドサマリーを構築します。オンラインで使用する場合、抽出された POI マッチングフィールドの概要、販売店名、カテゴリの基本情報が POI 側モデル入力として使用されます。

図4 POIマッチングフィールドサマリー抽出プロセスPOI側のモデル入力情報を決定した後、BERT文関係タスクを使用します。まず、MT-BERTを使用してクエリ側とPOI側のマッチングフィールドサマリー情報をエンコードし、次にプールされた文ベクトルを使用して関連性スコアを計算します。 POI マッチングフィールドサマリーソリューションを使用して POI 側モデル入力情報を構築し、サンプル反復と組み合わせると、ラベルベースの方法と比較してモデル効果が大幅に向上しました。

3.2 レビュー検索の関連性の計算に適応するためにモデルを最適化する方法

モデルをレビュー検索の関連性計算タスクにさらに適応させることには、2 つの意味があります。Dianping 検索シナリオと MT-BERT 事前トレーニングモデルで使用されるコーパスのテキスト情報の分布には一定の違いがあり、事前トレーニングモデルの文間関係タスクもクエリと POI の関連性タスクと若干異なるため、モデル構造を修正する必要があります。継続的な調査を経て、ドメインデータに基づく2段階のトレーニング方式を採用し、トレーニングサンプルの構築と組み合わせて、事前トレーニング済みモデルをレビュー検索シナリオの関連性タスクにより適したものにしました。また、複数の類似性マトリックスに基づくディープインタラクティブ相関モデルを提案し、クエリとPOIの相互作用を強化し、複雑なクエリとPOI情報を表現するモデルの能力を向上させ、相関計算効果を最適化しました。

3.2.1 ドメインデータに基づく2段階トレーニング

ユーザのクリックデータを効果的に活用し、事前学習済みモデルMT-BERTをレビュー検索関連性タスクにより適したものにするために、Baiduの検索関連性^[12]のアイデアを参考にして、多段階学習法を導入した。ドメイン適応事前学習の第1段階（ Continual Domain-Adaptive Pre-training ）にはユーザのクリックデータとネガティブサンプリングデータを使用し、第2段階の学習（ Fine-Tune ）には手動で注釈を付けたデータを使用する。モデル構造を図5に示す。

図5 クリックと手動注釈データに基づく2段階トレーニングモデル構造

クリックデータに基づく第1段階のトレーニング

クリックデータを第1段階のトレーニングタスクとして導入する直接的な理由は、レビュー検索シナリオにいくつかの特有の問題があるためです。たとえば、「happy」と「happy」という単語は、一般的なシナリオではほぼ同義ですが、レビュー検索シナリオでは、「happy BBQ」と「happy BBQ」はまったく異なるブランドの商人です。したがって、クリックデータを導入すると、モデルが検索シナリオでいくつかの特有の知識を学習するのに役立ちます。しかし、関連性の判断にクリックサンプルを直接使用すると、ユーザーがランキングが高いために誤って特定の販売店をクリックしたり、関連性の問題ではなく、単に販売店が遠いという理由で特定の販売店をクリックしなかったりする可能性があるため、多くのノイズが発生します。そのため、トレーニングサンプルの自動ラベル付けの精度を向上させるために、さまざまな機能とルールを導入しました。

サンプルを構築する際、候補サンプルは、クリックされたかどうか、クリックランキング、クリック数が最も多い販売者とユーザーとの距離などの特徴をカウントして選別されます。露出クリック率が特定のしきい値を超えるクエリと POI のペアは肯定的な例として扱われ、ビジネス特性に基づいて販売者のタイプごとに異なるしきい値が調整されます。負の例の構築では、Skip-Above サンプリング戦略では、クリックされた販売店の前に位置し、クリックスルー率がしきい値未満の販売店を負のサンプルとして使用します。さらに、ランダムネガティブサンプリングは、トレーニングサンプルの単純なネガティブサンプルを補うことができますが、ランダムネガティブサンプリングはノイズデータも導入します。そのため、人為的に設計されたルールを使用してトレーニングデータのノイズを削減します。クエリのカテゴリ意図がPOIのカテゴリシステムと比較的一致している場合、またはPOI名と非常に一致している場合は、ネガティブサンプルから削除されます。

手動でラベル付けされたデータに基づく第2段階のトレーニング

最初の段階のトレーニングの後、クリックデータ内のノイズと相関タスクの特性を完全に除去することは不可能であることを考慮すると、手動でラベル付けされたサンプルに基づく 2 番目の段階のトレーニングを導入してモデルを修正する必要があります。手動ラベリング用にデータの一部をランダムにサンプリングするだけでなく、モデルの能力を最大限に引き出すために、難しいサンプルマイニングや比較サンプルの強化を通じて価値の高いサンプルを大量に生成し、手動ラベリングに渡します。詳細は以下の通りです。

1)難しい例のマイニング

特定のサンプルタイプのマイニング: クエリと POI の特徴と 2 つの間の一致に基づいて BadCase タイプを特徴付ける方法を設計することにより、特定の BadCase タイプのサンプルがラベル付けの候補データセットから自動的に選別されます。
ユーザーがクリックしたが、古いオンラインモデルでは無関係と判断された: この方法では、現在のオンラインモデルでは誤って予測され、同様のセマンティクスを持つユーザーが区別するのが難しい難しい例をマイニングできます。
エッジサンプリング: モデル予測スコアがしきい値に近いサンプルを抽出するなど、エッジサンプリングを通じて不確実性が高いサンプルをマイニングします。
モデルや人間が識別するのが難しいサンプル: 現在のモデルを使用してトレーニングセットを予測し、モデルの予測結果がラベル付けされたラベルと一致しないサンプルと、手動でラベル付けされたラベルが競合するサンプルタイプを再ラベル付けします。

2)コントラストサンプルの強化: コントラスト学習の考え方を活用して、データ強化のためにいくつかの一致度の高いサンプルのコントラストサンプルを生成し、手動で注釈を付けてサンプルラベルの正確性を確保します。サンプル間の違いを比較することで、モデルは本当に有用な情報に焦点を当て、同義語の一般化能力を向上させ、より良い結果を達成することができます。

料理の単語で発生する可能性が高い料理間のマッチング相関問題 (たとえば、「フォアグラバーガー」を検索すると、「ビーフバーガー」と「フォアグラ寿司」を販売している業者が一致します) に対処するために、料理の各サブコンポーネントを使用して推奨料理フィールドを個別に一致させ、多数の比較サンプルを生成し、料理間のマッチング問題を識別するモデルの能力を強化します。
料理の単語が推奨料理の接頭辞にヒットする問題に対処するために、推奨料理が完全に一致する状況（「ドリアンケーキ」を検索すると「ドリアンケーキ」を販売している商店が一致する）を変換し、検索語の接頭辞のみを保持し、推奨料理の接頭辞に一致する比較サンプル（「ドリアン」を検索すると「ドリアンケーキ」を販売している商店が一致する）を構築して、モデルが推奨料理の接頭辞に一致する状況をより適切に区別できるようにしました。

図6: コントラストサンプルの強調例

料理間のマッチングの相関問題を例に挙げてみましょう。上の図 6 に示すように、クエリは分割された後も、商店の複数のおすすめ料理フィールドと一致しています。クエリ「ドリアンケーキ」はおすすめ料理「ドリアン千層、ブラックフォレストケーキ」と関連していますが、クエリ「フォアグラバーガー」は「ジュージュー音を立てるフォアグラ、チーズビーフバーガー」とは関連していません。このような一致度が高いが反対のケースに対するモデルの認識能力を高めるために、「ドリアンケーキ」と「ドリアン千層」、「フォアグラバーガー」と「ジュージュー音を立てるフォアグラ」の 2 つの比較サンプルグループを作成しました。テキスト内のクエリに一致しているがモデルの判断に役立たない情報を削除することで、モデルは実際に関連があるかどうかを判断する重要な情報を学習し、同時に「ケーキ」や「千層」などの同義語に対するモデルの一般化能力を向上させることができました。同様に、他の種類の難しい例も、このサンプル拡張方法を使用して強化できます。

3.2.2 多重類似性マトリックスに基づくディープインタラクションモデル

BERT 文関係は、2 つの文の関係を判断するために使用される一般的な NLP タスクであり、関連性タスクはクエリと POI 間の関連性を計算するものです。計算プロセス中、文間関係タスクはクエリと POI 間の相互作用を計算するだけでなく、クエリ内および POI 内の相互作用も計算しますが、関連性の計算はクエリと POI 間の相互作用に重点を置きます。さらに、モデルの反復プロセス中に、一致度は高いが関連性のないテキストを含むタイプなど、一部の難しい BadCase では、モデルの表現力に対する要件が高いことがわかりました。そのため、複雑なクエリと POI の関連性タスクに対するモデルの計算効果をさらに向上させるために、トレーニングの第 2 フェーズで BERT 文関係タスクを修正し、多重類似度マトリックスに基づくディープインタラクションモデルを提案しました。クエリと POI と深く対話するための多重類似度マトリックスを導入し、困難な BadCase 問題をより適切に解決するためのインジケーターマトリックスを導入することで、モデル構造が図 7 に示されます。

図7 複数の類似性マトリックスに基づく深層インタラクティブ相関モデル

CEDR ^[8]にヒントを得て、MT-BERTエンコード後にクエリとPOIベクトルを分割し、2つの部分間の深い相互作用関係を明示的に計算します。クエリとPOIを分割して深い相互作用を実行すると、一方では、クエリとPOIの相関関係を具体的に学習することができます。他方では、パラメータの数が増えることで、モデルのフィッティング能力が向上します。

MatchPyramid ^[13]モデルを参考に、ディープインタラクティブ相関モデルは、指標、ドット積、コサイン距離、ユークリッド距離を含む4つの異なるクエリドキュメント類似性行列を計算して融合し、POI部分の出力で注目度の重み付けを実行します。指標マトリックスは、クエリのトークンとPOIが一致しているかどうかを記述するために使用されます。計算方法は次のとおりです。

このうち、マッチング行列の番目の行と列に対応する要素は、クエリの番目のトークンと POI の番目のトークンを表します。インジケーターマトリックスは、クエリと POI が文字通り一致するかどうかを示すマトリックスであり、その入力形式が他の 3 つの意味マッチングマトリックスとは異なるため、ドット積、コサイン距離、ユークリッド距離の 3 つのマッチングマトリックスを最初に融合し、得られた結果をインジケーターマトリックスとさらに融合してから、最終的な関連性スコアを計算します。

指標マトリックスは、クエリと POI の一致関係をより適切に特徴付けることができます。このマトリックスの導入は、主にクエリと POI の関連性を判断することの難しさを考慮したものであり、テキストの一致度が高くても、2 つが関連していない場合があります。インタラクティブな BERT モデル構造により、テキスト一致度の高いクエリや POI を関連性が高いと判断することが容易になりますが、レビュー検索のシナリオでは、一部の難しい例ではそうならない可能性があります。たとえば、「豆腐」と「緑豆ジュース」は一致度は高いですが、関連性はありません。「猫空」と「猫空城」は別々にマッチングされていますが、前者は後者の略称であるため関連があります。したがって、さまざまなテキストマッチング状況がインジケーターマトリックスを通じてモデルに直接入力されるため、モデルは「包含」や「分割マッチング」などのテキストマッチング状況を明示的に受け取ることができます。これにより、モデルは、ほとんどの通常のケースのパフォーマンスに影響を与えずに、難しいケースを区別する能力を向上させることができます。

複数の類似性マトリックスに基づくディープインタラクティブ相関モデルは、クエリと POI を分割し、類似性マトリックスを計算します。これは、モデルがクエリと POI と明示的に対話できるようにするのと同等であり、モデルを相関タスクにさらに適応させます。複数の類似性マトリックスにより、クエリと POI 間の相関関係を表すモデルの能力が向上します。一方、インジケーターマトリックスは相関タスクにおける複雑なテキストマッチング状況に対応する特別な設計であり、モデルが無関係な結果についてより正確な判断を下せるようになります。

3.3 事前学習済み相関モデルのオンラインパフォーマンスボトルネックを解決する方法

相関計算をオンラインで展開する場合、既存のソリューションでは通常、オンラインコンピューティングの効率を確保するために知識蒸留のデュアルタワー構造^[10,14]を採用していますが、この処理方法はモデルの効果に多かれ少なかれ悪影響を及ぼします。レビュー検索の関連性計算のモデル効果を確実にするために、インタラクティブな 12 層 BERT 事前トレーニング済み関連性モデルがオンラインで使用されました。各クエリの下にある数百の POI を 12 層 BERT モデルで予測する必要があります。オンラインコンピューティング効率を確保するために、モデルのリアルタイムコンピューティングプロセスとアプリケーションリンクの2つの視点から始めます。何百もの商人とクエリ間の相関計算をサポートできること。

3.3.1相関モデルの計算プロセスのパフォーマンスの最適化

図8相関モデルのオンライン計算のフローチャート

レビュー検索関連モデルのオンライン計算プロセスを図8に示します。モデルのリアルタイム計算のパフォーマンスは、キャッシュメカニズムとTFサービングモデル予測アクセラレーションを通じて最適化されています。

コンピューティングリソースを効果的に利用するために、モデルのオンライン展開にキャッシュメカニズムが導入され、高周波クエリの関連スコアをキャッシュに書き込むことができます。キャッシュは後続の呼び出しで読み取られます。キャッシュメカニズムは、コンピューティングリソースを大幅に節約し、オンラインコンピューティングのパフォーマンス圧力を効果的に軽減します。

キャッシュにヒットしないクエリの場合、それらはクエリ側のモデル入力として処理され、各POIの一致するフィールドの概要は、図4で説明したプロセスで取得され、POIサイドモデル入力形式に処理され、オンライン関連モデルが呼び出され、関連スコアが出力されます。相関モデルは、モデルの予測中に展開されます。Meituanの機械学習プラットフォームのモデル最適化ツールアートフレームワーク（より速いトランスフォーマー^[15]の改善に基づいて、モデルの予測速度が大幅に向上し、精度が向上します。

3.3.2アプリケーションリンクパフォーマンスの最適化

図9レビュー検索リンクにおける関連性モデルの適用

検索リンクでの相関モデルの適用は、上記の図9に示されています。

関連するコールリンクをさらに加速するために、いくつかのクエリの迂回する前のルールを導入しました。ゴールデンルールレイヤーでは、テキストマッチング機能を使用して、クエリとPOIを判断します。たとえば、検索用語がビジネス名とまったく同じ場合、ゴールデンルール層は、相関モデルを介して関連するスコアを計算せずに「関連」判断を直接出力します。

全体的な計算リンクでは、相関計算プロセスがコアソーティングレイヤーと同時に実行され、相関計算が検索リンクの全体的な時間消費にほとんど影響を与えないようにします。アプリケーション層では、リコールや検索リンクのソートなどの複数のリンクで相関計算が使用されます。検索リストの最初の画面にある無関係な商人の割合を減らすために、LTRマルチオブジェクト融合ソートにリストページをソートし、補足リコールパスの補足的な商人を使用して、マルチウェイリコール融合戦略を採用しました。

4。実用的なアプリケーション

4.1オフライン効果

モデルの反復のオフライン効果を正確に反映するために、現在のオンラインの実際の使用の主な目標は、無関係な商品を正確に識別することを考慮して、複数のマニュアルラベルを使用してベンチマークのバッチを構築しました。 2段階のトレーニング、サンプル構造、モデルの反復の利点を表1に示します。

表1レビューのオフラインインジケーター検索関連性モデルの反復

初期メソッド（ベース）は、POIマッチングフィールドサマリー情報と連結クエリのBERTペアの分類タスクを使用します。クリックデータに基づいて2段階のトレーニングを導入した後、ベースのサンプルと困難なサンプルを導入して、第2段階でモデルの入力構造を調整することにより、否定的な例を導入したことにより、ベースを均一に比べて否定的な例を導入しました。ベンチマーク上のモデルの全体的な指標は、0.96のAUCの高い値と0.97のF1にも達しました。

4.2オンライン効果

ユーザーの検索満足度を効果的に測定するために、ダイアップ検索サンプル、および実際のオンライントラフィックを毎日手動でラベル付けし、リストページの最初の画面のバッドケースレートを使用して、関連性モデルの有効性を評価するためのコアインジケーターとして使用します。関連性モデルが起動した後、毎月の平均レビュー検索率は、発売前と比較して2.9pp（パーセンテージポイント）に大幅に低下し、次の週に低い点の近くで安定していました。関連性モデルは、無関係な商人を効果的に識別し、検索の最初の画面上の無関係な質問の割合を大幅に削減し、それによりユーザーの検索エクスペリエンスを改善できることがわかります。

以下の図10には、サブタイトルが左側に対応するクエリが適用されるクエリを示しています。图10(a)中当搜索词为“佩姐”时，相关性模型将商户核心词包含“佩姐”的商户“佩姐名品”判断为相关，并将用户可能想找但输错的高质目标商户“珮姐老火锅”也判断为相关，同时，通过引入地址字段标识，将地址中位于“珮姐”旁边的商户判断为不相关；图10(b)中用户通过Query“柚子日料自助”想找一家名为“柚子”的日料自助店，相关性模型将拆词匹配到有柚子相关商品售卖的日料自助店“竹若金枪鱼”正确判断为不相关并将其排序靠后，保证展示在靠前的均为更符合用户主要需求的商户。

（a）シスター・ペイ

（b）Yuzu日本料理のセルフサービス図10オンラインバッドケースソリューションの例

5. まとめと展望

この記事では、Dianpingの検索関連モデルの技術的なソリューションと実用的なアプリケーションを紹介します。マーチャント側のモデル入力情報をより適切に構築するために、マーチャントマッチングフィールドのテキストのリアルタイム抽出の方法を導入して、モデルの入力としてマーチャントの表現を構築し、レビュー検索関連の計算により適応しました。関連性モデルの効果をさらに改善するための関連性計算の特性に従って提案されています。検索チェーン内の各リンクに関連性モデルを適用することにより、無関係な質問の割合が大幅に減少し、ユーザーの検索エクスペリエンスが効果的に改善されます。

現在、レビュー検索関連モデルには、モデル構造の観点から、モデルのパフォーマンスとオンラインアプリケーションの改善があります。また、検索リスト全体の検索エクスペリエンスを最適化するために、非商人モジュールに関連機能を適用しようとします。