ユーザーの検索ログに基づくマルチタスク学習による商品タイトル圧縮手法

まとめ

Taobao や Tmall などの電子商取引プラットフォームでは、検索エンジン最適化 (SEO) のために、販売者が冗長な商品タイトルを書くことがよくあります。特に、アプリなどの表示スペースが限られているシナリオでは、長すぎる商品タイトルは完全に表示できず、切り捨てられることしかできず、ユーザーエクスペリエンスに重大な影響を及ぼします。全体の取引に影響を与えずに、元の製品タイトルを限られた長さに圧縮する方法は非常に困難な作業です。従来のタイトル要約方法では、多くの場合、多くの手動の前処理が必要であり、コストがかかり、クリックスルー率やコンバージョン率などの指標に対する電子商取引シナリオの特別なニーズが考慮されていません。

これを踏まえて、ユーザーの検索ログをマルチタスク学習に活用した商品タイトル圧縮手法を提案します。この方法は、2 つのシーケンスツーシーケンス学習タスクを同時に実行します。主なタスクは、ポインター ネットワーク モデルに基づいて、元のタイトルから短いタイトルへの抽出要約生成を実現することであり、補助タスクは、アテンション メカニズムを備えたエンコーダー/デコーダー モデルに基づいて、元のタイトルから対応する製品のユーザー検索クエリの生成を実現することです。

エンコーディング ネットワーク パラメータは 2 つのタスク間で共有され、元のタイトルに対する注意の配分が共同で最適化されるため、2 つのタスクは元のタイトルの重要な情報に可能な限り注意を払うようになります。オフラインでの手動評価とオンライン実験により、マルチタスク学習法によって生成された短い商品タイトルは、元の商品タイトルのコア情報を保持するだけでなく、ユーザーの検索クエリ情報も明らかにし、取引の変換に影響を与えないことが証明されました。

背景

製品タイトルは、eコマースプラットフォーム上で販売者と購入者がコミュニケーションをとるための重要な媒体です。ユーザーは検索ポータルにクエリを入力し、検索結果ページ（SRP）で製品リストを閲覧し、対象製品を選択して、最終的に購入を完了します。ショッピング取引チェーン全体において、商品名、商品説明、商品画像などのさまざまな情報が共同でユーザーの購入決定に影響を与えます。情報量が豊富で長すぎない商品名は、エンドユーザーの体験を大幅に向上させることができます。

中国インターネット発展に関する第40回統計報告によると、2017年6月現在、中国のモバイルインターネットユーザー数は7億2,400万人に達し、携帯電話を使用してインターネットにアクセスするインターネットユーザーの割合は、2016年末の95.1％から96.3％に増加しました。オンラインでの購入行動はますますPCからワイヤレス（APP）に移行しており、両者のギャップはさらに広がっています。そのため、主要な電子商取引プラットフォームのリソースもそれぞれのAPPに傾きつつあります。 PC と APP の最も明らかな違いは、ディスプレイ画面のサイズです。通常、スマートフォンのディスプレイ画面は 4.5 ～ 5.5 インチで、PC の画面サイズよりもはるかに小さくなっています。これにより、アルゴリズムと製品設計に新たな要件が課せられます。

現在、タオバオの商品タイトルは主に販売業者が作成しています。検索リコールを向上させ、取引を促進するために、販売業者はタイトルに大量の冗長な単語を積み重ねることがよくあります。ユーザーが携帯電話で閲覧する場合、長すぎる商品タイトルは画面サイズの制限により完全に表示できず、切り捨てられることしかできず、ユーザーエクスペリエンスに重大な影響を及ぼします。

図 1 に示すように、SRP ページでは、製品の元のタイトルが完全には表示されず、約 14 文字の短いタイトルのみが表示されます。ユーザーが完全なタイトルを取得したい場合は、さらにクリックして製品の詳細ページに入る必要があります。製品の元のタイトルには、約 30 文字が含まれています。さらに、パーソナライズされたプッシュと推奨のシナリオでは、情報の本体である製品の短いタイトルにも、長さに関する一定の制限があります。可能な限り短いテキストを使用して製品のコア属性を反映し、ユーザーのクリックと閲覧への関心を喚起し、コンバージョン率を向上させる方法は、深く研究する価値のある問題です。

図 1. ユーザーが「レディース 長袖 花柄 ワンピース」を検索すると、検索結果ページに表示される商品の元のタイトルが長すぎて、完全に表示されません。ユーザーは詳細ページをクリックして初めて完全なタイトルを見ることができます。

既存の方法

テキスト要約（圧縮）は、自然言語処理における重要な研究方向の 1 つです。要約の生成方法に応じて、抽出型と生成型の 2 つのタイプに分けられます。名前が示すように、抽出方式で生成される抽象文や単語は原文から抽出されますが、生成方式はより柔軟性が高く、抽象内の文や単語は原文から抽出される必要はありません。従来の抽出要約手法は、貪欲法、グラフベース法、制約ベース最適化法に大別できます。

近年、ニューラル ネットワーク手法はテキスト要約の分野にも応用され、特に生成要約手法において大きな進歩を遂げています。業界の既存の方法はすべて、テキスト要約を実現するための最適化目標として記事の長さを圧縮することを使用しています。電子商取引のシナリオでは、テキスト圧縮率以外にも考慮すべき点があります。全体的な取引変換率に影響を与えずに製品タイトルの長さを短縮する方法は、業界では難しい問題となっています。

方法の紹介

図 2 に示すように、本論文で提案するマルチタスク学習法には、2 つの Sequence to Sequence タスクが含まれています。主なタスクは製品タイトルの圧縮で、元の製品タイトルから短縮タイトルを生成します。ポインター ネットワーク モデルは、注意メカニズムを介して出力用に元のタイトルのキーワードを選択するために使用されます。補助タスクは検索クエリ生成で、元の製品タイトルから検索クエリを生成します。注意メカニズムを備えたエンコーダー デコーダー モデルが使用されます。 2 つのタスクはエンコーディング ネットワーク パラメータを共有し、元のタイトルに対する注意の分散を共同で最適化します。これにより、2 つのタスクは元のタイトルの重要な情報に可能な限り注意を払うようになります。

補助タスクを導入すると、メインタスクで元のタイトルの単語をより適切に保持し、より有益でユーザーのクリックを引き付けやすくなります。したがって、2 つのタスクのトレーニング データを構築します。メイン タスクに使用されるデータは、女性服カテゴリの製品の元のタイトルと、Taobao 推奨チャネルの専門家によって書き直された製品の短縮タイトルです。補助タスクに使用されるデータは、女性服カテゴリの製品の元のタイトルと、トランザクションにつながる対応するユーザー検索クエリです。

図2. マルチタスク学習フレームワーク、2つのSeq2Seqタスクが同じエンコーダを共有

主な貢献

1. この論文のマルチタスク学習法は製品タイトルを圧縮し、生成された短い製品タイトルは、オフライン自動評価、手動評価、オンライン評価において従来の抽出要約法よりも優れています。
2. エンドツーエンドのトレーニング方法により、従来の方法の大量の手動前処理と特徴エンジニアリングが回避されます。
3. マルチタスク学習における注意分布の一貫性設定により、元のタイトルの重要な単語、特に取引を導くことができるコア単語が、最終的に生成された製品の短いタイトルに明らかになります。これは、他の電子商取引のシナリオにとっても大きな意義があります。

実験結果

私たちは、Taobao の女性服カテゴリーの商品タイトルデータを使用して実験を行い、5 つの異なるテキスト要約方法を比較しました。

1 つ目は、ターゲットの長さを直接切り捨てるベースライン方式 (Trunc.) です。

2 つ目は、単語の分割、NER、用語の重み付けなどのタイトルの前処理を必要とする古典的な整数線形計画法 (ILP) です。

3つ目は、ポインタネットワーク実験に基づくエンコーダー-デコーダー抽出法（Ptr-Net）です。

4番目は、2つのサブタスクの損失関数を最適化のための全体の損失関数として直接追加するマルチタスク学習法（Vanilla-MTL）です。

5つ目は、本論文で提案したAttention分布の一貫性を考慮したマルチタスク学習法（Agree-MTL）です。

自動評価方法の比較

表1. 異なるテキスト要約方法によって生成された製品の短縮タイトルの自動評価結果

表1は、自動評価結果として生成された短いタイトルと参照短いタイトルの間の3つのROUGEスコアを計算することにより、さまざまなテキスト要約方法を比較しています。この論文で提案されたマルチタスク学習法は、他のいくつかの方法よりも大幅に優れています。

異なる方法の手動評価の比較

表2. 異なる方法で生成された製品の短縮タイトルの手動評価結果

表 2 は、さまざまな方法で生成された製品の短縮タイトルの手動評価の比較を示しています。電子商取引のシナリオにおける商品のコア商品単語は比較的敏感であるため、共通の読みやすさと情報量の指標に加えて、さまざまな方法で生成された短いタイトルにおけるコア商品単語の正確さも比較しました。表 2 の結果から、本論文で提案された方法が 3 つの指標すべてにおいて他の方法よりも優れていることがわかります。

オフライン自動評価と手動評価に加え、実際のオンライン環境でのABテストも実施しました。オリジナルのオンラインILP圧縮方法と比較して、本論文で提案したマルチタスク学習法は、CTRとCVR指標をそれぞれ2.58%と1.32%向上させました。

図 3 は、さまざまな方法で生成された製品の短いタイトルの例を示しています。前処理結果の影響を受けて、直接切り捨てと ILP という 2 つのベースライン方式で生成された短いタイトルは流暢性と可読性が低くなっています。一方、Ptr-Net とマルチタスク学習は Sequence-to-Sequence 方式に属しており、それらで生成された短いタイトルは 2 つのベースラインよりも可読性が優れています。

図 3 の左側の例は、本論文の方法で生成された短いタイトルによって、ユーザーの高頻度検索クエリ (ユーザーの検索クエリでは中国語のブランド名ではなく英語のブランド名が主に使用されている) に出現する単語が明らかになり、取引を促進する可能性が高くなることを示しています。

図3. さまざまな方法で生成された短いタイトルの例

要約する

マーチャントによる過度な SEO により、C2C 電子商取引プラットフォーム上の製品タイトルは通常長すぎて冗長になり、アプリに完全に表示することができません。この問題を解決するために、本論文では抽出要約法を使用して、長すぎる製品タイトルを圧縮します。 (前の文は以前に言及されていなかったようです) 従来の要約方法では、元のタイトルの意味を維持しながらタイトルを圧縮するだけで、電子商取引のシナリオで圧縮された製品のクリックスルー率とトランザクション変換率への影響は考慮されません。

電子商取引プラットフォームには、大量のユーザー検索クエリと商品取引情報が蓄積されています。このデータを使用することで、元の長いタイトルをより具体的に圧縮できます。そこで、我々は、2 つのシーケンス学習サブタスクを含むマルチタスク学習タイトル圧縮方法を提案します。メインタスクは、ポインター ネットワーク モデルに基づいて、元のタイトルから短いタイトルへの抽出要約を生成することであり、補助タスクは、アテンション メカニズムを備えたエンコーダー デコーダー モデルに基づいて、元のタイトルから対応する製品のユーザー検索クエリを生成することです。

エンコードパラメータは 2 つのタスク間で共有され、元のタイトルに対する 2 つのサブタスクの注目度分布が可能な限り一貫したものになります。 2 つの注目度分布は共同で最適化され、最終的にメインタスクによって生成された短いタイトルは、元の製品タイトルのコア情報を保持しながら、トランザクション変換を促進できるキーワードを明らかにする傾向が強くなります。

オフラインでの手動評価とオンライン実験により、提案された方法で生成された短いタイトルは、トランザクションのコンバージョン率に影響を与えることなく、読みやすさ、情報の完全性、コア製品の単語の正確さの点で従来の要約方法を上回ることが証明されました。

チーム: iDST-NLP

著者: 王金剛、田俊峰 (華東師範大学)、邱龍 (Onehome)、李盛、郎俊、斯洛、藍曼 (華東師範大学)