電子商取引検索アルゴリズム技術の進化

2018年9月28日、アリババの電子商取引検索部門は「未来を探して推奨する」をテーマにした技術サミットを開催した。

長年の開発を経て、検索および推奨アルゴリズムは、単純な統計モデルと機械学習から、完全なオフライン、オンライン、リアルタイムのディープラーニングとインテリジェントな意思決定システムへと進化しました。毎年、新しいアルゴリズムのブレークスルーが実現され、検索と推奨のエクスペリエンスと効果が大幅に向上し、電子商取引ビジネスの革新と発展を推進する新しいエンジンとなっています。本日は、これまでのアルゴリズムの進化を総括し、今後の電子商取引検索推奨アルゴリズムの発展について考察します。機械知能と人間の知能を融合した真の認知知能を実現し、検索と推奨における新しいインタラクティブな体験を実現することを期待しています。

[[245958]]

今日は、Qingfeng 先生をお招きして、検索アルゴリズム技術の開発についてご説明いたします。

1. タオバオ検索の特徴

Taobao には数十億の製品があり、数千のサブカテゴリ、数百の第 1 レベル カテゴリ、および 12 を超える業界に分類されています。ユーザーが自分の意図に合った商品を見つけられるようにすることが、Taobao 検索が解決しなければならない主な問題です。

全体的なアーキテクチャとプロセスの面では、Taobao 検索は従来の検索エンジンと多くの類似点があります。これには、データの整理、分析、インデックス作成によるインデックスライブラリの生成、ユーザーが入力したキーワードに基づくインデックス逆リストの検索方法、製品と検索間の関連性評価の完了、出力される結果のソート、および特定のユーザー関連性フィードバックメカニズムの実現が含まれます。

もちろん、電子商取引の製品検索に関しては、その自然な商業的属性により、独自の技術的特徴がさらにもたらされます。

データ更新の観点から見ると、Taobao のデータは非常に迅速に変更および更新されます。毎日大量の新製品データがウェブサイトにアップロードされます。新製品がアップロードされると、その製品を検索する必要があります。ウェブ検索とは異なり、誰でも新しいウェブページを公開できますが、それが検索エンジンに含まれるかどうかは別の問題です。同時に、Taobaoでは毎日大量の商品が絶えず更新されており、商品タイトルの説明の変更、商品価格の変更、商品画像の更新、商品の出品削除や削除などが含まれます。これらの変更も検索にリアルタイムで更新され、ユーザーがタイムリーに更新された商品情報を見つけられるようにする必要があります。しかし、ネットワーク全体の検索では、多くのウェブページは静的であり、ウェブページ間の関係はゆっくりと変化します。大量のインデックスの更新には、Taobao 検索のようなリアルタイムの要件はありません。

検索データソースから判断すると、Taobao 商品の写真はユーザーの調査や購入プロセスにおいて大きな役割を果たしており、検索結果の大部分は写真で占められています。写真の情報をどのようにより効果的に活用するか、写真に基づいて検索するか、写真の品質、写真とテキストの関係などを考慮するか、これらはすべて Taobao 検索が考慮して処理する必要があることです。

もう一つの機能はフルリンク機能です。検索、比較、購入はすべてタオバオサイト上で行われます。一般的なフルネットワーク検索エンジンとは異なり、ユーザーは検索後に他のウェブサイトにジャンプするため、検索前後のユーザー行動データを取得することは困難です。タオバオで検索する場合、ユーザーは検索を終えた後、いくつかの商品をクリックして比較し、販売者とコミュニケーションを取り、注文して購入するか、戻って検索を続けます。検索前、検索中、検索後のデータと情報は非常に豊富です。フルリンクのユーザー行動データがあれば、より優れた検索ランキングアルゴリズムを設計するのに役立ちます。

***さらに重要なのは、Taobao がエコシステムであるということです。検索ランキングアルゴリズムの設計は、検索自体の技術的な追求を反映するだけでなく、より商業的な要求も含んでいます。フルウェブ検索では、一般的なウェブページがインデックスされているかどうか、またインデックスされた後に表示できるかどうかは、ウェブページの所有者にとって生死に関わる決定事項ではありません。タオバオでは全く違います。多くの商人がタオバオを利用して人々の生活や雇用の問題を解決しています。オンラインストアのトラフィックと取引は多くの人々の生活に関係しています。 Taobao 検索アルゴリズムの設計では、公平性とトラフィックの分散を確保するために、ユーザーの検索エクスペリエンスとビジネス ルールの両方を考慮する必要があります。多くの検索アルゴリズムの原則、ルール、またはアルゴリズムの結果が販売者に提供され、販売者がより良い方向に進むよう導きます。

[[245959]]

2. 検索アルゴリズム技術の進化

タオバオ検索は、タオバオの膨大な消費者とプラットフォームの相互作用、およびプラットフォーム上の多数の商人の商業活動の主なキャリアとして、ビッグデータのインテリジェントな応用の最大のシナリオです。タオバオ検索アルゴリズムの開発の数年間で、エンジニアリングアーキテクチャシステムの段階的な改善に依存して、単純な手動操作と単純なアルゴリズムルールの時代から、完全なオフライン、オンライン、リアルタイムのディープラーニングとインテリジェントな意思決定システムの形成への移行を徐々に実現し、アリババの電子商取引プラットフォームのトラフィックの分散とビジネス駆動のインテリジェントな中心になりました。検索アルゴリズム技術の反復的な進歩を要約すると、おおよそ次の4つの段階に分けることができます。

2.1 検索時代

この段階はビジネスに相当し、検索ランキングは主にルールとカルーセルを中心に展開されます。この段階では、データ量とユーザー数はまだ制御可能なレベルにあります。ドメイン知識を持つ専門的な運用と製品は、情報表示ルールの作成者として機能し、主観的な判断と市場の感度に基づいて、検索用語の背後にある製品表示ロジックを策定することがよくあります。もちろん、この段階では、検索はいくつかの基本的なアルゴリズムロジックを使用して、情報のマッチングの正確性と人と商品のマッチングの公平性を確保します。従来の検索エンジン技術に基づく関連性モデルは、ユーザーの検索用語と製品タイトルの効果的なマッチングを確保します。製品の販売の有無に基づく販売人気モデルは、消費者に受け入れられた製品がより多くの表示機会を得ることを保証します。

しかし、一般的には、最高のランキングを得るために、さまざまな関連要素が人為的なルールに基づいて組み合わされます。 「手動ルール」の利点は、理解しやすく操作しやすいことですが、欠点は明らかです。プラットフォームの規模が大きくなるにつれて、単純なルールでは人と商品のマッチングの効率を正確に表現できなくなり、一部の悪徳商人がルールを利用して市場秩序を乱すことが容易になります。

2.2 大規模機械学習の時代

プラットフォームの拡大に伴い、大規模な商店が進出し、積極的に店舗を運営し、プラットフォーム上で商品を公開しています。比較的構造化された商品整理システム、カテゴリ構造、属性情報、商品をキーとした売上の蓄積、レビューの蓄積は、商品をより深く理解するための重要なオリジナルデータを蓄積しています。消費者は、あらゆるレベルのページで商品を検索することで、プラットフォームとより頻繁に対話しています。データの整理は、人をキーとする構造システムを形成し、フィードバック信号もクローズドループシステムで効果的に循環させることができます。これらすべてが、ユーザーを理解するための重要なデータを蓄積しています。

有効なデータの蓄積は、機械学習技術を大規模に適用して問題を解決するために必要な土壌を提供します。検索は、クリック予測モデルなどのさまざまな大規模モデルの研究開発にも参入し、大規模なデータ機能スケール、高機能複雑性、高データ適時性、頻繁なモデルトレーニングなどに関する問題を研究し、ますます増加するコンピューティング処理能力を使用して、数百万、さらには数十億の超大規模データを分析およびマイニングしています。この時点で、ソートには、当初のカテゴリ関連性とテキスト関連性、および商品人気スコアから、ますます多くの要素が関与するようになりました。その後、販売者トラフィックのバランスをとるために、販売者スコアが追加されました。その後、より良いユーザーエクスペリエンスを提供するために、人や商品のパーソナライズされたクリック予測、画像品質などの要素が追加され、同様のLearning to Rank（LTR）メソッドを使用して、商品のクリックとトランザクションデータに基づいて学習サンプルを構築し、ソートの重みを回帰するように学習しました。

2.3 大規模リアルタイムオンライン学習の時代

まず、一般的な検索と比較して、電子商取引の検索ではリアルタイムのコンピューティング/学習に対する要件が高くなります。ユーザーはより豊富な多次元のインタラクションとより長いブラウジング リンクを利用できるようになります。したがって、リンクの初期段階でのユーザーの行動をシステムがリアルタイムでキャプチャし、エンジンにモデル化してリンクの後の段階で対応できれば、リンク全体の効率とユーザー エクスペリエンスにとって非常に重要になります。

第二に、ユーザー行動の分布は静的ではなく、オフライントレーニングの教師あり学習アルゴリズムが依存する独立かつ同一に分布する仮定を破ります。特に、ダブル11などの大規模なプロモーションシナリオでは、1日のトラフィックが通常の数日間のトラフィックに相当し、分布の変化はより劇的になります。

***、検索および表示される製品の数が限られているため、ログシステムに入り、ユーザーのフィードバックを得ることができる製品セットは、製品セット全体の一部のみを占めます。そのため、オフライントレーニングとオンライントレーニングの間に矛盾が生じます。この矛盾は、オンライン学習システムを通じてある程度緩和できます。

そこで、私たちは、膨大なユーザー行動とそれに関連する膨大な製品を数秒以内にリアルタイムで分析・処理し、そこから多次元のユーザー/製品データの特徴を抽出し、分散パラメータサーバーアーキテクチャを使用してオンライン学習を行うリアルタイムコンピューティングおよびオンライン学習システムを構築しました。これにより、ユーザー行動が数秒以内に検索ランキングなどのオンラインサービスに影響を与えることができるようになりました。

「リアルタイム機能」→「リアルタイムランキングファクターモデル」→「リアルタイムトップレベルLTR/バンディットモデル」を段階的に実装し、三位一体のリアルタイム構築を完了しました。当社は、第2レベル更新を備えたポイントワイズベースのFTRL、ペアワイズベースのリアルタイム行列分解モデル、リアルタイム双線形モデルなどの一連のマイクロ機能を順次実装してきました。これに基づいて、リアルタイムランク付け学習とリアルタイムマルチアームバンディットなどのマクロ制御モデルを実現し、デュアルリンクリアルタイムシステムのアップグレードを実現しました。

同時に、オンライン学習システムはトラフィックの正確な規制を強力にサポートし、ビジネス上の意思決定をより迅速かつ効果的に行うことができます。さらに、オンライン学習のアルゴリズム部分を抽象化し、汎用的なワンストップオンライン機械学習アルゴリズムプラットフォームAOP（Algorithm One-stop Platform）を構築しました。これにより、オンライン学習モデルの構築と展開がより便利で効率的になり、拡張性も高まります。現在までに、オンライン学習システムは検索アーキテクチャの基本コンポーネントの 1 つとなり、ユーザーの検索エクスペリエンスの向上、ビジネス上の意思決定のサポート、ダブル 11 などの主要なプロモーション効果のサポートに大きな役割を果たしています。

2.4 ディープラーニングとインテリジェントな意思決定の時代

ディープラーニングと強化学習に代表される人工知能は、特にセマンティック検索、検索パーソナライゼーション、インテリジェントな意思決定の 3 つの領域において、検索技術に新たな変化をもたらしました。

セマンティック検索の分野では、クエリ表現学習フレームワークを設計し、実装しました。マルチタスク学習と協調トレーニング技術を通じて、クエリのラベル付け、カテゴリ予測、書き換え、推奨などの一連のアプリケーションに統一された表現ベクトルを提供します。同時に、製品コンテンツの理解、製品のインテリジェントな創造性、製品のセマンティックリコール、セマンティックマッチングのための統一された製品表現を提供する製品表現学習フレームワークも実装しました。クエリと製品表現フレームワークに基づいて、セマンティックリコールとセマンティック類似性モデルを実装し、リテラルマッチングからセマンティックマッチングへの質的変化を完了しました。さらに、セマンティック検索は、検索結果の関連性を高め、ユーザーエクスペリエンスを向上させるだけでなく、Taobao の商品タイトルに人気キーワードが重なる問題をある程度抑制することもできます。

検索パーソナライゼーションの分野では、当社は数々の技術を通じてオリジナルのパーソナライゼーション システムをアップグレードしてきました。マルチタスク学習のディープ ユーザー パーソナライゼーション モデルを通じて、膨大なユーザー行動ログからユーザーの共通表現を学習し、ユーザー行動認識、嗜好推定、パーソナライズされたリコール、パーソナライズされたソートなどのタスクに活用できます。マルチモーダル融合学習を通じて、商品のテキスト、画像、ラベル、ブランド、カテゴリ、店舗、統計的特徴などの多次元の特徴を自動的に融合し、統一された商品表現を形成できます。オンライン ディープ ソート学習を通じて、ユーザー ステータスを統合し、数千人を対象に、より正確なソート モデルを実現しました。ベクトル リコール エンジンを通じて、より優れた一般化されたリコール結果を取得し、キーワードとパーソナライズされたマッチングの深度を効果的に向上させました。ディープ トランスファー ラーニングを通じて、検索以外のさまざまなシナリオに検索パーソナライゼーション テクノロジーを幅広く適用しています。パーソナライゼーションの分野でこれらのディープモデルが広く使用されるようになり、パーソナライゼーション システムの精度が大幅に向上しました。

インテリジェント意思決定の分野では、検索プロセス中のユーザーとエンジン間のインタラクション特性に基づいてユーザーの意思決定シーケンスをモデル化し、検索セッションのマルコフ決定プロセスモデルを提案し、強化学習を検索ランキングに導きました。同時に、異なるシナリオでの検索結果の収束と露出の無駄という問題に対処するために、環境認識、シーンコミュニケーション、個々の意思決定、複数の異種シナリオ間の共同学習を実現し、一方を犠牲にして他方を失うのではなく共同の利益を最大化するマルチエージェント協調学習法を提案しました。

「検索時代→大規模機械学習時代→大規模リアルタイムオンライン学習時代→ディープラーニングとインテリジェント意思決定時代」という4つの歴史的段階の努力と蓄積を経て、私たちは徐々に今日の検索アルゴリズムのランキングシステムを形成してきました（下図参照）。

3. 今後の展開：認知知能の探究

上記のように、長年の開発を経て、アリババ電子商取引の2つの最大の自然トラフィックの入り口である検索と推奨は、AIに全面的に取り組み、ユーザーの好みのオンライン学習、トラフィックの洗練されたマッチング、強化学習に基づくインテリジェントな意思決定機能を含む完全なショッピング意思決定システムを形成しました。

しかし、このプロセスでは、検索ランキングや推薦によって得られる知識は、既存の商品ラベルデータやユーザー行動データを通じて得られるものがほとんどであり、商品やユーザーに対するより深い理解がまだ不足しており、ユーザーの多様な意図表現から真のニーズを完全に理解することは不可能です。たとえば、ユーザーが「セクシーなドレス」を検索する場合、そのユーザーは「夜のパーティー用のローカットのイブニングドレス」や「ビーチでの休暇用のオフショルダーのビーチドレス」を探している可能性があります。ユーザーが「ハイキングシューズ」や「松葉杖」を収集している場合、「ハイキング用品」の需要があり、ハイキング用品に関連する他のカテゴリの製品をさらに発見する必要がある可能性があります。子供を持つ父親が夏休みの初めに「コンバーター」を選択して「大英博物館のチケット」をチェックした場合、その父親は家族を「英国での夏の親子ツアー」に連れて行きたいと考えており、他のカテゴリで関連製品をさらに発見する必要があることを意味します。

その理由は、人工知能技術、特にディープラーニングに代表されるモデルが、主に膨大なビッグデータと大規模なコンピューティングパワーの恩恵を受け、現実世界のアプリケーションで急速に発展しているためです。人工知能は、物理世界のデジタル抽象化とプログラム学習を通じて、限られた知識を獲得する強力な能力を備えていますが、データを超えた知識を獲得することは困難であり、知識の類推、転送、推論は言うまでもありません。自律的な学習や発見、さらには創造力といった機械の認知知能は、人工知能のより高度なレベルです。もちろん、一般的な人工知能にはまだやるべきことがたくさんありますが、このプロセスでは、まず人間の知識と機械知能を組み合わせて予備的な認知知能を実現し、Taobaoの検索と推奨をスマートな体験にする方法が、現在私たちが模索している方向性です。

認知インテリジェンスを実現するには、まずユーザー、製品、販売者などをより深く理解し、電子商取引分野における認知知識システムを体系的に構築する必要があります。下の図は、私たちが定義した電子商取引の人・商品・場所の3次元認知マップを示しており、ユーザー、シナリオ、カテゴリー（タオバオカテゴリー/仮想カテゴリー）、製品の4つの部分で構成されています。これらの異なるタイプの概念は異種グラフを形成し、ユーザー、シナリオ、製品間の接続と、さまざまな次元でのデータの深い理解を実現します。

図: 人、商品、場所の3つの次元で構成される電子商取引認知マップの例

シナリオは、製品の関係性の意味的な記述、ユーザーのニーズの概念的な表現、そしてユーザーと製品をつなぐ架け橋です。製品側から見ると、シーンは意味的解釈による製品関係の記述として理解できます。たとえば、「中秋節の贈り物」という同じシーンに属する製品は、中秋節の贈り物であるという属性を持っています。ユーザーの視点から見ると、シナリオは「屋外バーベキュー」、「休暇の服装」など、ユーザーのニーズを概念的に説明したものと考えることができます。そのため、シーンはユーザーと商品をつなぐ架け橋ともいえます。これらのシナリオ関係は、行動データマイニングや業界または専門家の知識からの入力を通じて取得できます。シーン、カテゴリ、製品は最終的に統一されたシーン マップを形成します。

このような認知マップシステムにより、推論と計算を通じてユーザーの実際のシーンの要求を特定することで、検索と推奨の認知インテリジェンスを徐々に実現することができます。これには、認知インテリジェンス システムのもう 1 つの重要な部分、つまり認知グラフに基づくオンライン グラフ コンピューティングおよび推論エンジンが関係します。コンピューティングおよび推論エンジンにより、ユーザーのニーズが行動的に表現される場合は、ユーザーの需要シナリオを認識し、ユーザーのより深いニーズを探索して満たすことができます。ユーザーのニーズが行動的に表現されない場合は、時間、場所、ユーザー グラフなどの情報に基づいてユーザーのニーズを拡大および刺激します。同時に、オンライン配信データとユーザー フィードバックに基づいて、シナリオ マイニングと認知グラフの構築を最適化し、シナリオを継続的に修正および発見し、推論機能を向上させます。

認知グラフとオンライングラフコンピューティングおよび推論エンジンの背後には、一方では、知識表現の保存と推論、情報検索、自然言語処理などの従来の技術を含む、すでに蓄積された一連の技術の詳細な応用があります。他方では、認知グラフは、近年飛躍的な進歩を遂げたディープラーニング、強化学習などの技術と深く統合できます。たとえば、エンティティと関係のベクトル化表現（埋め込み）により、エンティティの検索と関係の推論が離散的から連続的に移行します。認知グラフは、既存のディープスーパービジョンネットワークと最適化制約として統合され、ルールを単純に有効にするのではなく、ドメイン知識をよりスムーズにモデルに適用します。知識推論のプロセスに順次決定プロセスモデリングが導入され、強化学習を使用して検索空間を縮小し、推論プロセスを加速します。

認知グラフとオンライン推論エンジンにより、グローバル検索推奨、ショッピングガイド、インテリジェントインタラクション、コンテンツ生成など、さまざまな分野でさまざまな微妙な化学反応が発生します。認知アプリケーションのプロセスでは、認知推論結果に関するユーザーフィードバックに基づいて、システムは認知グラフと推論アルゴリズムを継続的に反復して最適化し、それによって認知コンピューティング機能を向上させます。徐々に、自己学習、推論、検証機能を備えた包括的な電子商取引認知インテリジェント システムを構築できるようになります。

IV. 要約

長年にわたる検索推奨アルゴリズムの発展は、商品と人とのつながりとそれに応じたビジネスニーズを中心に展開してきました。初期のシンプルな統計モデルと機械学習から、完全なオフライン、オンライン、リアルタイムのディープラーニングとインテリジェントな意思決定システムの形成に至るまで、接続のマッチング品質を高め、接続の幅を広げるために自己突破を続けています。同時に、メカニズム設計を通じてビジネス全体とエコシステムの健全な発展を促進し、新しいビジネス全体の発展を牽引するエンジンとなっています。本日は、これまでのアルゴリズムの進化を総括し、今後の電子商取引検索推奨アルゴリズムの発展について考察します。機械知能から、機械知能と人間の知能を融合して真の認知知能を実現し、検索推奨における新たなインタラクションと新たな体験を実現する方法へと移行していくことを期待しています。

[[245960]]

著者について: Qing Feng、検索推奨アルゴリズムのテクニカルディレクター、Alibaba の研究者

[この記事は51CTOコラムニスト「アリババオフィシャルテクノロジー」によるオリジナル記事です。転載については原著者にお問い合わせください。]

この著者の他の記事を読むにはここをクリックしてください