アリババの年次技術概要: 検索における人工知能の応用と実践

[51CTO.com からのオリジナル記事] ディープラーニングに代表される人工知能は、画像、音声、NLP の分野で画期的な進歩をもたらしました。近年、情報検索やパーソナライゼーションの分野でも多くの公開文書が出ています。たとえば、ワイド＆ディープはディープモデルとシャローモデルの組み合わせを実現し、dssm は意味的関連性の計算に使用され、deepfm は特徴の組み合わせ能力を高め、deep CF はディープラーニングを使用して協調フィルタリングを実現し、rnn レコメンデーションは行動シーケンス予測を使用してパーソナライズされた推奨を実現します。産業グレードの情報検索またはパーソナライゼーション システムは、複雑なシステム エンジニアリングです。ディープラーニングを産業グレードに適用するには、強力なシステム コンピューティング パワー、優れたモデル設計能力、適切なアプリケーション シナリオという 3 つの条件が必要です。私たちは、過去 1 年間の検索におけるディープラーニングの探求を整理し、ディープラーニング システム、ディープラーニング アルゴリズム、検索アプリケーションの実装に関する私たちの進歩と考え方を簡単に紹介しました。皆様にとって刺激となることを願っています。

検索におけるディープラーニングの応用は、次の 4 つの側面に要約できます。

まず、システムです。強力なディープラーニングトレーニングプラットフォームとオンライン予測システムは、ディープラーニングアプリケーションに必要な条件です。現在、当社のオフラインディープラーニングフレームワーク、オンラインディープラーニングフレームワーク、オンライン予測フレームワークはTFに統合されており、ログ処理、特徴抽出、モデルトレーニング、オンラインサービス展開のエンドツーエンドのプロセスが実現されており、アルゴリズムの反復効率が大幅に向上しています。

2つ目は検索アプリケーションであり、インテリジェントインタラクション、セマンティック検索、インテリジェントマッチング、インテリジェント意思決定の4つの技術方向が含まれます。これら4つの方向の共同イノベーションにより、検索チェーン全体のディープラーニング技術のアップグレードが実現され、従来の単一シナリオ単一目的最適化から複数シナリオ多目的共同最適化へと移行する能力を備えています。

3つ目は、モデル圧縮、量子化、低ランク分解、バイナリネットワークなどのパフォーマンス最適化に関する取り組みです。大量の技術研究とデモンストレーションにより、ディープラーニングモデルの予測パフォーマンスの向上と、将来のソフトウェアとハ​​ードウェアの協調最適化に向けた優れた技術基盤が築かれました。

***は、PC製品検索、ワイヤレス製品検索、店内検索、店舗検索の検索サービスの統合を実現するソートプラットフォームです。機能とモデルの再利用により、複数のビジネスラインでの技術の迅速なアップグレードを実現します。以下では、4 つの方向での主な進捗状況とその背景にある考え方を簡単にまとめます。

次の図は、検索システムとアルゴリズムの簡略化された図です。

検索システムとアルゴリズムの簡単な図

システムには以下が含まれます:

a. オフライン データ プラットフォーム ODPS は、オフライン ログ結合、特徴抽出、オフライン モデル推定を行い、ランキング特徴を出力します。ユーザーの性別ラベルや製品キーワードなど、時間にあまり敏感でない特徴はすべて、オフライン データ プラットフォームを通じて生成されます。

b. オフライン機械学習プラットフォームであるPAIは、主流のパラメータサーバーとTFディープラーニングフレームワークに基づいています。このプラットフォームは、ほとんどの機械学習アルゴリズムモデルの並列トレーニングと予測を実装しています。検索アプリケーションでは、主にオフラインモデルをトレーニングして、オフラインランキング機能モデルを生成します。

c. Porsche、ストリーミングコンピューティングとオンライン学習プラットフォーム。ストリーミングコンピューティングはblinkに基づいており、リアルタイムのログ解析と機能結合を担当し、リアルタイムのソート機能を生成します。オンライン学習とオフライン学習の基本的なフレームワークは同じです。主な違いは、データソースへの依存といくつかの最適化方法にあります。ユーザー行動と市場環境の急速な変化により、ストリーミングコンピューティングとオンライン学習は検索アプリケーションで広く使用されており、多くのオンライン学習と強化学習アルゴリズムが蓄積されています。

d. オンライン サービス プラットフォームには、エンジン、ソート サービス、検索プラットフォームが含まれており、オンライン サービスの配信、インデックス クエリ、ソート サービス、結果のマージなどを担当します。検索ソート戦略、関連性、パーソナライゼーションなどのモデルは、主にオンライン予測サービスを通じて実装されます。長年の開発を経て、当社はナレッジグラフ、単語分割、タグ付け、カテゴリ予測、意図予測、スペル修正、クエリ推奨、クエリ意味書き換え、関連性、製品タグ、製品品質、店舗階層化、ユーザープロファイル、ユーザー嗜好、ユーザー認識、リコール戦略、パーソナライズモデル、多様性戦略、異種サービス混合配置戦略、多目的共同最適化戦略、マルチシナリオ共同ソート戦略などを含む非常に完全な製品検索およびランキングアルゴリズムシステムを開発し、プラットフォームベースの方法で関連するビジネスチームに力を与えています。

システム開発には機械学習プラットフォームやオンライン予測プラットフォームが含まれる

機械学習プラットフォーム。検索トレーニング サンプルは主にユーザー行動から得られます。ユーザー行動はストリーミング データであるため、オンライン ディープラーニングに適しています。ただし、モデル パラメータが非常に大きく、多数のサンプルが必要な場合、オンライン学習は収束に長い時間がかかります。この場合、通常、最初にオフライン事前トレーニングを実行し、次に増分学習またはオンライン学習と組み合わせます。また、一部のモデルでは、オフライン事前トレーニング後に出力層に近いネットワークの微調整のみが必要です。検索の実際のアプリケーションには、オフライン機械学習プラットフォームPAIとオンライン機械学習プラットフォームPorscheが含まれます。現在、2つのプラットフォームのディープラーニングフレームワークはtf-paiに統合されています。tf-paiは、基盤となる通信、スパースパラメータストレージ、最適化方法、GPUメモリ最適化など、ネイティブtfにいくつかの最適化を施しました。ネイティブtfと比較してトレーニングの深さが大幅に向上し、数千億のサンプルと数百億のパラメータを持つディープモデルをトレーニングするプレッシャーがありません。

PorscheとPAIはどちらもGPUをサポートしていますが、検索アプリケーションではCPUが依然として主流であり、GPUアプリケーションは比較的まれです。主な理由は、パーソナライズが画像や音声に比べて比較的単純であり、特徴抽出ネットワークが比較的浅く、次元が比較的低いためです。GPUの高密度マトリックスコンピューティングパワーを十分に活用することはできません。同時に、オンラインとオフラインのハイブリッド展開後、トラフィックの少ない期間中にオンラインサービスの大量のアイドルCPUが解放されます。一時的にアイドル状態のCPUをディープラーニングのトレーニングに使用することは非常に良いアイデアです。

オンライン RTP 推定、検索、並べ替え、スコアリング サービス。各検索リクエストにはランキングスコアを計算する必要がある何千もの製品が関係するため、ディープモデルアプリケーションは RTP サービスに大きな負荷をかけます。RTP は、異種コンピューティング、コンピューティング演算子、およびモデルシャーディングを採用することで、ディープモデル推論コンピューティングとストレージの問題を解決します。ディープモデルは GPU を使用し、シャローモデルは CPU を使用します。今年のダブル 11 では、RTP サービスは検索に 550 枚の GPU カードを使用しました。さらに、RTP は、オフライン/オンラインのトレーニング モデル/データとオンライン予測サービスの展開との間のシームレスな接続も実現します。アルゴリズムによってトレーニングされたモデルまたはデータは、オンライン サービスとして簡単に展開できるため、アルゴリズムの反復の効率が向上します。

アルゴリズムには、インテリジェントインタラクション、セマンティック検索、インテリジェントマッチング、検索戦略の4つの方向性が含まれています。

インテリジェントなインタラクション

製品検索はインタラクティブな製品推奨です。ユーザーはキーワードを通じて検索意図を入力し、エンジンは検索意図に一致するパーソナライズされた推奨結果を返します。優れたインタラクティブ技術は、ユーザーが検索エンジンをより効果的に使用するのに役立ちます。現在、検索インタラクションは主にアクティブなキーワード入力とキーワード推奨であり、検索ボックスのデフォルトのクエリ用語や検索結果のテキストリンクなどです。推奨エンジンは、ユーザーの検索履歴、コンテキスト、行動、ステータスに基づいてキーワードを推奨します。

キーワード推奨と商品推奨の違いは、キーワード推奨が検索チェーンの中間リンクであることです。キーワード推奨のメリットは、キーワードのクリック動作に加えて、推奨キーワードのその後の動作で商品クリック、カートに追加、取引があるかどうか、または別のキーワードにジャンプするかどうかなど、ショッピングチェーン全体への影響も考慮する必要があります。これは、典型的な強化学習の問題です。アクションは推奨キーワード候補セット、状態はユーザーの現在の検索キーワード、コンテキストなど、メリットは検索によって誘導された取引です。受動的なキーワード推奨に加えて、検索におけるより能動的なインタラクション方法も考えています。これは、ショッピングガイドのような双方向のインタラクションを実現し、ユーザーに積極的にニーズを尋ね、パーソナライズされた製品を選択し、パーソナライズされた推奨理由を提供するものです。現在、アリババ検索チームは、スマートショッピングガイドとスマートコンテンツの方向で技術的なプロトタイプとデモンストレーションに取り組んでいます。スマートショッピングガイドは、テクノロジーの面で主に対話システムを利用しており、ユーザーとエンジン間の対話をガイドしてキーワード推奨方法を補完します。これには、自然言語理解、対話戦略、対話生成、知識推論、知識質疑応答、製品検索モジュールが含まれます。主な機能は次のとおりです。

a. ユーザーの検索コンテキストに基づいて、ユーザーが積極的に対話するように誘導するテキストを生成します。たとえば、「粉ミルク」を検索すると、「赤ちゃんは何歳ですか？0〜6か月、6か月〜1歳...」などの誘導テキストが生成され、ユーザーに検索意図を絞り込むように促します。ユーザーが「3か月」と入力すると、対応する粉ミルクが呼び出され、その後の検索では、「3か月の赤ちゃん」の対話ステータスが記憶され、「以下は3か月の赤ちゃんに適した粉ミルクです」というプロンプトが表示されます。

b. 知識ショッピングガイド。販売前の質疑応答やヒント、「生後3か月の赤ちゃんはどんな粉ミルクを食べればいいですか？」などの質問と回答が「1段落」含まれています。現在、対話技術は、特にマルチラウンドの対話状態追跡、知識質問と回答、自動評価の面で向上しています。しかし、深層学習、強化学習、生成的敵対学習などの技術がNLP、対話戦略、読解などの分野に応用され、トレーニングデータとアプリケーションシナリオがますます増えるにつれて、ドメイン固有の対話技術は今後数年間で急速に進歩するはずです。製品やリストの「セールスポイント」、短いタイトル、テキストの要約などの生成や手動生成の支援を含むインテリジェントなコンテンツ生成により、Taobao の製品表現はよりパーソナライズされ、多様化します。

セマンティック検索

セマンティック検索は、主にキーワードと商品コンテンツ間の意味的ギャップを解決するために使用されます。たとえば、「2～3 歳児用ベビーコート」を検索する場合、キーワードに従ってマッチングすると、リコール結果は実際の意味的に一致した商品よりもはるかに小さくなります。

セマンティック検索の範囲には主に次のものが含まれます。

a. 新製品、年齢、サイズ、店舗名、属性、カテゴリなどの検索意図の認識と正規化などのクエリのタグ付けと書き換え。クエリタグ付けモデルは、古典的なシーケンスラベリングモデルbi-lstm + CRFを使用し、ラベル分類（正規化）はモデルの別のタスクであり、学習のためにシーケンスラベリングと分類を統合します。

b. クエリ書き換えは主にクエリ間の類似性を計算し、クエリを複数の意味的に類似したクエリに書き換えます。通常の方法は、最初にさまざまな書き換え戦略を使用して、単語の置換、ベクトル化後の上位 k、クリック製品の類似性などの書き換え候補クエリのセットを生成し、次に ltr を使用して後続のセットをソートして適切な書き換えセットを見つけることです。モデルの設計とトレーニングは比較的簡単ですが、より難しいのは、高品質のトレーニング サンプル セットを構築する方法です。オンラインでは、バンディット メソッドを使用して一部のクエリ書き換え結果の長所と短所を検出し、オフラインでは、ルールと生成的敵対ネットワークを使用して高品質のサンプルのバッチを生成します。

c. 製品コンテンツの理解とセマンティック ラベル付け: 製品にラベルを付けたり、製品画像、詳細ページ、レビュー、同義語、下位語、その他の単語を通じて製品インデックス コンテンツを拡張したりします。たとえば、画像タグ付けテクノロジを使用して画像のテキスト ラベルを生成し、製品コンテンツを充実させたり、さらに進んで画像ベクトルとテキスト ベクトルを直接結合してリッチ メディアの検索とクエリを実現したりします。

d. セマンティックマッチング。従来の DSSM モデル技術では、クエリと製品をベクトルに変換し、ベクトルの内積を使用してセマンティック類似性を表現します。質問応答や読解におけるセマンティックマッチングには、多層 LSTM + アテンションが広く使用されています。同様に、高品質のサンプル、特に高品質のネガティブサンプルが、モデルの品質を大きく左右します。サンプリング効率が非常に低いランダムネガティブサンプリングは使用しません。代わりに、文字通り類似しているが関連性のないクエリと関連ドキュメントを生成することで、eコマースナレッジグラフに基づいてネガティブサンプルを生成します。

上記から、クエリのタグ付け、クエリの類似性、セマンティック マッチング、セマンティック関連性は、目的は異なりますが相関関係が非常に高い複数のタスクであることがわかります。次のステップは、統一されたセマンティックコンピューティングフレームワークを使用して、次のようなさまざまなセマンティックコンピューティングタスクをサポートすることです。

1. 製品コンテンツに基づいた製品表現学習フレームワークを開発し、製品タイトル、属性、詳細ページ、レビューなどのテキスト情報抽出、画像特徴抽出、マルチモーダル信号融合に重点を置き、製品コンテンツの理解、コンテンツ生成、製品の想起と関連性のための統合された製品表現学習フレームワークを提供します。

2. クエリ表現学習フレームワーク: 複数のクエリ類似性タスクを通じて統一されたクエリ表現学習モデルのトレーニングに重点を置き、クエリカテゴリ予測、クエリ書き換え、クエリ推奨などの統一された表現学習フレームワークを提供します。

3. セマンティックリコールやセマンティック関連性などのビジネスアプリケーションモデルフレームワーク。セマンティック検索は、検索結果の関連性を高め、ユーザーエクスペリエンスを向上させるだけでなく、Taobao の商品タイトルに人気キーワードが重なる問題をある程度抑制することもできます。

スマートマッチング

これは主にパーソナライズとソートを指します。内容は次のとおりです:

a. ibrain（ディープユーザー知覚ネットワーク）、検索や推薦におけるパーソナライズの焦点は、ユーザーの理解と表現です。タオバオのユーザーポートレートの静的特徴とユーザー行動の動的特徴に基づいて、マルチモーダル学習、マルチタスク表現学習、LSTM関連技術に基づいて、大量のユーザー行動ログからユーザーの共通表現を直接学習します。この学習方法は、「経験の要約」と「推論を他のケースに適用する」ことに優れており、取得したユーザー表現をより基本的かつ包括的にし、ユーザー行動の識別、嗜好推定、パーソナライズされた想起、パーソナライズされたソートなどのタスクに直接使用できます。検索、推薦、広告などのパーソナライズされたビジネスでの幅広い応用シナリオがあります。知覚ネットワークは100億を超えるパラメータを持ち、数千億のユーザー行動を学習しており、中断のない増分学習を維持してより賢くなります。

b. マルチモーダル学習：タオバオの商品には、テキスト、画像、タグ、ID、ブランド、カテゴリ、店舗、統計的特徴があり、これらの特徴はある程度重複し、互いに補完し合っています。私たちはマルチモーダル学習を使用して、マルチモーダル共同学習方法を通じて多次元の特徴を統合し、統一された商品標準を形成し、マルチモーダル共同学習に自己注意を導入して、さまざまなシナリオでの特徴次元の違いを実現します。たとえば、女性服では画像の特徴がより重要であり、3Cではテキストがより重要です。

c. deepfm: ワイド＆ディープモデルと比較して、deepfm は特徴の組み合わせ能力が向上しています。事前知識に基づく組み合わせた特徴をディープラーニングモデルに適用して、モデルの予測精度を向上させることができます。

d. オンラインディープソートモデルでは、行動タイプや製品の重要度の違いにより、各サンプルの学習重みが異なります。サンプルプールで重みの大きいサンプルを繰り返しコピーして学習することで、モデル学習の安定性が効果的に向上します。同時に、ユーザーステータスディープLTRモデルを統合することで、人ごとのソートモデル学習を実現します。

e. グローバルソート: LTR は単一のドキュメントのみにスコアを付け、LTR スコアと分散ルールに従ってソートします。これにより、検索結果が均質になりやすく、ページ全体の効率に影響します。グローバルソートでは、既知のソート結果をコンテキストとして使用して次の項目のクリック確率を予測し、ページ全体のソート効率を効果的に向上させます。

f. さらに、このプロジェクトでは、ユーザーと製品のベクトルに基づくベクトルリコールエンジンも実装しました。転置インデックスと比較して、ベクトル化されたリコールエンジンはより強力な一般化機能を備えており、セマンティック検索やパーソナライズされたマッチングの深さの向上に非常に役立ちます。これにより、リコール、ソート機能、ソートモデル、パーソナライゼーション、再ランキングまでの検索のディープラーニングアップグレードが実現し、Double 11ワイヤレス製品検索の検索指標が10％以上（ABテスト）向上しました。

インテリジェントな意思決定を実現するためのマルチエージェント協調学習

検索におけるパーソナライズ製品はすべてトランザクション指向であるため、検索結果の収束と露出の無駄という問題が生じています。今年行われた重要な作業は、マルチエージェント協調学習技術を使用して、複数の異種検索シナリオ間の環境認識、シーンコミュニケーション、個別の意思決定、共同学習を実現し、一方が犠牲になって他方が失われるのではなく、共同の利益を最大化することです。今年のダブル11では、共同最適化バージョンは店内およびワイヤレス検索の総合指標（ABテスト）で12％の増加をもたらし、非共同最適化バージョン（ABテスト）より3％高くなりました。

パフォーマンスの最適化。ディープラーニングが始まったばかりの頃、ディープラーニングモデルの推論パフォーマンスがボトルネックになることに気づき、モデル圧縮（プルーニング）、低ランク分解、量子化、バイナリネットワークなど、この分野で多くの研究と実験を行いました。

上記の技術により、今年のダブル11期間中、タオバオモバイルのデフォルト検索、店舗検索、店舗検索における検索指標はすべて10％以上の改善を達成しました（ABテスト）。

アリババのAI検索アプリケーションの将来計画

一般的なユーザー表現の学習。上記で紹介したDUPNは非常に優れたユーザー表現学習モデルですが、クエリベースのアテンションは検索にしか適していません。ログソースに基づくアテンションが欠けており、他のビジネスに一般化することは困難です。私たちは、複数のビジネスシナリオに適したユーザー表現モデルを作ることを検討しています。非検索ビジネスを簡単に微調整するだけで、比較的良い結果が得られます。同時に、ユーザーのショッピングの好みは季節やサイクルの影響を受け、時間スパンが非常に大きいため、最新のK個の行動シーケンスという仮定は単純すぎます。私たちは、生涯学習を実行し、過去数年間のユーザーの行動シーケンスを学習できるモデルを検討しています。

検索リンクジョイント最適化。検索前のクエリガイダンス（シェーディング）、検索中の商品やコンテンツのランキング、検索後のクエリの推奨（ヒント）など、ユーザーが検索を入力してから検索を終了するまでの全体的な最適化。

シナリオ間の共同最適化。今年は、内部メイン検索と店内検索の共同最適化が非常に良い結果を達成しました。今後は、より多くのトラフィックの多いシナリオに拡大し、Taobao Mobileの全体的なショッピング体験を向上させたいと考えています。

多目的ジョイント最適化。検索は取引だけでなく、売り手の多様性、トラフィックの公平性、トラフィックの商品化など、多くのプラットフォームと売り手の要求を満たす必要があります。検索製品には、製品検索に加えて、「ドーム」、「トピック検索」、「ヒント」、「コンテンツ検索」などの非製品検索コンテンツも含まれます。異なる検索ターゲットと異なるコンテンツ（種）間の共同最適化は、今後検討する価値があります。

インテリジェントなインタラクション。 「検索ランキングがどれだけ優れていても、検索は単なるツールです。」検索をツールから、ユーザーの言語を理解し、感情を理解し、会話や複数回のやり取りが可能で、販売前および販売後の混乱を解決し、よりパーソナライズされた製品を推奨できるパーソナル ショッピング アシスタントに変える方法は、今後の検索のもう 1 つの主要な開発方向となるはずです。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]