孫玄: Zhuanzhuan が AI エンジニアリング アーキテクチャ システムを構築する方法

[51CTO.comより引用] 2018年5月18日〜19日、51CTO主催のグローバルソフトウェアおよび運用技術サミットが北京で開催されました。このサミットは、人工知能、ビッグデータ、モノのインターネット、ブロックチェーンなど12の核心的なホットトピックに焦点を当て、国内外から60人の第一線の専門家を集めています。これはハイエンドの技術の饗宴であり、トップクラスのIT技術者が学び、ネットワークを拡大するための見逃せないプラットフォームです。

「コンテナでの AIOps」セッションでは、Zhuanzhuan 社のチーフ アーキテクト兼アーキテクチャ アルゴリズム部門責任者である Sun Xuan 氏が、「Zhuanzhuan が AI エンジニアリング アーキテクチャ システムを構築する方法」と題した素晴らしい講演を行いました。講演の中心的な内容は、Zhuanzhuan AI エンジニアリング システムにおける推奨および検索アーキテクチャ、リコールおよびソート アルゴリズムの進化です。

マイクロサービスアーキテクチャに基づくZhuanzhuan中古品取引プラットフォーム

「お金を稼ぐのに役立つウェブサイト」は、主に購入から販売までの問題を解決するZhuan Zhuan中古品取引プラットフォームの位置付けです。シェアリングエコノミーでは、人々は使用していない携帯電話やパソコンなどのアイテムを中古品取引プラットフォームを通じて販売し、小遣いを稼ぐことができます。 Zhuan Zhuan中古品取引プラットフォームの全体的なアーキテクチャ設計はマイクロサービスアーキテクチャを採用しており、2015年11月12日にリリースされました。

図 1. Zhuanzhuan の全体的なマイクロサービス アーキテクチャ

図 1 に示すように、アーキテクチャ全体が左から右に垂直に分割され、上から下に水平に階層化されていることが直感的にわかります。アーキテクチャには、ゲートウェイ、ビジネス ロジック層、データ アクセス層、データ ストレージ層、登録センター、構成センターも含まれます。 Sun Xuan 氏は、Zhuanzhuan の全体的なマイクロサービス アーキテクチャに基づいて、推奨と検索という 2 つの主要なアーキテクチャの進化についても詳しく説明しました。

推奨アーキテクチャの進化

Zhuan Zhuan中古品取引プラットフォームの推奨シナリオは、ユーザーと製品の2つの次元に分かれています。ユーザーがホームページにアクセスした後に表示される「おすすめを表示して付近を閲覧する」という 2 つのセクションと、ユーザーがカテゴリをクリックした後に表示される「おすすめ」というセクション、これら 3 つの部分はユーザー ディメンションに属します。 「類似製品」推奨セクションは、製品ディメンションに属します。

図2 ユーザーと製品のディメンションに関するシナリオの推奨事項

これらの推奨シナリオの背後にある技術アーキテクチャはどのように構築されているのでしょうか?次に、Zhuan Zhuan の中古取引プラットフォームの推奨アーキテクチャの進化を見てみましょう。

Zhuan Zhuan中古取引プラットフォームの推奨アーキテクチャの進化は、「石器時代」、「鉄器時代」、「産業革命時代」の3つの段階に分けられます。

石器時代

推奨アーキテクチャの 0 から 1 への初期プロセスは、図 3 に示すように、石器時代と呼ばれます。

図3「石器時代」の建築図

「石器時代」では、ホームページにアクセスするすべてのユーザーに同じ推奨コンテンツが表示されます。ユーザーリクエストは、Zhuanzhuan APP の統合ゲートウェイを介して推奨ビジネスロジック層に接続され、パラメータの検証、検索リクエストパラメータの組み立てなどの一連の操作が行われ、最終的に検索エンジンにアクセスします。検索エンジンは結果を呼び出して並べ替え、推奨ビジネス ロジック レイヤーに返します。ビジネス ロジック レイヤーは結果をフィルター処理し、重複を排除して、結果を APP クライアントに返します。

要約すると、「石器時代」の特徴には、グローバルな推奨事項、パーソナライゼーションなし、単一のリコールソース、手動ルールに基づく並べ替え、オンライン AB テストのサポートなしなどがあります。

鉄器時代

「鉄器時代」で最初に解決すべき問題は、パーソナライズされた推奨です。図 4 は、この段階のアーキテクチャ図を示しています。

図4「鉄器時代」の建築図

「鉄器時代」のアーキテクチャ全体における最大の変化は、推奨ランキング層とリコール層が物理的に分離されたことです。リコールレイヤーでは、「Iron Age」は、ユーザーの製品機能の計算、製品の類似性の計算、ユーザーのリアルタイムポートレートなど、パーソナライズされた推奨に関連する多くのことを行います。要約すると、「Stone Age」の特徴は、第 1 に、パーソナライズされた想起ソースを導入したこと、第 2 に、推奨ソースの系統を記録したこと、第 3 に、ユーザーの行動プロセスに関するフィードバックを提供したこと、第 4 に、ABTest グループ実験をサポートしたことです。

産業革命

2 つの時代が経過した現在でも、推奨システムのランキング結果はまだあまり理想的ではありません。主な理由は、ランキング レイヤーが階層的なソートのみを実行し、複数のリコール ソースを統合してソートしないためです。 「産業革命時代」の中核はリアルタイム＋機械学習主導です。

図5「産業革命時代」の建築

図5に示すように、「産業革命時代」には推奨ランキング層に大きな変化が起こり、統一された機械学習ランキングモデルが導入されました。ソートに機械学習ソートモデルを導入する場合は、何らかのインフラストラクチャのサポートが必要になるため、「産業革命時代」では、統合リコール サービスと統合機能サービスを含む、推奨される統合リコール サービス レイヤーが追加されています。

「産業革命時代」の推奨アーキテクチャは、リアルタイムの機能とモデルを実現し、ユーザーの製品嗜好の変化を数秒で捉え、ターゲットを絞った製品を推奨することで、コンバージョン率を向上させます。さらに、アーキテクチャはコンポーネントベースであるため、カスタマイズされた DSL と柔軟なコンポーネント配置が可能になります。

将来的には、レコメンデーション アーキテクチャは完全にパイプライン化され (図 6 を参照)、モデルのトレーニングとモデルの起動がワンクリックで完了し、複雑なモデルの継続的な統合と迅速な反復が実現されるため、生産効率が大幅に向上します。

図6 Zhuanzhuan推奨アーキテクチャのパイプライン図

検索アーキテクチャの進化

Zhuan Zhuan中古品取引プラットフォームの検索シナリオは、図7に示すように、カテゴリ検索とキーワード検索に分かれています。

図7 カテゴリ検索とキーワード検索

Zhuan Zhuan中古取引プラットフォームでは、検索アーキテクチャの進化は、ルール、機械学習モデル、プラットフォーム化の3つの段階に分かれています。

ルールステージ

検索アーキテクチャの最初の段階は、ルール ステージ アーキテクチャ図である図 8 に示すように、手動によるルールのソートです。

図8: ルールステージアーキテクチャ図

ルール ステージでは、検索ロジック レイヤーがリクエスト パラメータを処理し、検索アクセス プロキシ レイヤーが検索クラスターにアクセスする前にパラメータを解析します。検索クラスターは、リコールとランキングの 2 つの段階を実行します。

ルール段階では、すべてのリコールおよびソートルールが手動で決定され、主観的なパラメータ調整権限があり、オンライン AB テストはサポートされていません。結局のところ、オンライン検索結果を効果的に評価することはできません。

機械学習モデルフェーズ

これらの段階では、検索アーキテクチャには主に機械学習モデルが導入されました。図 9 は機械学習モデルのステージ アーキテクチャ図を示しています。

図9 モデルステージアーキテクチャ図

モデル段階で最も重要な機能は機械学習です。機械学習モデルはリコールプロセスだけでなく、ソート段階でも大規模に使用されます。単純なモデルはリコールと大まかなソートに使用され、複雑な機械学習モデルは細かいソートに使用されます。この段階には、クエリの事前分析、ABTest グループ実験、ユーザー行動データのフィードバックも含まれます。

プラットフォーム化段階

検索は通常、中間プラットフォームの役割です。多くのビジネス ラインが検索機能を使用するため、検索アーキテクチャはプラットフォーム ベースである必要があります。図 10 は、プラットフォーム ステージのアーキテクチャ図を示しています。

図10: プラットフォームステージアーキテクチャ図

プラットフォーム段階での最大の変化は、クエリ書き換え、リコール、予測、ABTest などのサービス指向機能です。プラットフォーム化後は、サービスも普遍的である必要があります。

将来的には、検索アーキテクチャは大規模および中規模のプラットフォームになることを目指しており、クラウド検索エンジンを通じてビジネスにワンクリックでアクセスできるようになります (図 11 を参照)。

図11 Zhuanzhuan Cloud検索エンジンのアーキテクチャ

アルゴリズムの進化

孫玄氏は、このアルゴリズムはリコールとソートという2つの大きな問題を解決するように設計されており、推奨シナリオであれ検索シナリオであれ同じであると述べた。

リコール アルゴリズムの進化は、非パーソナライズ リコール、興味に基づくリコール、アイテム ベースの協調フィルタリング (Item-Based CF)、およびユーザー ベースの協調フィルタリング (User-Based CF) に分けられます。ソートアルゴリズムの進化は、人工ルール、ロジスティック回帰モデル、GBDT+LR、Deep&Wide、FTRL に基づくものに分けられます。

アルゴリズムの将来の進化は、リアルタイムかつモデルベースになります。リアルタイムの側面とは、機能の取得とモデルの変更を指します。モデリングの観点では、リコール層とソート層のモデルの複雑さを指します。将来、モデルがますます複雑になるにつれて、エンジニアリング アーキテクチャにもたらされる課題も大きくなります。

電子商取引AIシステムの未来

今後、電子商取引の AI システムがどのように進化していくべきかという問いに対して、孫玄氏は、本質は商品のマッチング（リコール問題）と仕分けを解決することだと述べました（図 12 参照）。ソートに関しては、ソートされたセットは比較的少なく、アーキテクチャ上の課題はそれほど大きくありません。マッチングの点では、膨大な製品候補セットの問題が伴い、アーキテクチャ上の大きな課題が生じます。

図12 EコマースAIシステムアーキテクチャ

図13 電子商取引AIシステム品質改善アーキテクチャ図

図14 電子商取引AIシステム拡張アーキテクチャ図

商品のマッチングの問題を解決するにはどうすればいいでしょうか?孫玄氏は、このアプローチは 2 つの側面から行う必要があると述べています。1 つは、リコール層でより複雑なディープラーニング モデルを適用して製品リコールの精度を向上させることで品質を向上させる (図 13 を参照) こと、もう 1 つは、一致する製品の候補セットを拡大し、できるだけ多くの製品データを一致させることで量を拡大することです (図 14 を参照)。

上記内容は、WOT2018 グローバルソフトウェアおよび運用技術サミットでの孫玄氏の講演を基に編集者がまとめたものです。WOT の詳細については、.com をご覧ください。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]