7,000万以上の店舗と10億以上の商品を持つWeidianは、どのようにAIシステムを構築しているのでしょうか。

[51CTO.com からのオリジナル記事] AI テクノロジーは電子商取引にとって不可欠ですが、特にスタートアップ企業にとって AI を実践するためのハードルは非常に高いです。では、eコマースのスタートアップ企業はどのように AI システムを構築するのでしょうか? AI をどのように活用して実際の問題を解決できるのでしょうか?

2018年11月30日から12月1日まで、51CTO主催のWOTグローバル人工知能技術サミットが北京JWマリオットホテルで開催されました。

このサミットのテーマは人工知能です。Weidian AIの責任者である夏建氏は、業界エンパワーメントセッションでゲストに「Weidian AIの実践」に関する基調講演を行いました。

著者は、次の 3 つの側面から、Weidian の AI に関する実践の一部を紹介します。

• ウェイディアンって誰ですか？
• ウェイディアンAI環境
• ウェイディアンAI探索事例

ウェイディアンって誰ですか？

他の多くの電子商取引プラットフォームとは異なり、Weidian は消費者に楽しく、美味しく、使いやすいさまざまな製品を提供することを目指しています。

したがって、私たちの目標は、リピーターのいるプライベートコレクションストアを作成することであり、販売者は携帯電話を通じて当社のプラットフォーム上にさまざまなマイクロストアを開設することができます。

現在、Weidian プラットフォームには 7,000 万以上の店舗と 10 億以上の製品が登録されています。当社はこれまで一貫して「ネットワーク×プラットフォーム」のビジネスモデルを通じて会社の成長を推進してまいりました。

ここで、「ネットワーク」とは、WeChat ネットワークを利用してユーザー数の増加を達成することを指し、「プラットフォーム」とは、会員制クラブ プラットフォームを通じて得られる収益を指します。

ウェイディアンAI環境

現在、WeidianのシンプルなAI環境は上図のようになっています。具体的なレベルを見てみましょう:

• 下部には、ログ収集 (VLOG)、データベース同期 (VTS/VSS)、外部ネットワーククローラー (Spider) があります。これらのミドルウェアは、さまざまなデータソースを提供します。
• 中間層は、リアルタイム データを提供するメッセージ キュー (Kafka) と Weidian メッセージ キュー (VdianMQ) です。同様に、オフライン データを HDFS に同期できます。
• 次のレベルは、データ開発プラットフォームとアルゴリズムプラットフォームです。このうち、データ開発プラットフォームは主にデータ ウェアハウスと BI にサービスを提供しており、アルゴリズム プラットフォームは主にさまざまなアルゴリズムを提供して、さまざまなリアルタイムまたはオフライン アルゴリズム タスクを開発しています。
• ニアラインまたはリアルタイム環境では、主に Spark Streaming、Storm、Flink、Python を使用します。もちろん、最近、Storm 関連のコンテンツをすべて Flink に移行する予定です。オフライン コンピューティングでは、データ ウェアハウスや BI 用の Hive や Impala などのクエリ エンジンと、Spark タスクを実行するためのクラスターを使用しました。現在、Spark タスクのほとんどは Scala で記述されていますが、もちろん従来の MapReduce タスクもいくつかあります。
• 最上位層はデータ中間プラットフォームです。そのうち、GDS は Weidian の統合ストレージ システムであり、オープン ソースの Key-Valuepair ストレージ、HBase、および Redis (メモリ キャッシュ) をカプセル化します。 ES はデータ サービスを提供します。部門に VIO レポート サービスを提供する必要性を考慮して、LIGO で Impala クエリ エンジンをカプセル化するだけで、オフラインまたはニアラインのデータ クエリを実現できます。

ウェイディアンAI探索事例

上図に示すように、Weidian AI では多くの探索作業を行ってきましたが、これは大まかに次の領域に分けられます。

• ビジネス面。内容: ユーザーの意図の理解、関連性のモデリング、推奨事項の内容、クリックスルー率とコンバージョン率の見積もり、広告の最適化などのクリエイティブなコンセプト。
• 画像カテゴリ。これらには、コンテンツ、推奨、検索、並べ替えのサービスを提供するリスク管理、画像検索、セマンティック タグ抽出機能が含まれます。さらに、画像品質スコアやテキスト認識機能も含まれます。
• ユーザーのポートレート。これには、ユーザーの好みの分析、群衆属性のマイニング、位置情報サービス (LBS、つまりユーザーの携帯電話の位置情報の取得)、ユーザーベースの製品ポートレート、およびユーザーライフサイクル管理が含まれます。
• データマイニング。カテゴリ予測、構造化データ、SPU (標準製品単位) の構築が含まれます。
• 自然言語処理 (NLP)。含まれるもの: 単語分割、エンティティ認識、テキスト分類、単語ベクトル モデルなど。

いくつかの簡単な事例を通して、Weidian の AI 研究についてご紹介します。

画像ストリーミングコンピューティング

画像のストリーミング コンピューティングでは、一連の反復プロセスを実行しました。

• 初期段階では、さまざまなディープラーニングフレームワークを採用し、Python と C++ 言語を使用して、画像関連の計算の一部を単一マシンの GPU 上でのみ実行しました。
• 次に、バッチ コンピューティング用に GPU 上の Hadoop クラスターを使用するように改善しました。
• さらに調査を進めた結果、Kafka を介してさまざまなタスクを連続して接続し、結果や画像を Hbase に保存するという 2 つのビッグ データ コンポーネントに基づくほぼリアルタイムのコンピューティング ソリューションにアップグレードしました。具体的なプロセスは、画像処理リクエストを受信した後、Hbase でさまざまな比較を実行するか、単純な URL とハッシュの重複排除を実行します。処理が必要であると判断されると、イメージがダウンロードされて Kafka キューに追加され、アルゴリズム モデルが予測を行います。もちろん、これは実際には多段階の反復プロセスです。前のステップの結果が Kafka キューに追加されて消費された後、計算されて同様のプロセスのために別の Kafka キューに追加されます。最後に、システムは計算された結果を Hbase に保存します。これはより実用的なアーキテクチャであることがわかります。

今日のモバイル e コマース時代では、画像のプレゼンテーションの効果は消費者のショッピングの決定に大きな影響を与えます。同時に、画像自体の性質についても非常に厳しく管理しており、禁止されているコンテンツは掲載できません。そこで、この点について以下のような調査を実施しました。

画像品質スコア

前述のとおり、当社は販売者が携帯電話を通じて WeChat ストアを開設できるようサポートしています。これにより、ストア開設の敷居が下がるだけでなく、ユーザーも写真を撮ってアップロードするだけで商品を簡単に作成できるようになります。

ただし、これには次のような課題も伴います。

• 写真データの量は膨大です。当社のシステムにはすでに 10 億を超えるアイテムが登録されており、その数は毎日数百万、あるいは数千万単位で増加しています。
• 画像の品質は異なります。携帯電話の写真撮影の限界により、各種写真の品質は、TaobaoやJD.comなどの強力な電子商取引プラットフォームの品質に比べてはるかに劣っています。

したがって、上記のような強い主観的要因を考慮すると、画像の品質機能を手動で設計することは困難です。そこで、私たちは業界の一般的な慣行を参考にして、全員に採点してもらい、平均を取ることにしました。

従来のランキング SVM アルゴリズムは、主に検索結果を並べ替え、テキストの品質をランク付けするために使用されます。そこで、この考え方を独自のモデルに適用して、2 つの画像の品質を判断しました。

私たちの設計は、フロントエンドで Siamese CNN を使用して高度に抽象的な機能をトレーニングし、その機能を Ranking SVM に「フィード」してスコアを取得することです。

ここでの結合 CNN は同じパラメータを持つ 2 つのパスで構成されており、写真の品質を 0/1 分類問題に変換します。

パフォーマンスに関しては、LIVE In the Wild Image Quality Challenge Database のさまざまな公開ベンチマーク データセットのパフォーマンス結果を以下に示します。当社の WeidianIQA が最高スコアを獲得していることがわかります。

もちろん、ここでの LIVE In the Wild データセットは数千に過ぎません。最近、Google は数十万のデータの分類問題を解決するための新しい方法を提案しました。私たちも引き続き注目し、勉強を続けています。

一方、ストリーミング コンピューティングでは、特に密輸品の画像の場合、陽性サンプルと陰性サンプルの間に極端な不均衡があり、コスト効率も悪くなります。

そこで、高精度と高再現率を両立するために、アルゴリズムモデル側ではカスケードモデルの組み合わせを採用しました。具体的な計画は次のとおりです。

• まず、すべての画像を軽量の粗いスクリーニング モデルに通します。これにより、禁止されている画像や、見つける必要のある特徴のほとんどがフィルター処理されます。もちろん、粗いスクリーニングモデルの精度は低くなります。
• 次に、以前の結果を後続の高精度モデルに「フィード」して、精度を確保します。

コスト効率を確保するためには、上記のモデルは軽量である必要があることに留意してください。 「重い」場合は、写真の約 10% にのみ影響する可能性があります。

製品カテゴリー予測

PC 向けの包括的な電子商取引プラットフォームでは、製品カテゴリの予測は構造化された情報の基礎となるため、非常に重要かつ不可欠です。

これらのカテゴリは構造レベルが異なります。たとえば、衣料品には 5 ～ 6 レベルのサブカテゴリがある場合がありますが、携帯電話の SKU は非常に限られています。したがって、これは商品量の配分における重大な不均衡に直接つながります。

同様に、モバイル WeChat ストアでも、商品タイトルが整理されていない状態になります。

上記の状況に対応して、3 つのアルゴリズムの反復を実行しました。

• バージョン 1: ルール + ナイーブ ベイズ統計
• バージョン2: 従来の機械学習モデル、つまり最大エントロピーモデルを使用する
• バージョン3: BiLSTM-Attentionモデル、現在のバージョン

上の図は、3 つのバージョンの精度も示しています。ここでは、100% の再現率で達成された結果を参照します。現在、自然言語処理においてはディープラーニングによる急速な進歩が見られ、我々はさらなる精度向上を目指してBERTモデルの研究を行っています。

上の図は、従来の SVM モデルである予測フローチャートです。システムはまず、入力が書籍であるかどうかを判断します。それが本でない場合は、前述の BiLSTM-Attention モデルである第 1 レベルのカテゴリ分類器に入ります。

すでに 1,000 万のトレーニング コーパスがありますが、これでは十分ではありません。そのため、シャッフルとランダム破棄の方法を使用して、トレーニング コーパスをさらに増やしました。

第 1 レベルのカテゴリの決定が完了した後も、従来の分類器である最大エントロピー モデルを使用して、対応するリーフ カテゴリを決定します。

上記のカテゴリ予測の試みに加えて、Tensorflow も導入しました。当社のディープラーニング フレームワークは、上位レベルの API をラップするだけで、アルゴリズム エンジニアが新しいアルゴリズムを実装し、迅速な反復を実行できるように効果的にサポートできます。さらに、クエリの拡張やさまざまな推定もここに関係します。

ユーザープロフィール

ユーザーの特徴を抽出し、より正確にユーザーポートレートを提供するために、売り手と買い手の情報をさまざまな次元で分類しました。ユーザー属性の基本的な静的特性に加えて、これには次のものも含まれます。

• ユーザーライフサイクル管理
• 群衆の好みの属性（例：有名人のファンかどうか、流行のブランドが好きかどうか、グルメかどうか）
• 地理的位置（例：通常の住所、行政区分、農村部/都市部）
• ショッピング属性（購入サイクル、海外での購入かどうかなど）
• 社会的関係
• 社会的アイデンティティなど

私たちは、インターネット、特にWeChatを通じてユーザーの増加を達成し、彼らの社会的サークルやその他の特徴的な情報を理解することを望んでいます。

これまでの AI 環境アーキテクチャと比較すると、上図に示すユーザー ポートレートのアーキテクチャは比較的シンプルです。関連するコードは Scala を使用して開発しました。

具体的なレベルは次のとおりです。

• 計算レイヤー。オフラインでの使用のために、主にいくつかの Spark タスクを作成しました。リアルタイムでの使用のために、いくつかの Flink タスクを作成しました。もちろん、GraphX と MLlib も使用しました。リアルタイム タスクとオフライン タスクのロジックを可能な限りシンプルにし、保守しやすくするために、オフラインとリアルタイムの統合を実現する汎用ライブラリを Scala で作成しました。
• ストレージ層。 Weidian の統合ストレージ システムとして GDS​​ を使用しています。ES を使用して外部サービスを提供できるほか、永続ストレージに「フォール」して Hive テーブルに配置し、運用や BI で使用することも可能です。
• 中間層を照会します。主にクエリ要件をカプセル化するために使用されます。

上の図は計算ロジックの一部を示しています。ユーザーの基本属性情報と行動の好みを統合するために、1 回限りの分析を通じてユーザー識別子のマッピングを取得します。

注目すべき点は、ユーザー関連情報を持つ別のアプリとは異なり、WeChat 環境からログインするユーザーの場合、サイレント ログインの ID しか取得できないこと、また、閲覧ユーザーの場合、その情報は匿名であることです。したがって、適切な識別設計を考慮し、さまざまなログイン状態の切り替え動作をマッピングする必要があります。

一方、ユーザーの製品を予測するのは、前述のカテゴリ予測よりも簡単です。閲覧、クリック、カートへの追加、購入のトレーニング データを計算し、製品嗜好モデルを導出して、購​​入行動を予測します。

アルゴリズムデータ層の統一

現在、業界では、レコメンデーションフレームワーク、検索フレームワーク、広告フレームワークなど、企業のすべてのフレームワークを統一して、汎用性を高め、さまざまなビジネスシナリオをサポートするという傾向があります。

上の図に示すように、さまざまなリクエストがランキング モジュールに入ると、RankPlugin サーバーはさまざまなビジネス ロジックを識別し、さまざまな推奨、検索、広告のニーズを区別します。

それに応じて、統一されたアルゴリズムデータ層も装備されており、GPS によって統一されたデータストレージが実現されます。スタッフが不足しているスタートアップ企業の場合、統一されたアーキテクチャによってシステムの迅速な反復が可能になることがわかります。

リコール層、ランキング層、戦略層のいずれであっても、アルゴリズムエンジニアが新しいアイデアを思いついたら、統一された結果を通じて AB テストを実施し、オンライン結果を迅速に得ることができます。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]