[51CTO.comより引用] 2017年7月21日から22日まで、51CTOが主催する人工知能をテーマとしたWOTI2017グローバルイノベーションテクノロジーサミットが北京フラマルネッサンスホテルで盛大に開催されました。サミットでは、30 人以上の AI スターと、人工知能をテーマにした数十の素晴らしいスピーチや円卓フォーラムが徐々に披露されました。会議後、記者はJD.com基礎プラットフォーム部の上級研究員である鄭志同氏にインタビューし、eコマース分野における機械学習のシナリオベースの応用について紹介した。

JD.comのデータ問題

JD.com には、画像、テキスト、ビデオ、音声など、大量の商品データが保存されています。これらのデータはマルチモーダルであるだけでなく、非構造化されています。 現在、JD.com のデータには主に次の 2 つの欠陥があります。

1. 製品データの品質はさまざまです。 電子商取引の商品データはマルチモーダルでノイズが多いです。第二に、商品の検索率を上げるために、販売者は商品の説明に多数の単語を使用しますが、これにより単語の重なりが生じやすく、商品データの入力管理が困難になります。

2. ユーザーフィードバックデータが効果的に活用されていない。 ユーザーが製品を評価すると、テキストコメントは否定的ですが、*** スコアは 5 ポイント肯定的です。この場合、機械が製品の真の品質を理解することは難しく、不正確な情報を受け取ることになります。コメントエリアの情報が整理されていない場合、ユーザーが実際に製品に対してどのような評価をしたのかを機械が理解することが難しくなり、その後の製品の推奨に役立ちません。

JD.com における機械学習の応用

優れたモールエコシステムを構築するために、JD.com は機械学習技術を使用して、情報のコンプライアンス、基本的な製品属性の最適化、電子商取引の短いテキストの理解、製品カテゴリの自動識別、マルチシナリオ情報の取得という 5 つの側面で既存の問題を段階的に最適化し解決しています。

1. 電子商取引データの情報コンプライアンス

多くの情報が誤って入力されると、広告法や価格設定法に違反することになります。例えば、上の写真の「***品質基準」は広告法に違反しています。下の「***手順」は違反していませんが、「販売数量***」という文言は違反しています。この事例から、鄭志同氏は、情報コンプライアンスはキーワードに依存するだけでなく、コンテキスト間の関係も考慮する必要があることに気付きました。そのため、JD.com はコンテキスト テキスト分類を実装し、無効なレビューを 73% 削減しました。

価格コンプライアンスに関しては、詳細ページに価格情報があり、上記画像のバナーにも価格があります。2つの価格が一致しない場合は、非準拠です。監査の効率性を向上させるために、JD.com は OCR (光学式文字認識) 技術を使用して価格コンプライアンスを実現しています。

JD.comのエンドツーエンドのユニバーサル文字列認識システム

図に示すように、CNNモデルを通じて得られた画像の特徴は、大規模コーパスデータで学習された長期時系列分類（CTC）ベースのリカレントニューラルネットワーク（LSTM）に基づく一般言語モデルと組み合わされて出力されます。エンドツーエンドのテキスト検出および認識アルゴリズムは、従来の OCR の堅牢性が不十分であるという問題を克服し、JD ウェブサイト上のさまざまな圧縮歪みや複雑なレイアウトの画像でも優れたテキスト認識結果を達成できます。

現在、 OCR 認識システムは、毎日何千もの矛盾した価格情報を自動的に識別できます。同時に、画像テキストによって認識された文章がテキストコンプライアンスに合格すると、禁止された意味を含む画像を自動的に検出できます。

第二に、写真とテキストの一貫性のない体験

属性間の不一致は上位システムに大きな影響を与えます。検索や推奨で間違ったデータが要求されると、結果も間違ったものになります。たとえば、写真では、女性モデルが赤いハンドバッグを持ち、白いトップスと青いパンツを着ています。この写真を直接認識しても、3 人の被験者の色分類を個別に取得することはできません。

一方、JD.comは成熟したモデルをいくつか選択し、色、袖丈、スカート丈、柄などの写真の属性を取得した後、色などの優先認識ルールを設定し、徐々に商品のすべての色カテゴリを認識します。鄭志同氏は「当社は4つの主要カテゴリーを網羅した画像から商品属性を抽出しており、その精度は約95％。2億以上の商品属性と1億以上のSKU（在庫管理単位）を蓄積してきた」と語った。

3番目は、電子商取引の短いテキスト理解

JD.com の販売業者は、商品の売上を伸ばすために、商品名に無関係な単語を大量に使用することが多く、商品データの入力と管理に役立ちません。したがって、JD.com は商品タイトルをセグメント化して再編成する必要があります。鄭志同氏によると、ソースからの語彙蓄積の問題を解決するために、タイトルの分割、エンティティの命名認識、短いテキストの理解、タイトルの再編成などの一連の機械学習技術を主に採用したという。

4番目は、自動カテゴリ識別

商品数は数億点に達し、第3レベルのカテゴリは4,000近くあり、JD.comは初期のデータ入力に多大な人手を費やしました。現在、JD.com では主にテキスト分類方式を採用しており、テキストはツリー状のカテゴリ図に分割されています。 JD.comは初期に文字レベルの深層畳み込みニューラルネットワーク（DCNN）分類を試し、その後Googleがオープンソース化した単語ベクトル計算ツールであるWord2vecと長短期記憶ネットワーク（LSTM）を試しました。多数の比較実験を通じて、効果は基本的に同じであることがわかりました。 ***、JD.com は独自の *** テキスト分類アルゴリズム (BTC) を作成し、最大 99% の精度で高速分類を実現しました。

5番目、 マルチシナリオ情報取得

検索、商品管理、リストページの推奨、マーチャント管理、対話システムなどのシナリオの完全なナレッジグラフを構築するには、 価格コンプライアンス、画像とテキストの属性検証、電子商取引の短いテキスト認識、自動カテゴリ認識を実現した後、詳細ページのOCR、カスタマーサービスチャット、ユーザーコメントなどの情報を含む複数のシナリオから情報を抽出する必要があります。

1. 詳細ページのOCR。 「私たちはOCRについて多くの研究を行ってきました。最初はCER（コントラスト極値領域）法を使用していました。最近では、セグメンテーションと認識のためにCTCモデルと組み合わせたオブジェクト検出アルゴリズムを使用するかもしれません」と鄭志同氏は語った。

2. カスタマーサービスチャット。 JD.com は最初にロジスティック回帰 (LR) 分類を実行し、その後次元削減処理を行ってからデータ通信ネットワーク( DCN )を介して分類し、エラー率を 30% 削減しました。

3. ユーザーのコメント。 JD.com では、一部のコメントは無効な情報であり、クリーンアップする必要があります。 1 つ星の評価を付けた *** レビューもいくつかありますが、本文には 5 つ星と記載されているため、*** 評価は不正確です。そのため、JD.comは言語モデルを使用してコメントからキーワードを抽出してクラスタ化し、最も頻繁に使用されるフレーズとコメントの内容を取得します。同時に、意味の薄いコメントをコメントの最後に折りたたむことで、ユーザーが買い物をするときに現実的で効果的なコメントを見ることができるようにします。

追記:

*** 鄭志同氏は、JD.com が主に使用しているディープラーニング プラットフォームは TensorFlow、MXNet、Torch、Caffe であると述べました。また、JD.com は、ディープラーニングの 3 大専門家である Hinton、Yann LeCun、Bengio などの業界の専門家が発表したコンテンツに細心の注意を払い、彼らの論文のアルゴリズムをプロジェクトに適用する予定です。

将来的には、ディープラーニング技術を使って画像コンテンツを改善すると同時に、神経言語プログラミングを使ってマルチラウンド対話システムで大きな進歩を遂げたいと考えています。

[[198239]]

鄭志同氏は、JD.com の基本プラットフォーム部門の上級研究員です。主に機械学習の研究開発と応用を担当。基本プラットフォーム部門では、商品情報のコンプライアンス検出、知識抽出、意味理解、対話システムなど、JD Mallの一連のビジネスシナリオにディープラーニングを適用しました。鄭志同氏は中国人民大学と清華大学を卒業し、機械学習アルゴリズムの研究で 10 年以上の経験を持っています。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]