【WOT2018】4人の重鎮専門家が企業ビジネスにおけるNLPの詳細な応用を分析

[51CTO.comより引用] 2018年11月30日から12月1日まで、WOT2018グローバル人工知能技術サミットが北京JWマリオットホテルで盛大に開催されました。国内外の人工知能エリート60名以上と業界専門家1,000名以上が集まり、人工知能プラットフォームツール、アルゴリズムモデル、音声・視覚などの技術コンテンツを共有し、人工知能が業界に新たな活力を与える方法について議論しました。 2日間にわたるカンファレンスは、一般技術、応用分野、産業エンパワーメントの3つの主要な章をカバーし、機械学習、データ処理、AIプラットフォームとツール、推奨検索、ビジネスプラクティス、ハードウェア最適化など、13の主要な技術セッションが開かれ、人工知能技術の壮大なイベントと言えます。

「テキスト分析とNLP」サブフォーラムでは、CreditEase Technology R&D CenterのデータサイエンティストであるJing Yuxin氏、Sina Weibo R&D Centerの機械学習R&D部門のNLPディレクターであるXu Wangjun氏、Beikeのシニアアルゴリズム専門家であるChen Kaijiang氏、Zhihu AIチームのテクニカルディレクターであるHuang Bo氏を含む4名の専門家が、テキスト分析と自然言語処理技術、および企業における人間とコンピューターの対話、質疑応答システムなどの応用について議論しました。

CreditEase事業におけるNLP技術の実践

自然言語データは、重要なコミュニケーションおよび情報伝達手段として、企業の日常業務のあらゆる側面に広く存在しています。合理的な NLP 技術は、自然言語の非公式性と不確実性の問題を克服し、そこに含まれる貴重な情報を発見してキャプチャし、ビジネスコンサルティング、意思決定サポート、精密マーケティングなどの側面に使用することができます。これは、企業の重要な AI 機能の 1 つです。

CreditEaseの技術研究開発センターのデータサイエンティストであるJing Yuxin氏は、「CreditEaseのビジネスにおけるNLPテクノロジーの技術的実践」と題した講演で、CreditEase内のさまざまなビジネス領域における機械学習に基づくNLPテクノロジーの応用に焦点を当て、ビジネスサポートとカスタマーサービスにおけるインテリジェントロボットの探求、テキスト意味分析に基づくユーザーポートレートの構築、NLPアルゴリズムサービスのプラットフォームベースの実装アイデアなど、関連する実践経験を共有しました。

CreditEase は 2006 年に北京で設立され、包括的金融と資産管理に携わる金融テクノロジー企業です。現在、CreditEase の主要製品ラインには AI テクノロジーが広く採用されており、これらの AI 製品の背後には自然言語処理テクノロジーの真髄が息づいています。たとえば、インテリジェントトレーディングでは、レポートの理解に NLP テクノロジを必要とする投資調査レポートが多数あります。

自然言語データには、データの非構造化、言語の曖昧さ、文法の不規則性、未知の言語現象という 4 つの大きな欠点があります。ただし、豊富なデータ量、多様な情報表現、情報の完全性、ユーザーの習慣への準拠という 4 つの大きな利点もあります。 YiXin 独自の財務データと組み合わせると、高度な専門用語、幅広いデータ ソース、多様なデータ形式、大量だが不均衡なデータ量という 4 つの大きな特徴もあります。

CreditEase Technology R&D Center のデータ サイエンティスト、Jing Yuxin 氏

構造化データのマイニングの可能性は限られているため、企業は顧客情報、製品データ、世論の動向、戦略のフィードバックなど、大量の非構造化データに含まれる価値の高い情報にますます注目しています。さらに、自然言語理解と自然言語生成は、より自然で効率的、魅力的で、ユーザーの習慣に沿った新しい会話インタラクションの方法をもたらしました。これは、NLPテクノロジーがさまざまな分野で広く使用されている重要な理由でもあります。自然言語の特性により、NLP 技術の必要性が決まります。NLP は、さまざまなビジネス分野で自然言語データの分類、抽出、変換、生成のタスクを実行します。これは、ビジネス分野における重要かつ基本的な技術サービスの 1 つです。

現代の企業は、インテリジェントなチャットボットに対して非常に幅広いビジネスニーズを持っています。信用業務コンサルティングロボットを例にとると、業務の中核は検索ベースの質問応答モデルであり、中核問題はテキスト意味の類似性であり、これには意味類似性機能とテキスト表現機能が関係しています。ユーザーの質問に対しては、データベース内で最も類似した回答を見つけてユーザーにフィードバックする必要があります。これは、Dual LSTM ニューラル ネットワークを構築するか、それをサブ質問に分割することで解決できます。その後、Jing Yuxin 氏は、DSSM モデルと転移学習、QA マッチング モデル、NN ベースのマッチング モデル、知識ベース検索、あいまいクエリによる精度低下の解決策、テキスト意味解析に基づくユーザー ポートレートの構築のアイデアなどを紹介しました。

Sina Weibo における自然言語処理の応用

Weibo は中国の大規模なソーシャル メディア プラットフォームであり、ユーザーは毎日何億ものマイクロブログ投稿を投稿しています。 Weiboコンテンツのテキストは短く、表現が豊かなので、内容を理解するのはかなり困難です。新浪微博研究開発センター機械学習研究開発部門のNLP責任者である徐旺軍氏は、「微博における自然言語処理（NLP）の応用」と題した講演で、微博のコンテンツを理解するためのシナリオ、困難、解決策、アルゴリズム、および微博の興味関心推奨シナリオへの応用について紹介した。

Weibo の推奨シナリオには、コンテンツ推奨とユーザー推奨の 2 つのカテゴリがあります。フォローアップ関係に基づいてコンテンツを推奨するフォローアップ ストリーム、興味に基づいてコンテンツを推奨する人気ストリーム、チャンネル フィールドによってコンテンツを推奨するチャンネル ストリーム、ユーザーの興味とフォローアップ関係に基づいてパーソナライズされたプッシュなどがあります。 Weibo のコンテンツ推奨フレームワークは、素材ライブラリ、リコール (通常/リアルタイム)、大まかな分類、細かい分類、ビジネス戦略と表示、行動収集、オフライントレーニングモデル、通常モデル、リアルタイムモデルで構成されています。

Xu Wangjun、Sina Weibo R&D センター、機械学習 R&D 部門 NLP 責任者

Weiboはあらゆる分野に知識グラフとタグシステムを構築しており、第1レベルのタグは50以上の分野をカバーし、第2レベルのタグは1,000以上、第3レベルのタグは1,000万以上をカバーしています。タグシステムの構築は、レコメンデーションのシナリオにおいて重要な役割を果たしています。 Weibo コンテンツは、ラベル分類を通じてコン​​テンツの説明可能性を解決し、トピック モデルを通じてコン​​テンツのマッチング問題を解決します。さらに、Sina Weibo は、ユーザーの興味の好み、性別や年齢などの自然な属性、職業、会社、教育レベルなどの社会的属性を含むコンテンツ理解に基づいて、ユーザーのポートレートを構築します。

その後、徐旺軍氏は主に2つのアルゴリズム、BERT（Bidirectional Encoder Representations from Transformers）とマルチモーダルフュージョンを紹介しました。BERTは意味情報自体を組み合わせて時間次元を表現するために使用され、マルチモーダルフュージョンはWeiboのリッチメディアコンテンツ情報を組み合わせて分類し、空間次元を表現するために使用されます。さらに、Sina Weibo は、初期のナイーブベイズからディープモデルまで、短いテキストの分類においても多くの試みを行っており、モデルを継続的に比較、更新、進化させています。

BERT モデルは、ほぼすべての NLP タスクに適用できます。 BERT 事前トレーニングの最も重要な 2 つのポイントは、1 つ目は特徴抽出器が Transformer を使用すること、2 つ目は事前トレーニング中に双方向言語モデルが使用されることです。 Transformer 特徴抽出器は非常に効果的で、分散処理が可能であり、自己注意メカニズムを使用して長距離の特徴情報をキャプチャします。

Weibo には、テキスト、画像、動画、音声、さらにはユーザーとのやり取りなど、コンテンツを理解するためのさまざまなモードを備えた豊富な表現方法があります。そのため、Sina Weibo では、純粋なテキストで最先端のアルゴリズムを試すだけでなく、テキストと画像のデュアルエンドアテンション融合方式などのマルチモーダルコンテンツの実験も行っています。

不動産業界における対話システムの応用

対話システムは、NLP の分野における一般的な技術的方向性であると同時に、完全に解決されていない技術的な難しさでもあります。近年、ディープラーニングの台頭により、対話システムは新たなレベルに到達しました。 Beikeは、業界における超大規模住宅サービスプラットフォームとして、対話システムにおける長期にわたる探究と実験を行ってきました。従来の対話システムは従来の手動サービスを置き換えようとしますが、Beike の対話システムには独自の革新性があります。人工知能と人工知識は一緒に学習して進化することができ、ディープラーニングと従来の NLP テクノロジーの助けを借りて業界を強化します。 Beike の上級アルゴリズム専門家である Chen Kaijiang 氏は、意味理解、対話システム、音声アシスタント、VR ハウス閲覧コラボレーションにおける Beike の関連技術と製品の実践について説明しました。

北科不動産の上級アルゴリズム専門家、陳凱江氏

対話システムの難しさは、5つの側面に分けられます。第一に、単一のモデルで問題を解決するのが難しいこと、第二に、高品質で低コストの大量の注釈付きデータを入手するのが難しいこと、第三に、誰もが知っている多くの常識を機械が理解する必要があること、第四に、対話システムのコミュニケーションを定量化して標準化するのが難しいこと、第五に、対話システムを普遍化するのが困難であること、ある業界やあるシナリオで良い結果を達成したとしても、それをコピーして他の業界やシナリオで直接使用することは困難です。

Beike は、住宅サービス プラットフォームとして、長年にわたり対話システムの探求と試行を行ってきました。 Beike Real Estate は、ディープラーニングと従来の NLP テクノロジーを使用して多くのブローカーを支援し、運用効率を 3 ～ 5 倍向上させています。不動産業界は消費量の多い業界であり、人間とコンピュータの直接対話を通じて信頼関係を築くことは困難です。そのため、Beike Real Estateは、ユーザー側のBeike APPとブローカー側のLink APPの間で直接対話を行っています。対話システムは、対話プロセスにおける潜在的な役割です。システムは対話をブローカーに送信し、ブローカーはテキストを変更したり、直接ユーザーに送信したりできます。

Beike の会話システムは技術的に 3 つの段階に分かれています。第 1 段階は会話データを継続的に取得すること、第 2 段階は MVP (Model-View-Presenter)、第 3 段階は反復の繰り返しです。会話データから一次知識を得るために、まずデータを前処理し、Q&A 会話システムを抽出します。会話システムには、プロセス、インテント、スロット (関数パラメータに類似) という 3 つの主要要素が含まれます。その後、陳凱江氏は、単一意図単一ラウンド会話と多重意図マルチラウンド会話の主なプロセス、アルゴリズム、実験結果の紹介に重点を置きました。同氏は、Beikeが現在、不動産業界にいくつかの技術要素を統合していることを明らかにした。例えば、4D住宅内覧を通じて、ブローカーとユーザーの住宅内覧の効率が向上した。AIプラットフォームを通じて、Beikeの能力は内部的に開放され、より多くのシナリオに対応できるようになった。業界データウェアハウスと不動産ナレッジグラフの構築を通じて、業界のパノラマビューが形成され、4D住宅内覧とAIプラットフォームの構築に役立っている。

Zhihu: AI を活用してスマートコミュニティを構築

中国でよく知られている知識共有プラットフォームであるZhihuには、2億人の登録ユーザーと1億件を超える回答があります。現在、AIはZhihuのあらゆる側面に完全に関与しており、コミュニティの運用効率が大幅に向上しています。 Zhihu AI チームのテクニカル ディレクターである Huang Bo 氏は、「Zhihu AI テクノロジーとアプリケーション」について素晴らしい講演を行い、ナレッジ グラフ、コンテンツ理解、ユーザー分析における Zhihu の特定のテクノロジーと関連アプリケーションについて紹介しました。

ナレッジ グラフは 2 つのステップに分かれています。1 つ目はナレッジ グラフの構築で、構造化知識と半構造化知識の統合、知識間の関係のデータ マイニングによる知識表現とモデリングが含まれます。2 つ目はナレッジ グラフの応用で、意味検索と推奨、質問応答と対話システム、ビッグ データ分析と意思決定が含まれます。

Zhihu AIチームのテクニカルディレクター、黄波氏

ナレッジグラフの構築は、特定のビジネスシナリオと密接に関連しています。現在、Zhihu はトピックとエンティティを中核として数百万のノードを構築し、トピック相関グラフ、トピック階層グラフ、トピックとエンティティの関係グラフを構築しています。長期的には、Zhihu はユーザーをナレッジ グラフ内のノードとして扱い、トピックやエンティティなどのセマンティック ノードとの接続を確立します。

ナレッジグラフの知識表現は、離散表現と連続表現の 2 種類に分けられます。離散表現の利点は、解釈可能性が高く、表現能力が高く、複雑な知識構造を処理できることですが、欠点はスパース性とスケーラビリティが低いことです。連続表現の利点は、低次元密度とモデルとの親和性ですが、欠点は解釈可能性が低く、表現能力が弱く、複雑な知識構造のサポートが乏しいことです。したがって、知識表現方法を選択する際には、それぞれの長所と短所を踏まえて慎重に選択する必要があります。

現在、Zhihu のコンテンツ プラットフォームには、25 万のトピック、2,700 万の質問、1 億 2,000 万の回答が掲載されています。 Zhihu コンテンツ分析には、セマンティック タグ、品質タグ、適時性タグの 3 つのカテゴリが含まれます。

複数の粒度のセマンティック ラベル要件:

• プライマリドメインとセカンダリドメイン: あらゆる質問や記事を特定のカテゴリに分類できるようにする、可能な限り粗く、完全かつ直交した分類システム。
• トピック: 精度が高く、同じ質問または記事を複数のトピックでマークできます。
• エンティティ/キーワード: 高い精度、リコールする人気のあるエンティティ/キーワードを優先します。
• セマンティック クラスタリング: セマンティック クラスターは均一な粒度で、データから派生します。

トピックマッチングに関しては、エンドツーエンドのディープラーニングモデルの効果が低いため、Zhihu はリコール + ソートに基づくマルチ戦略融合を採用し、精度率は最大 93%、リコール率は 83% です。その中で、リコール戦略には、AC マルチモード マッチング、ポイント相互情報量 (PMI) に基づく 2 パス アライメント アルゴリズム、およびナレッジ グラフに基づく 3 つのリコール方法が含まれます。マルチ戦略融合ランキングモデルには、ディープラーニングモデルに基づく意味的類似性スコア、候補トピックセットとの類似性スコア、トピックグラフに基づく重みスコア、ルールに基づく重みスコアの 4 種類があります。

ユーザー分析では、ユーザーの基本ポートレート、ユーザーの興味ポートレート、ユーザーの社会的表現とマイニングの 3 つのカテゴリに分かれています。このうち、ユーザー表現とクラスタリングでは、ユーザーの検索内容、注目度、コレクション、いいね、回答、記事などに対応するトピックをユーザー特徴として利用し、ワンホットベクトルに整理し、変分オートエンコーダ（VAE）を使用してユーザートピックベクトルを再構築し、エンコーダー層の出力を確率分布にマッピングして、ユーザーの埋め込み表現として利用します。

上記の内容は、WOT2018グローバル人工知能技術サミットの「テキスト分析とNLP」サブフォーラムの講演内容に基づいて51CTO記者がまとめたものです。WOTに関するその他の内容については、.comに注目してください。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]