百度技術委員会の呉華委員長：NLP技術は機械に人間の言語によるコミュニケーション能力を持たせるはずだ

[[211656]]

「人工知能を人間の生活に取り入れたいなら、人間とコミュニケーションできる言語能力を人工知能に与える必要があります。自然言語処理（NLP）は人工知能の中核分野の1つであり、この問題を解決する中核的な方法です。NLPに関する優れた研究により、コンピューターは人間の言語を理解して生成し、人間が慣れ親しんでいる方法で人間に役立つことができるようになります。」百度の技術委員会の議長である呉華氏は、自然言語処理と中国語コンピューティングに関する国際会議（NLPCC）でNLP技術の重要性について説明した。

NLPCC 2017 は、中国コンピュータ連盟 (CCF) が主催し、国際的な影響力を持つ学術およびイノベーション交流プラットフォームです。百度の技術委員会委員長であり、百度の自然言語処理部門の技術ディレクターである呉華氏が会議に招待され、会議で百度のNLP技術の開発状況と製品応用能力を紹介した。

呉華氏は、百度NLPはビッグデータとナレッジグラフを基盤とし、機械学習と言語学の蓄積を基に、最先端のテキスト理解・生成技術を有しており、そこから質問応答、機械翻訳、対話システムを構築し、NLPC（NLPクラウド）や百度AIオープンプラットフォームなど、プラットフォームベースでより多くの製品をサポートしていると述べた。 Baidu の NLP 技術は、検索、情報フロー、DuerOS など、多くの Baidu 製品に適用されています。

Baidu は長年の技術的蓄積を基に、共同で統合された語彙解析ソリューションを開発しました。これにより、機械が文章内の単語を正しく識別して注釈を付ける確率が大幅に向上します。呉華氏は、字句解析は自然言語処理の基礎であり、その精度はその後の一連の解析・処理タスクの結果に直接影響すると述べた。 Baidu のソリューションは、固有名詞認識 (NE 認識)、単語分割、品詞タグ付けを 1 つのフレームワークに統合し、より意味的に合理的で完全な単語分割と品詞タグ付けのシーケンスを実現します。一方、Baidu 独自の膨大なクリック フィードバック データは品詞タグ付けを支援し、品詞タグ付けコーパスを 20 万文から 1 億 3000 万文に急速に拡大し、データ精度は 95% を超え、自動単語分割と品詞タグ付けの精度が向上しています。

ウー・ホア氏は、Baidu の高度なテキスト理解および生成技術機能を紹介する際に、アプリケーションによってテキスト理解の程度や解析の粒度に対する要件が異なり、固定されたソリューションですべてのニーズを満たすことはできないと強調しました。現在、Baidu NLP は一般的な理解技術だけでなく、さまざまなタスクに対応するテキスト理解技術も提供しており、より正確な意図理解、推奨、人間とコンピューターの対話などを実現しています。検索では、ディープラーニングモデルに基づくマルチレベルセマンティックマッチング技術を使用することで、検索結果の関連性が大幅に向上します。たとえば、ディープラーニング モデルを適用する前は、「ウォーター ポンプが断続的に動作する」という検索結果は関連性がありませんでした。しかし、適用後は関連性が大幅に高まりました。知識ベースの質問応答およびタスク指向の対話システムでは、洗練された構文解析と意味役割ラベル付け技術を使用して、ユーザーの意図を正確に特定して理解することができます。

段落理解は、テキスト理解のもう 1 つの中核コンポーネントです。Wu Hua 氏は、「NLP テクノロジは、ユーザーの関心ネットワークとドキュメント意味ネットワークを通じてラベル マップを形成し、最終的には検索せずにインテリジェントな推奨事項を取得できます」と述べています。このテクノロジは、ユーザーの関心を出発点とし、検索、フォーラム、百科事典などのさまざまなチャネルから取得した明確な意味を持つテーマ、トピック、エンティティなどのコンテンツ ラベルに依存して、リアルタイムで更新できるフォーカス ラベル マップを作成します。以下のフォーカス ラベル マップでは、「AI」のトピックは、「テクノロジー」、「VR」、および「烏鎮サミット」などのイベントなどのトピックに関連付けられています。フォーカス マップに基づいてドキュメント コンテンツに注釈を付けることにより、ユーザーと記事の関係をより適切に記述し、ユーザーの観点から記事をより合理的に分類して効果的に推奨できるようになります。

呉華氏は観客にその場で5字の四行詩2つを見せたが、ほとんどの人はどれが百度の機械で作られたものか見分けるのが難しかった。現在、百度の人工知能によって書かれた記事は、メッセージプッシュ、情報フロー、オープンサブスクリプション、百家号などのチャネルを通じて配信され、ユーザーが読むことができます。

百度は、上記の技術力の蓄積を基に、質疑応答、対話、機械翻訳という3つの主要システムを構築しました。質問と回答の面では、ユーザーからの質問に直面した場合、システムはナレッジグラフに基づいて回答することができます。呉華氏は、理解や推論の欠如は質問応答の分野で依然として大きな課題であることを認めた。これに対応して、百度は最近、世界最大の中国語機械読解データセットであるDuReaderをリリースした。このデータセットは実際のアプリケーションのニーズに基づいています。すべての質問は百度検索ユーザーの実際の質問から来ており、文書はネットワーク全体からサンプリングされたWeb文書とUGC文書から来ています。回答は質問と文書に基づいて手動で作成および生成されています。現在、20万の質問と100万の文書があります。同時に、データセットには質問の種類、エンティティ、意見などの豊富な情報が注釈付けされており、既存の主流のデータセットが意見関連の質問を十分にカバーしていないという問題を補っています。

対話システムは、インテントグラフというコア技術に基づいて、ユーザーとマルチターンのインタラクションを実行します。ウー・ホア氏は、現在のタスク指向の対話モデルでは、対応するボットにさまざまなタスクが配分されるため、タスク管理が非効率かつ複雑になるが、インテントグラフではすべてのインテントが 1 つのグラフにまとめられ、継続的かつ一貫した対話管理が可能になると述べた。

ウー・フア氏は、百度は多くの製品にNLP技術を適用していると述べた。 2015年5月、百度はニューラルネットワーク機械翻訳技術を百度のオンライン翻訳サービスに適用し、ディープラーニングに基づく世界初の大規模オンライン翻訳システムを立ち上げました。今年、百度はWi-Fiと翻訳機能を組み合わせたWi-Fi翻訳機も発売した。80か国以上のモバイルデータ通信に対応し、リアルタイムの音声翻訳もサポートしている。

さらに、Baidu はプラットフォーム アプローチを通じて、より多くの製品をサポートしています。 Baidu が開発した自然言語理解のためのワンストップソリューションプラットフォームである NLPC (NLP Cloud) は、すでに 25 の NLP モジュールを提供でき、1 日に 2,000 億回以上呼び出されています。 Baidu AI Open Platform は、NLP モジュール、UNIT、翻訳などの 10 を超える自然言語処理機能を含む、Baidu のコア AI 技術機能の 80 以上を開発者やパートナーがアクセスできるように公開しています。

近年、NLP技術の開発は世界各国から大きな注目を集めています。米国のAIスタートアップの中で、最も多くのスタートアップが自然言語処理の分野に属しています。中国のAIスタートアップの中で、自然言語処理分野のスタートアップが3位にランクインした。 NLP 技術の開発と応用により、人間とコンピュータの相互作用は新たな時代へと進んでいます。呉華氏は、百度の自然言語処理技術は今後も高速で最適化・アップグレードされ、開発者やパートナーに力を与え続けるだろうと指摘した。インテリジェント時代が到来し、Baidu は AI が人間をより深く理解できるようにします。