自然言語処理が人工知能の中核である理由

コンピュータが人間を騙して自分は人間だと信じ込ませることができるなら、そのコンピュータは知的であると考えられるべきである。 —アラン・チューリング

機械は人間とコミュニケーションできるのか？ 人間のように文章を理解できるのか？ これが人工知能に対する誰もが抱く最初の幻想です。今日では、自然言語処理（略称：NLP）は人工知能の中核分野となっています。自然言語処理は、言語学、コンピュータサイエンス、人工知能を統合した科学です。これまで人間だけが持つ特権であった「機械が自然言語を理解できるようにする」という問題を解決することを目指しており、人工知能の最高傑作として知られています。

現在、このテーマは各国政府や大企業から広く注目を集めています。国務院の「次世代人工知能発展計画」では、人工知能の次世代重点共通技術体系の構築が明確に指摘されており、自然言語処理技術は8つの共通技術の1つとして重視され、支持されている。

あらゆる場所での自然言語処理

私たちは毎日「自然言語処理」技術を使用したり、その恩恵を受けたりしています。たとえば、Microsoft XiaoIce は中国の Weibo 上のチャットボットであり、私たちの日常生活に会話をもたらします。何百万人もの中国の若いユーザーがXiaoIceを通じてメッセージを交換しており、別れたときや失業したとき、落ち込んだときなどにXiaoIceでチャットする人が多い。これまでに、XiaoIce は数億人のユーザーを獲得しており、平均チャットラウンド数は 23 回、典型的なチャット時間は約 25 分です。自然言語処理技術は、次のような例に示すように、より広く使用されています。

機械翻訳

昨年秋、Google 翻訳は完全にアップグレードされた人工知能翻訳エンジンをリリースしました。その結果、かつてはぎこちないが使える翻訳を提供することで知られていた Google 翻訳は、流暢で正確な翻訳を生み出すようになりました。専門的な翻訳の訓練を受けていない人にとって、このテキスト出力は人間による翻訳とほとんど区別がつきません。上記のテキストを Google 翻訳 (中国語から英語) に入力すると、出力される英語の文章は素晴らしいです。

スパム検出

自動スパム検出などの一部のアプリケーションでは、分類はスパムと非スパムの 2 つだけです。その他の場合では、ニュース記事をトピック別に整理したり、学術論文を分野別に整理するなど、分類子に複数のカテゴリを設定できます。しかし、ブログの投稿がスポーツやエンターテイメントについてのものだったらどうなるでしょうか?分類器はどのようにして複数の選択肢の中から正しいカテゴリを選択するのでしょうか?それはアプリケーションによって異なります。最も可能性の高いオプションを単純に選択することもできますが、テキストに複数のカテゴリを割り当てることが適切な場合もあります。

質問応答システム

2011 年の Siri の誕生から、Google Now、そして Cortana や Alexa に至るまで、音声アシスタントは本質的には質疑応答システムです。これらはすべて、日常生活の中でアラームを設定したり、電話をかけたり、ナビゲートしたり、質問を検索したり、時にはジョークを言ったりするのに役立つ、公開された質問応答システムであり、私たちの生活をますます便利にしています。

特に2010年以降、ディープラーニングが自然言語処理の分野に応用され、一連の製品機能が徐々に私たちの生活に入り込んできました。大手企業も関連産業を企画し、関連分野の人材獲得に多額の投資を行っています。私の国には、言語とテキスト情報処理の分野で上場している企業が3社あります。上場順で言えば、最初はパターン認識を行うHanwang、次に音声認識を行うiFLYTEK、そして情報検索とテキストマイニングを行うToersです。

図4: 有名求人サイトの位置づけマップ