NLP入門シリーズ:自然言語処理

[[400034]]

この記事はAI Publishingが執筆したWeChatパブリックアカウント「データとインテリジェンス」から転載したものです。この記事を転載する場合は、Data and Intelligence の公開アカウントにご連絡ください。

この章では、自然言語処理の概要を説明します。自然言語処理とは何か、最も一般的な自然言語処理アプリケーションは何か、自然言語処理アプリケーションを開発するための基本的なアプローチは何かを説明します。

1. 自然言語処理を理解する

人間は多くの情報を含む自然言語を通じて交流します。たとえば、単語の選択、文の調子や文脈によって、人の気分、意図、感情を明らかにすることができます。

さらに、書籍、新聞、ブログなどのテキスト文書には、さまざまなタスクを実行するために使用できる情報が満載されています。人間が文書から有用な情報を理解して抽出し、その情報に基づいて意思決定を行うには、かなりの時間がかかります。

ここで自然言語処理が役立ちます。

自然言語処理は、「人間が話す自然言語をコンピューターが読み取り、理解し、意味を抽出できるようにする人工知能の分野」と定義されています。

自然言語処理により、コンピューターは自然言語を理解できるだけでなく、自然言語を通じて人間に応答することもできます。 NLP テクノロジーは、人間とコンピューターのインタラクションの目的で使用されるほか、手動で処理すると数か月、あるいは数年かかるような大量のデータを企業内で処理するためにも広く使用されています。

たとえば、1,000 ページの本から情報を手動で抽出して要約するには、人間が数週間かかる場合がありますが、自然言語処理を使用すると、同様のテキスト要約を数分で行うことができます。同様に、すべてのユーザーレビューを読み、特定の製品に関するユーザーの意見を含むレポートを作成するために人間の読者を雇うのは非常にコストがかかりますが、自然言語処理を使用すると、ユーザーの意見をテキストから自動的に抽出できるため、企業は組織的な決定を下すことができます。

2. 自然言語処理の実用的応用

Microsoft の Cortona から Apple の Siri まで、NLP はさまざまなアプリケーションに活用されています。このセクションでは、NLP の最も一般的なアプリケーションのいくつかを簡単に紹介します。

感情分析

NLP はテキストの感情分析を実行するためによく使用されます。ツイート、ブログ、特定の製品や団体に関するレビューなど、テキスト形式の世論には感情が含まれています。感情分析とは、これらのテキストから感情を識別することを指します。ツイートに関する世論を自動的に検出することで、企業は自社製品の改善方法や、どのツイートを残してどのツイートを破棄するかを決定できるようになります。

スパムメールと非スパムメールの分類

Gmail やその他のメール サーバーは、NLP テクノロジーを使用して、迷惑メールではないメールとスパム メールを正確に区別します。これはテキスト分類の典型的なアプリケーションであり、テキスト ドキュメントは事前定義されたカテゴリの 1 つ (つまり、スパムではないかスパムであるか) に分類されます。

音声テキスト変換

NLP テクノロジーは、音声とテキスト間の自動双方向変換に広く使用されています。自分が話した内容を、誰かに書き留めてもらう必要はもうありません。 Google の自動音声認識 (https://bit.ly/2N6xYSt) は、音声からテキストへの変換の典型的な例です。

人間とコンピュータの相互作用

キーボードのボタンを押したり、マウスをクリックしてコンピューターにコマンドを発行する必要があった時代は終わりました。 NLP により、人間とロボットが自然言語を通じて対話することがすでに可能になっています。 NLP の助けにより、ロボットは人間の言語を理解できるだけでなく、自然言語で人間に応答することもできます。 Sophia (https://bit.ly/2YLprtx) は、自然言語処理を通じて人間と対話するヒューマノイド ロボットの典型的な例です。

強化された仮想アシスタント

前述のように、NLP 技術は、Amazon Alexa、Apple の Siri、Microsoft の Cortona などの仮想アシスタントの開発にも使用されています。これらの仮想パーソナル アシスタントは、NLP 手法を利用して人間の要求を理解し、自然言語で応答します。

テキスト翻訳

自動テキスト翻訳は、NLP の最も強力なアプリケーションの 1 つです。テキスト翻訳テクノロジーを使用すると、マウスを数回クリックするだけで、文書をある言語から別の言語に翻訳できます。 Google 翻訳は、テキスト翻訳に NLP テクノロジーを使用する最も有名な例の 1 つです。

テキスト要約

誰もが長い記事を読む時間があるわけではありませんし、内容を要約するには時間と労力がかかります。 NLP テクノロジーを使用すると、テキスト ドキュメントを自動的に要約できるため、時間、人手、コストを節約できます。

テキスト生成

ディープラーニングに基づく高度な NLP 技術も、テキスト生成に使用されるようになりました。近年、テキスト生成技術を使用して、（ゲーム・オブ・スローンズ）の脚本に基づいた詩が生成されています。テキスト生成技術はまだ初期段階です。

3. NLP学習のロードマップ

NLP を習得するには時間と労力がかかります。 2 つのブログを読んだだけでは、NLP の専門家であると主張することはできません。このセクションでは、NLP を段階的に学習する方法を紹介します。

優れた NLP エキスパートになるには、次の手順を順番に実行する必要があります。

3.1 NLPとは何かを理解する

NLP アプリケーションの開発を始める前に、実際に何を行うのかを知る必要があります。 NLP とは何か、なぜそれが役立つのか、そして最も重要な NLP アプリケーションのいくつかを理解する必要があります。この本の第 1 章では、自然言語処理の理論的基礎を確立します。

3.2 プログラミング言語を学ぶ

NLP の専門家になりたいなら、プログラミングを少し学ぶ必要があります。これは避けられない現実です。 NLP アプリケーションを開発するにはプログラミングを学ぶ必要があります。自然言語アプリケーションをプログラムするには任意のプログラミング言語を使用できますが、Python プログラミング言語を学習することをお勧めします。 Python は NLP で最も一般的に使用されるライブラリの 1 つであり、数え切れないほどの基本および高度な NLP ライブラリがあります。さらに、多くの NLP アプリケーションは機械学習とディープラーニングに基づいています。 Python は、使いやすいディープラーニングと機械学習のライブラリを提供する言語です。つまり、Python を学びましょう。第 2 章では、初心者向けの Python 短期集中講座を提供します。

3.3 基本的なタスクから始める

非常に基本的な NLP アプリケーションから始めます。初心者はすぐに NLP アプリケーションの開発を始めるのではなく、まず最も一般的で基本的な NLP タスクを理解することをお勧めします。たとえば、ストップワードの削除方法、文を単語に分割する方法、段落を文に分割する方法、テキスト内の単語の品詞タグを見つける方法などを学びます。さらに、テキストのクリーニングと操作のテクニックにも熟練していることが必須です。最後に、さまざまなソースからアプリにデータをインポートする方法と、Web サイトからデータを取得してアプリにインポートする方法を理解する必要があります。基本的な NLP タスクについては、第 4 章、第 5 章、第 6 章で詳しく説明します。

3.4 テキストを統計的に表現する方法を理解する

前述したように、ほとんどの NLP 技術にはディープラーニングと機械学習の概念が含まれており、ディープラーニングと機械学習はどちらも統計的な技術です。これらの技術を NLP に実装するには、テキストを統計的に表現する必要があります。テキストを統計的に表現する方法はさまざまです。詳細については第 7 章を​​参照してください。

3.5 機械学習とディープラーニングの理解

基本的な NLP の概念をすべて学習したら、機械学習とディープラーニングの概念、特に教師あり機械学習アルゴリズムを学習する必要があります。ディープラーニング アルゴリズムでは、密に接続されたニューラル ネットワーク、再帰型ニューラル ネットワーク (特に LSTM)、畳み込みニューラル ネットワークの基本的な動作原理を理解することに重点を置く必要があります。これらの概念については第 3 章で説明します。

3.6 高度なNLPアプリケーションの開発

基本的な NLP タスクに慣れ、ディープラーニングと機械学習の基礎を理解すれば、高度な NLP アプリケーションを開発する準備が整います。 NLP アプリケーションの場合、まずロジスティック回帰、ランダムフォレストなどの機械学習アルゴリズムを使用して機械学習アプリケーション (テキスト分類など) を開発することをお勧めします。機械学習を使用した NLP アプリケーションの開発に慣れたら、さまざまなニューラル ネットワークを使用するディープラーニングに基づく高度なアプリケーションに進むことができます。この本の第 2 部では、ディープラーニングと機械学習に基づいた NLP アプリケーションの開発について説明します。

3.7 NLPアプリケーションの展開

高度な NLP ベースのアプリケーションは、機械学習アプリケーションと非常によく似ています。このようなアプリケーションを展開する方法はいくつかあります。 NLP アプリケーションへの呼び出しを処理できる REST API を含む専用サーバーが利用可能です。このようなアプリケーションをデプロイするには、Python Flask、Docker、または同様の Web テクノロジーを学習する必要があります。さらに、アプリケーションは、Amazon Web Services またはその他のクラウドベースのデプロイメント プラットフォームを使用してデプロイできます。

NLP の専門家になるには、上記の 7 つのステップを継続的に実践する必要があります。練習すればするほど、NLP が上手になります。

4. 主な自然言語処理手法

自然言語処理方法は、ルールベースの方法と統計的な方法の 2 つのカテゴリに分けられます。

4.1 ルールベースのアプローチ

名前が示すように、ルールベースの方法は人間が定義したルールで構成されます。たとえば、感情分類のルールベースのアプローチには、ツイート内の肯定的な単語の数が否定的な単語の数より多い場合、そのツイートは全体的に肯定的な感情を持つものとして分類できるというルールが含まれる場合があります。

ルールベースのアプローチには利点と欠点があります。主な利点の 1 つは、解釈のしやすさが非常に高いことです。さらに、ルールベースの方法では、トレーニングに大量のデータは必要ありません。主な欠点の 1 つは、これらのルールベースの方法は柔軟性に欠け、さまざまなデータセットに拡張できない可能性があることです。

4.2 統計的手法

名前が示すように、統計的手法には、自然言語処理技術の開発に使用される統計アルゴリズムが含まれます。機械学習とディープラーニングの手法は、NLP の統計的手法の代表的な例です。ルールベースの方法と比較すると、統計的方法はより柔軟でスケーラブルです。統計的手法を使用する主な欠点は、解釈可能性が欠如していることと、NLP アルゴリズムをトレーニングするために大規模なデータセットが必要になることです。