自然言語処理 (NLP) とは何ですか?

[[399636]]

【51CTO.com クイック翻訳】自然言語処理 (NLP) の定義

自然言語処理 (NLP) は、コンピューターが人間と同じように言語を理解、処理、生成できるようにする人工知能の分野です。検索エンジン、機械翻訳、音声アシスタントはすべてこのテクノロジーを活用しています。

この用語はもともと人工知能システムの読み取り機能を指していましたが、現在ではすべての計算言語学を表す俗語となっています。そのサブカテゴリには、自然言語生成 (NLG) (コンピューターが独自にコミュニケーションを作成する能力) と自然言語理解 (NLU) (俗語、発音ミス、スペルミス、その他の言語のバリエーションを理解する能力) が含まれます。

自然言語処理（NLP）の仕組み

自然言語処理 (NLP) は機械学習を通じて機能します。機械学習システムは、他の形式のデータと同様に、単語とその組み合わせを保存します。フレーズ、文章、時には本全体が機械学習エンジンに入力され、文法規則、人々の実際の言語習慣、またはその両方を使用して処理されます。コンピューターはこのデータを使用してパターンを見つけ、次に何が起こるかを推測します。翻訳ソフトウェアを例に挙げてみましょう。フランス語では、「公園に行きます」は「Je vais au parc」なので、機械学習は「店に行きます」も「Je vais au」で始まると予測します。

自然言語処理（NLP）の応用

機械翻訳は強力な自然言語処理 (NLP) アプリケーションですが、最も一般的な使用例は検索です。人が Google や Bing で何かを検索するたびに、手動でシステムにデータを入力します。検索結果をクリックすると、検索エンジンはそれを、見つかった結果が正しいことの確認と解釈し、この情報を今後の検索の改善に使用します。

チャットボットも同様に動作します。Slack、Microsoft Messenger、その他のチャット プログラムと統合し、ユーザーが使用する言語を読み取り、トリガー フレーズが入力されると開きます。 SiriやAlexaなどの音声アシスタントは、「ヘイ、アレクサ」などのフレーズを聞くと反応します。そのため、批評家はこれらのAIプログラムが常に聞き耳を立てていると非難します。そうでなければ、人々がいつ自分を必要としているかを知ることはできません。ユーザーが自分でアプリを開かない限り、自然言語処理 (NLP) プログラムはバックグラウンドで実行され、フレーズが表示されるのを待機している必要があります。

自然言語処理 (NLP) の例

データにはさまざまな形式がありますが、未使用のデータの最大のプールはテキストで構成されています。特許、製品仕様、学術出版物、市場調査、ニュース、ソーシャル メディアの投稿などはすべてテキストを主要な構成要素としており、テキストの量は増加しています。この技術を音声に適用すると、データプールはさらに大きくなります。ここでは、組織が自然言語処理 (NLP) テクノロジをどのように使用しているかを示す 3 つの例を示します。

(1) 世界的な経営コンサルティングサービスプロバイダーであるアクセンチュアは、自然言語処理 (NLP) 技術を使用して契約を分析しています。アクセンチュアの Legal Intelligent Contract Exploration (ALICE) ツールは、テキスト検索を実行して契約条件を検索することにより、同社の 2,800 人の専門家が何百万もの契約を処理するのに役立っています。 ALICE ツールは、「埋め込み単語」を使用して契約文書を段落ごとに調べ、キーワードを探して各段落が特定の種類の契約条項に関連しているかどうかを判断します。

（2）アメリカの通信会社Verizonは、自然言語処理（NLP）技術を使用して顧客の要求を処理します。Verizonのビジネスサービス保証チームは、自然言語処理（NLP）技術とディープラーニングを使用して、顧客の要求の注釈を自動的に処理します。チームは毎月 100,000 件を超えるインバウンド リクエストを受け取ります。 AI を活用したサポート サービスは、メンテナンス チケットを読み取り、現在のチケットのステータスや修理の進行状況の更新に関する報告など、最も一般的なリクエストに自動的に応答できます。より複雑な問題はエンジニアに解決を任せることになります。

(3) Public Electric and Gas (PSE&G) は仮想アシスタントで顧客を支援します。New Jersey State Utility は、Amazon が提供する Alexa Skills Toolkit を使用して構築された仮想アシスタント技術やその他のデジタル サービスを使用して、顧客が音声コマンドを通じて電気や天然ガスのアカウントを管理できるようにしています。

自然言語処理 (NLP) ソフトウェア

組織がチャットボット、音声アシスタント、予測テキスト アプリケーション、または自然言語処理 (NLP) を中核とするその他のアプリケーションを構築する場合は、それを支援するツールが必要になります。開発者向けの一般的なソフトウェア ツールには次のようなものがあります。

• 自然言語ツールキット (NLTK)。 Natural Language Toolkit (NLTK) は、人間の言語データを処理する Python プログラムを構築するためのオープン ソース フレームワークです。これはペンシルバニア大学のコンピューターおよび情報科学部で開発され、50 を超えるコーパスおよび語彙リポジトリ、テキスト処理ライブラリ、自然言語処理ライブラリのラッパー、およびフォーラムへのインターフェースを提供します。 Natural Language Toolkit (NLTK) は、Apache 2.0 ライセンスに基づいて提供されます。
• スパシー。 SpaCy は、研究ではなく生産目的で設計された、高度な自然言語処理用のオープンソース ライブラリです。 SpaCy は高度なデータ サイエンスを念頭に設計されており、詳細なデータ マイニングを可能にします。 SpaCy は MIT によって開発され、ライセンス供与されました。
• ゲンシム。 Gensim はオープンソースの Python ライブラリです。プラットフォームに依存しないライブラリは、スケーラブルな統計的セマンティクス、プレーンテキスト ドキュメントのセマンティック構造分析、およびセマンティックに類似したドキュメントを取得する機能をサポートします。人間の監視なしで大量のテキストを処理できるように設計されています。
• Amazon 理解。この Amazon サービスでは機械学習の経験は必要ありません。組織が電子メール、顧客レビュー、ソーシャル メディア、その他のテキストから洞察を見つけられるように設計されています。感情分析、品詞抽出、トークン化を使用して、言葉の背後にある意図を分析します。
• IBM Watson オーディオ アナライザー。クラウドベースのソリューションは、ソーシャル リスニング、チャットボットの統合、顧客サービスの監視用に設計されています。顧客の投稿の感情や口調を分析し、カスタマー サービス コールやチャットの会話を監視できます。
• Google クラウド翻訳。この API は、自然言語処理 (NLP) を使用してソース テキストを調べて言語を判別し、ニューラル マシン翻訳を使用してテキストを別の言語に動的に翻訳します。 API を使用すると、ユーザーは機能を独自のプログラムに統合できます。

自然言語処理（NLP）コース

自然言語処理 (NLP) アプリケーションの作成と保守を学習するためのリソースは多数あり、その多くは無料です。これらには以下が含まれます:

• DataCamp による Python による自然言語処理入門。この無料コースでは、単語の識別と分離の方法、テキスト内のトピックの抽出方法、独自のフェイクニュース分類器の構築方法など、Python を使用した自然言語処理 (NLP) の基礎を網羅した 15 本のビデオと 51 の演習ファイルが提供されます。
• Udemy による自然言語処理 (NLP) 入門。この入門コースでは、Python と Natural Language Toolkit を使用してテキストを処理および分析する体験ができます。これには、3 時間のオンデマンド ビデオ、3 つの記事、および 16 のダウンロード可能なリソースが含まれます。コースの料金は 19.99 ドルで、修了証書が発行されます。
• Udemy の Python による自然言語処理 (NLP)。このコースは、あらゆる言語での基本的なプログラミング経験、オブジェクト指向プログラミングの概念の理解、数学と行列演算に関する初級から中級レベルの知識を持つ個人を対象としています。これは完全にプロジェクトベースであり、ツイートの感情をリアルタイムで予測するテキスト分類器の構築と、記事を取得して要約を抽出する記事要約器の構築が含まれます。このコースには、10.5 時間のオンデマンド ビデオと 8 つの記事が含まれます。コースの料金は 19.99 ドルで、修了証書が発行されます。
• edX の自然言語処理 (NLP)。 Microsoft が edX を通じて提供するこの 6 週間のコースでは、自然言語処理と従来の機械学習手法の使用について概要を説明します。統計的機械翻訳と深層意味類似性モデル (DSSM) とその応用について説明します。また、自然言語処理 (NLP) や視覚言語マルチモーダル インテリジェンスへの応用を伴う深層強化学習手法についても説明します。これはプレミアムコースであり、コースを修了するとわずか 99 ドルで認定を受けることができます。
• Coursera が提供する自然言語処理。このコースは、Coursera の Advanced Machine Learning Specialization の一部であり、感情分析、要約、対話状態の追跡などの自然言語処理タスクをカバーしています。 Coursera によれば、これは上級コースであり、修了するには 5 週間の学習と、1 週間あたり 4 ～ 5 時間の学習が必要だと見積もられています。
• Coursera TensorFlow での自然言語処理。このコースは、Coursera の TensorFlow in Practice Specialization の一部であり、TensorFlow を使用して、テキストを処理し、文章をニューラル ネットワークに入力できる自然言語処理システムを構築する方法について説明します。 Coursera によれば、これは中級レベルのコースであり、完了するには 4 週間の学習と週 4 ～ 5 時間の学習が必要であると見積もられています。

原題: NLP とは何か? 自然言語処理の説明、著者: Terena Bell、Thor Olavsrud

[51CTOによる翻訳。パートナーサイトに転載する場合は、元の翻訳者と出典を51CTO.comとして明記してください]