自然言語処理の応用展望

自然言語処理 (NLP) の定義

自然言語処理（NLP）は、コンピューターが人間と同じように言語を理解、処理、生成できるようにする人工知能技術の分野であり、ビジネスにおけるその応用は急速に拡大しています。

自然言語処理 (NLP) という用語は、もともと AI システムの読み取り機能を指していましたが、その後、計算言語学全体を包括する用語になりました。サブカテゴリには、自然言語生成 (NLG) (コンピュータが独自に通信を作成する能力) と自然言語理解 (NLU) (俗語、発音ミス、スペルミス、その他の言語のバリエーションを理解する能力) が含まれます。

[[323561]]

自然言語処理（NLP）の仕組み

自然言語処理は機械学習 (ML) を通じて実行されます。機械学習システムは、他の形式のデータと同様に、単語とその組み合わせを保存します。フレーズ、文章、時には本全体が機械学習エンジンに入力され、文法規則と人々の実際の言語習慣（またはその両方）に基づいて処理されます。コンピューターはこのデータを使用してパターンを見つけ、次に何をすべきかを推測します。翻訳ソフトウェアを例に挙げてみましょう。フランス語では、「公園に行きます」は「Je vais au parc」なので、機械学習は「店に行きます」も「Je vais au」で始まると予測します。

自然言語処理アプリケーション

機械翻訳は優れた自然言語処理 (NLP) アプリケーションの 1 つですが、最も一般的に使用されているアプリケーションではありません。人々が Google や Bing の検索エンジンで何かを検索するたびに、システムにデータを入力します。検索結果をクリックすると、検索インデックスはそれを結果が正しく見つかったことの確認とみなし、この情報を使用して今後の検索を改善します。

チャットボットも同様に動作します。Slack、Microsoft Messenger、その他のチャット プログラムと統合され、ユーザーが話している言語を読み取り、トリガー ワードが発せられたときに起動します。 Siri や Alexa などの音声アシスタントは、「Hey、Alexa」などのフレーズを聞くと応答します。批評家がこれらのプログラムが常に耳を傾けていると非難するのはそのためです。そうでなければ、人々がいつそれらを必要とするのか決して分からないでしょう。ユーザーが自分でアプリを開かない限り、自然言語処理はバックグラウンドで実行され、フレーズが出てくるのを待ちます。

自然言語処理 (NLP) は、人々に害よりも利益をもたらします。 Google 検索やスペルチェッカーのない生活を想像することもできます。自然言語処理 (NLP) を使用して、入力された単語を辞書内の単語と比較します。 2 つのデータ セットを比較することで、スペル チェッカーは問題を特定し、提案を提供できます。

自然言語処理 (NLP) の例

検索エンジンやスペルチェッカーは今日では非常に普及しており、特に自然言語処理 (NLP) によって生産性を大幅に向上できる仕事では、人々はそれらを当たり前のこととして捉えがちです。残りの休暇日数を知りたいですか? 人事部に尋ねる必要はありません。企業のポリシーを検索して回答を探すチャットボット、Talla で時間を節約しましょう。顧客に電話するときに、携帯電話に保存されている電話番号を検索する必要がありますか? 音声プロンプトを使用して音声検索で SecondMind を起動すると、必要な番号が表示されます。この統合検索ツールにより、従業員と顧客間のコミュニケーションがスピードアップします。

自然言語処理は、採用担当者が履歴書を整理し、多様な応募者を集め、より適格な従業員を採用するのにも役立ちます。スパム検出では、自然言語処理 (NLP) を使用して迷惑メールがユーザーの受信トレイに入らないようにブロックできます。さらに、Outlook や Gmail などのプログラムを使用して、特定のユーザーのメールを作成したフォルダーに分類することもできます。

感情分析などのツールを使用すると、企業は良いツイートと悪いツイートを素早く識別し、顧客の懸念を理解することができます。感情分析は、ソーシャル メディア上のテキストを処理するだけでなく、単語が出現するコンテキストも分析します。分析会社Periscopicのデータ視覚化ツールであるSkye Morétによれば、英語の単語のうちポジティブな意味を持つのはわずか30%で、残りは中立的またはネガティブな意味を持つ単語だという。したがって、自然言語処理 (NLP) は、企業が投稿をより包括的に理解するのに役立ちます。これらの中立的な言葉の背後にある消費者が表現した感情は何でしょうか?

従来、企業は自然言語処理を使用してフィードバックを肯定的カテゴリと否定的カテゴリに分類しています。しかし、フライシュマン・ヒラードのソーシャルおよびイノベーション担当上級副社長ライアン・スミス氏は、今日の自然言語処理ツールは悲しみ、怒り、恐怖といったより正確な感情を識別できると述べた。

自然言語処理 (NLP) ソフトウェア

チャットボット、音声アシスタント、予測テキスト アプリケーション、または自然言語処理を中核とするその他のアプリケーションを構築する場合でも、企業はツールを採用する必要があります。調査によると、最も人気のある自然言語処理ソフトウェアは次のとおりです。

• 自然言語ツールキット (NLTK)。 Natural Language Toolkit (NLTK) は、人間の言語データを処理する Python プログラムを構築するためのオープン ソース フレームワークです。これはペンシルバニア大学のコンピューターおよび情報科学学部で開発され、50 を超えるコーパスと語彙リソース、テキスト処理ライブラリ、自然言語処理ライブラリ、およびフォーラムへのインターフェースを提供します。 Natural Language Toolkit (NLTK) は、Apache 2.0 ライセンスに基づいて提供されます。
• スパシー。 SpaCy は、研究ではなく生産目的で設計された、高度な自然言語処理のためのオープンソース ライブラリです。 SpaCy は高度なデータ サイエンスを念頭に設計されており、詳細なデータ マイニングを可能にします。 MIT からライセンスされています。
• ゲンシム。 Gensim は、自然言語処理用のオープンソースの Python ライブラリです。プラットフォームに依存しないライブラリは、スケーラブルな統計的セマンティクス、セマンティック構造のプレーンテキスト ドキュメント分析、およびセマンティックに類似したドキュメントを取得する機能をサポートします。人間の監視なしで大量のテキストを処理できます。
• Amazon 理解。この Amazon サービスでは機械学習の経験は必要ありません。これは、組織が電子メール、顧客レビュー、ソーシャル メディア、サポート チケット、その他のテキストから洞察を得られるように設計されています。感情分析、品詞抽出、トークン化を使用して、言葉の背後にある意図を分析します。
• IBM Watson オーディオ アナライザー。クラウドベースのソリューションは、ソーシャル リスニング、チャットボットの統合、顧客サービスの監視用に設計されています。顧客の投稿の感情や口調を分析し、カスタマー サービス コールやチャットの会話を監視できます。
• Google クラウド翻訳。この API は、自然言語処理を使用してソース テキストを調べて言語を判別し、ニューラル マシン翻訳を使用してテキストを別の言語に動的に翻訳します。この API を使用すると、ユーザーは機能を独自のプログラムに統合できます。

自然言語処理（NLP）コース

自然言語処理アプリケーションの作成と保守を学習するためのリソースは数多くあり、その多くは無料です。これらには以下が含まれます:

• DataCamp での Python を使用した自然言語処理。この無料コースでは、Python を使用した自然言語処理の基礎をカバーする 15 本のビデオと 51 個の演習ファイルが提供されます。単語を識別して分離する方法、テキスト内のトピックを抽出する方法、独自のフェイクニュース分類器を構築する方法について説明します。
• Udemy での自然言語処理 (NLP)。この入門コースでは、Python と Natural Language Toolkit を使用してテキストを処理および分析する実践的な体験を提供します。これには、3 時間のオンデマンド ビデオ、3 つの記事、および 16 のダウンロード可能なリソースが含まれます。コースの料金は 19.99 ドルで、修了証書が発行されます。
• Udemy の Python による自然言語処理 (NLP)。このコースは、この言語でのプログラミング経験があり、オブジェクト指向プログラミングの概念を理解し、数学と行列演算について基礎から中級レベルの知識を持つ個人を対象としています。これは完全にプロジェクトベースであり、ツイートの感情をリアルタイムで予測するテキスト分類器の構築と、記事を取得して要約を抽出する記事要約器の構築が含まれます。このコースには、10.5 時間のオンデマンド ビデオと 8 つの記事が含まれます。コースの料金は 19.99 ドルで、修了証書が発行されます。
• edX の自然言語処理 (NLP)。 Microsoft Corp. が edX を通じて提供する 6 週間のコースでは、自然言語処理と従来の機械学習手法の使用について概要を説明します。統計的機械翻訳と深層意味類似性モデル (DSSM) とその応用について説明します。また、自然言語処理や視覚言語マルチモーダルインテリジェンスへの応用を伴う深層強化学習技術についても説明します。これはプレミアムコースであり、コースを修了するとわずか 99 ドルで認定証を受け取ることができます。
• Coursera が提供する自然言語処理。このコースは、Coursera の高度な機械学習の専門コースの一部であり、感情分析、要約、会話状態の追跡などの自然言語処理タスクをカバーしています。 Coursera によれば、これは 1 週間に 4 ～ 5 時間の勉強で 5 週間かけて修了する上級コースです。

自然言語処理は社会貢献をサポートする

感情分析は、企業がデータを処理するのに役立つだけでなく、人々が社会的動向を理解するのにも役立ちます。たとえば、Periscopic は、自然言語処理 (NLP) と視覚認識を組み合わせて、ドナルド・トランプ米国大統領の感情状態を理解することを目的として言語と顔の表情を処理するデータ エンジンである Trump Emoticoaster を作成しました。

同様の技術は学校での銃乱射事件も防ぐことができる。コロンビア大学の研究者らは、暴力的な若者9,000人からの200万件のツイートを分析し、「十代の若者が暴力的になるにつれて、彼らの言葉遣いはどのように変化するのか？」という疑問の答えを探している。

コースラのプログラムディレクター、デズモンド・パットン博士は、「問題のあるコンテンツは時間とともに進化します」と語る。若者の中には、危険の淵にどんどん近づいていくと、それを言葉で表現する人もいる。その後、自然言語処理によって問題のある感情がフラグ付けされ、ソーシャルワーカーが介入できるようになります。

Periscopic と同様に、Columbia は画像認識と組み合わせて感情分析を使用し、精度を向上させています。コンピュータービジョンがツイートの画像を解析し、その後機械学習がそれを言語とともに処理して「画像の本当の感情」を伝えるとパットン氏は語った。 「この画像は悲しみを表しているのでしょうか？ これは脅威を表しているのでしょうか？ これらの画像には、人々が理解を深めるのに役立つ他のどのようなことが含まれているのでしょうか？」 学校での銃乱射事件に加え、プロジェクト・コロンビアはこの技術をギャングの暴力を防ぐためにも活用したいと考えている。

自然言語処理（NLP）による個人の改善

自然言語処理 (NLP) は、人々が自分の感情状態を監視するのにも役立ちます。 Woebot は、Facebook Messenger チャットボットまたはスタンドアロン アプリを通じてユーザーとつながる電子セラピストです。しかし、高度な感情分析技術がなければ、Woebot は実際にはうつ病や不安を示す単語しか追跡できず、これはユーザーが緊急事態に直面していることを示している可能性があります。