自然言語処理技術はビジネス分野でどのようなアプリケーションをサポートできますか?

[[224853]]

[51CTO.com クイック翻訳] 人工知能と機械学習技術は、多くの分野で大きな進歩を遂げています。いくつかのタスクでは、人工知能が人間のパフォーマンスを上回っています。この新しい AI の波の中で、画像認識と音声処理技術の進歩が最も印象的です。それらと比較すると、自然言語処理（NLP）分野の進歩は遅れているように感じられます。

現在注目を集めている NLP の分野の 1 つは機械翻訳 (MT) テクノロジです。最近のニューラル ネットワーク ベースの方法は、従来の MT 方法を大幅に上回っています。しかし、エンドツーエンドのニューラル ネットワーク アプローチでは、処理する自然言語の意味を実際には「理解」していないと主張する人もいます。 「理解」とは何かについては議論の余地があるかもしれませんが、特に長い文章の場合、機械翻訳の品質には改善の余地が大いにあります。

同時に、NLP テクノロジーがさまざまな新旧ビジネスをどのように発展させることができるかについて、多くの人が熱狂しています。私には非常に賢い株式取引の友人がいますが、彼は NLP テクノロジーが金融ニュースの読み取りや取引の見通しに関する提案の提供に役立ち、取引規模を拡大できるかどうかを知りたいと思っています。私の別の友人は、患者と会話し、医学的な診断を下すのに十分な知識を持つチャットボットを作成する方法を模索しています。別の友人は、100% 信頼できるパーソナル アシスタントを作成したいと考えています。このアシスタントでは、誰もが自分の考えをすべて共有でき、プライベートな生活アドバイスを提供して、ユーザーがより幸せで前向きな気持ちになれるようにします。私たちはこれらのビジョンの達成にどれだけ近づいているのでしょうか?

NLP: 最先端の

ディープラーニングの波が到来する前は、品詞タグ付け、構文解析、エンティティリンク、意味解析などの従来の NLP タスクはゆっくりと着実に発展してきました。一般的に、これらのタスクはすべてテキスト注釈タスクであり、次の図で鮮明に描写できます。

これらのタスクを処理するためにディープラーニング手法を使用しても、必ずしもより良い結果が得られるとは限りませんが、ディープラーニングを使用すると、これらの作業が容易になります。たとえば、以前はパーサーをトレーニングするために何百万もの特徴を構築する必要がありましたが、今では単語の埋め込みから始めて、残りはニューラル ネットワークに任せることができます。

NLP がこれほどまでに異なり、これほどまでに難しいのはなぜでしょうか。また、ディープラーニングは画像認識や音声処理のタスクには大きな改善をもたらしたのに、NLP のタスクにはあまり役立たないのはなぜでしょうか。ここでは、自然言語を理解するために非常に重要な 2 つの要素、事前確率と構造があります。

2011 年、テネンバウムらは、「私たちの脳はどのようにして少量の知識から大量の情報を獲得するのか」という非常に興味深い疑問を提起しました。私たちの脳は、非常に豊富な世界モデルを構築し、まばらでノイズが多く、曖昧な可能性のある入力データ（私たちが行う推論をサポートするには多くの点で十分とは言えない情報）について、高レベルの一般化を行います。それで、どうやってそれをやったのでしょうか?

Tenenbaum らは説得力のある答え、つまりベイズ推論を示しました。ベイズ推論により、3 歳の子供は 3 頭の馬の写真を見た後に馬の概念を学ぶことができます。しかし、そのような推論は、何十億年もの進化の過程で私たちの脳にひっそりと組み込まれてきた生来の事前知識に依存している可能性があります。

しかし、ベイズ推論のための正しい事前知識を機械が得ることは困難です。ここに簡単な例を挙げます (ただし、完全に関連性があるわけではありません)。「ヨルダンの 7 日間の天気予報」を検索する場合、「ヨルダン」が何を指しているのかをどのように判断するのでしょうか。人間はそれが「ヨルダン」という国を指していることをすぐに理解できます。しかし、クエリ構造を理解しない単純なアルゴリズムでは、「Jordan」を「Jordan shoes」（Nike のブランド）と間違える可能性があります。

これは、ベイズ推定で使用された事前確率が、人々がジョーダンの靴と国名ジョーダンをオンラインで検索した頻度を数えることによって推定されたためであると考えられます。この推定値は、特に今回のケースでは偏っています。前者の方が後者よりも頻繁に検索されていることが判明しています。偏った事前確率は誤った推論結果につながる可能性があります。もっと洗練された方法で事前推定すべきでしょうか?確かに。しかし、より複雑なアプローチがすべてのケースで機能するとは限りません。

事前確率は重要ですが、自然言語が示す再帰構造はさらに重要です。クエリ文「ヨルダンの 7 日間の天気予報」は、位置パラメータ (タイム スロット) と時間範囲パラメータ (タイム スロット) を持つ「天気予報」セマンティック フレームにマッピングできる構造を持っています。アルゴリズムがこの構造を認識すれば、事前の知識に煩わされることはなく、ジョーダンをジョーダンの靴であると誤って識別することはありません。このアプローチにより、クエリをより深く理解できます。

最先端の Web 検索や質問応答/会話型アプリケーションでは、エンジニアは自然言語入力の構造を捉えるルールを記述し、推論のエラーを大幅に削減します。問題は、このソリューションを一般化および拡張することが難しいことです。ニューラル ネットワークとディープラーニングにより、自然言語処理における分散手法の使用が促進されました。

word2vec や GloVe などの単語埋め込み方法により、自然言語内の個別の単語を連続した空間にマッピングできます。この空間における「猫」と「犬」という単語の近接性により、「猫」と「犬」について導き出した結論を一般化することができます。ただし、分散アプローチは、事前確率と構造の必要性と矛盾しません。実際、フレーズ、文、段落などの単語よりも文章を表現するのに適した方法はありません。その理由は、単に文章の構造を効果的にモデル化する方法がわからないからです。さらに、説明や推論に不可欠な知識や常識を表現する適切な方法がありません。

おそらく、ディープラーニングが画像処理でより成功している理由は、画像の「構造」を捉えるのがより簡単だからであり、平行移動の不変性を可能にする畳み込みニューラル ネットワーク (CNN) が適している。しかし、同じことを自然言語で行うのははるかに困難です。その結果、事前確率と構造を暗黙的に学習するためのトレーニング データが大量にあるいくつかの孤立した領域を除いて、NLP のブレークスルーは見られませんでした (たとえば、Google は RankBrain をトレーニングして検索結果をランク付けするために数十億件の検索履歴を使用しました)。

NLP テクノロジーは弱く、機械が自然言語でオープンドメインのコミュニケーションを処理できるようになるまでには、まだ長い道のりがあります。しかし、最終的にそこに到達する前に、既存の NLP 技術は、ビジネスの世界でさらに前進するためにどのように役立つのでしょうか?

集約の力

NLP はすでに多くのアプリケーションで重要な役割を果たしています。しかし、彼らは皆、ちょっとしたトリックを使っていました。通常、これらのアプリケーションでは、自然言語での個々の発話の意味を理解するために NLP に依存することはありません。代わりに、NLP 技術を使用して大規模なコーパスを処理し、その結果を集約してアプリケーションをサポートします。

• 感情分析。特に、特定分野に対する感情分析は、企業や製品の評価に役立つツールです。大量のユーザーレビューコーパスから情報を抽出し、企業や製品に対する包括的な感情や意見を出力します。しかし、このテクノロジーを詳しく調べてみると、その欠陥がわかります。自然言語の特定の表現を理解できないため、感情を測定できないことがあります。たとえば、「携帯電話はポケットにぴったり収まる」というのは携帯電話のサイズについての肯定的な感情ですが、「ポケットにぴったり収まる」と「サイズ」を自動的に関連付けることは簡単ではありません。
• まとめ。テキスト要約には、抽出型と抽象型の 2 種類があります。記事を要約する場合、抽出方法は記事内のいくつかの文を選択することであり、抽象化方法は新しい文を生成することです。抽出法では純粋に統計的な方法を使用します。たとえば、文間の共通語やトピックを調べることで、2 つの文間のつながりを作成します。しかし、このアプローチは、近年ディープラーニングが役立つようになるまで、良い結果を生み出していませんでした。しかし、ディープラーニングを使用しても（たとえば、最近の研究では、シーケンス間の変換、アテンション メカニズム、コピー メカニズム、カバレッジ メカニズムなどが使用されています）、要約の品質はまだ製品レベルに達していません。では、このテクノロジーはいつになったら私の友人が金融ニュースを読んだり、取引のアドバイスを提供したりできるようになるのでしょうか?少なくとも現在のアプローチでは、要約内の明示的な目的を考慮するなど、追加の作業が必要です (例: 取引の推奨を提供する)。
• 知識ベース。ナレッジベースの構築は、情報抽出 (IE) 集約結果に依存するもう 1 つの領域です。また、集約の長所と短所の両方を示しています。より完全な知識ベースを作成するための努力は、以下の理由であまり成功していません。
  • – i) 通常は Freebase やその他の人工ライブラリでカバーされている大規模なコーパスからの情報抽出結果を集約することにより、オープンドメイン知識の大部分を取得します。
  • – ii) 個人の言葉から得られる知識は、一般的に信頼できない。

それでも、ドメイン固有の知識ベースは、ビジネスの世界で依然として大きな役割を果たす可能性があります。例として、電子商取引とヘルスケアという 2 つの重要な業界を取り上げます。電子商取引サイトでは、ユーザーは名前や機能で商品を検索できますが、「不眠症と戦う方法」や「アライグマを駆除する方法」などの検索はサポートされていません。そのような説明に当てはまる商品が多数販売されているにもかかわらずです。必要なのは、あらゆる名詞句や動詞句を製品のリストにマッピングする知識ベースです。医療の分野でも同様の状況が存在します。症状、状況、治療法、薬剤を結び付ける知識ベースが必要です。

• 検索。多くの人は検索問題は解決したと考えています。いいえ。検索はユーザーの行動に関する収集されたデータに依存しているため、検索は主にヘッドクエリでうまく機能します。しかし、Web 検索以外では、ヘッド クエリも現在はうまく機能しません。

考えてみてください: Facebook で「アリゾナ旅行」を検索してください。私の友人が、私の質問の 4 時間前にこのことについて投稿していましたが、それは完全に一致していたはずです。しかし、ユーザー行動データがまだインポートされていないため、検索時にこの記事を見つけることは非常に困難です。

したがって、ソーシャル検索、メール検索、eコマース検索、アプリ検索などでは、NLP とセマンティック マッチングが依然として重要な役割を果たします。具体的には、ユーザー行動データが限られている場合やまったくない場合、ナレッジグラフ、エンティティリンク、セマンティック分析テクノロジによって検索をより効果的に行うことができます。

• 教育する。非常に興味深く、収益性の高いビジネスは、ユーザーがより効果的に言語を学習したり使用したりできるように支援することです。たとえば、いくつかのスタートアップ企業（Grammarly、DeepGrammar など）は、ユーザーの文法エラーを修正するツールを提供しています。大まかに言えば、これはかなり実現可能です。アルゴリズムは大規模なコーパスでのオフライン学習を通じて十分な文法知識を獲得できるはずだからです。これにより、テキストの意味を必ずしも理解しなくても、テキスト内のほとんどのエラーを検出できるようになります。しかし、まだ改善の余地は大いにあります。たとえば、「私は朝の 4 時に起きた」という場合、Grammarly も DeepGrammar も、「woke」を「woke up」に、「in morning」を「in morning」に変更することを提案しませんでした。 DeepGrammar は実際に「woke」を「work」に変更することを提案していますが、もちろんこれは意味をなしません。もちろん、いくつかのエラーを特定するには意味に関する知識が必要です。たとえば、これらのツールは、「私は午前 4 時に起きた」というテキストで「pm」を「am」に変更することを提案するのはいつでしょうか。

ちょっとした技術的進歩と多くの汚れ仕事

私たちは美しい NLP ソリューションを想像するのが好きですが、それらの多くは、考えられるすべてのシナリオを処理する必要があるため、汎用人工知能 (AGI) です。汎用人工知能はすぐには実現しないだろう。それにもかかわらず、技術革新は今でも絶えず起こっています。時には、私たちが少しだけ努力するだけで、商業的に成功できることもあります。

自動質問応答 (QA) とチャットボットは今や目新しいものではありません。最初のチャットボットは 60 年代に開発されましたが (ELIZA、1966 年)、あまり普及しませんでした。 50 年経った今、QA とチャットボットが再び人気を集めている理由は何でしょうか? 3 つのことが起こりました:

1. (テクノロジー) Alexa、Google アシスタント、Siri を可能にした音声認識のブレークスルー、大規模な知識ベース、特に Google の Knowledge Graph などのオープンドメイン知識ベースの利用可能性。

2. (マーケティング) 情報はビジネスや日常生活に欠かせない要素となり、最近ではスマート音声アシスタントが急速に普及しました。

3. (ユーザビリティ) 人々は、より直接的な方法でより具体的な回答を得るために、キーワード検索から音声/自然言語ベースのインターフェースに切り替える準備ができています。しかし、音声認識や知識ベースといった技術的な進歩が自動的に質問応答システムの作成につながるわけではありません。私たちは依然として問題を理解し、説明し、推論する必要がありますが、これらの能力は過去 50 年間で劇的に向上していません。

それでも、QA は非常に成功しており、Google の私たち全員がそれを経験しています。 （それでも間違いは起きます。下のスクリーンショットでは、Google は義母を創業者の母親と間違えています。これは 2017 年 7 月に撮影されたものです）。ただ、成功は自然言語理解の新たなレベルから生まれたものではなく、大量の手作りのテンプレートを通じて達成されたのです。

ここでいくつかの現象が観察されます。

1. 技術の進歩は製品の影響を大きく左右します。したがって、テクノロジーの限界を知ることは非常に重要です。結局のところ、半世紀以上にわたって、質問応答システムやチャットボットに関する大きなニュースはあまりありませんでした。

2. 新しいテクノロジーが問題を 100% 解決するとは限りませんが、それは問題ありません。私たちは、技術的な欠点を補うために、大変な作業（テンプレートの手作りやルールの作成など）を喜んで行います。 Siri、Alexa、Google Assistant、Cortana などのデジタル アシスタントの QA と成功は、大部分において、手作りのテンプレートによって推進されています。

しかし、最新の会話型 AI (たとえば、深層強化学習を使用してチャットボットを構築する) についてはどうでしょうか?チャットボットがこれほど人気を集めている原動力の一つでしょうか?はい、しかし、まだ実際の影響は出ていません。ここでは、目的指向の会話システム (Siri、Alexa、Google Assistant) に焦点を当てていますが、目的のない雑談 (Microsoft Tay) も興味深いものであることは認めます。しかし、目標を達成するためにローテクな単純作業を避けるのではなく、技術の進歩とアプリケーションのニーズの交差点を研究し続ける必要があります。

問題領域の絞り込み

先ほど触れた友人たちのプロジェクトをもう一度見てみましょう。

1. 患者と会話し、医療診断を行うチャットボット。

2. 金融ニュースを読み取り、取引の推奨を提供するアルゴリズム。

3. あなたの日々の活動を記録し、より幸せで充実した人生を送るための提案を提供するパーソナル アシスタント。

ピザハットは顧客の注文を処理するためにチャットボットを導入し、非常に成功しました。 Facebook の仮想アシスタント M が消滅したのは、Facebook が M に何ができるか、何ができないかについて制限を設けなかったからだ。友人のプロジェクトの実現可能性について議論する前に、Microsoft AI の社長であるハリー・シャムの次の発言を振り返ってみましょう。

今日のコンピューターは特定のタスクを非常にうまく実行できますが、一般的なタスクに関しては、AI はまだ人間の子供にさえ匹敵できません。

-ハリー・シャム

スタンフォード大学のアンドリュー・ン教授の次の言葉です。

現在、ディープラーニングは、大量のデータが利用できる一部の狭い分野でのみ使用できます。できないことの例: 有意義な会話をする。問題のデモでは、会話を厳選すると、意味のある会話のように見えます。しかし、実際にそれらの製品を使用すると、すぐに理解不能になってしまうことがよくあります。

-アンドリュー・ン

ロボットが医療診断を行うことに関しては、当然ながら多くの懐疑と懸念が存在します。しかし技術的には不可能ではありません。狭い分野の問題を解決するには、まず、ロボットがその分野の専門家になれるよう、特定の分野の知識ベースを開発することが最初の仕事です。

この場合、症状、状態、診断、治療、投薬などの関係をモデル化するナレッジグラフが必要です。いずれにせよ、人々は医療以外の情報源から健康に関するアドバイスを受けています。Google 検索の 20 件中 1 件は健康関連の情報です。チャットボットは、Web 検索よりも直接的なコミュニケーション形式を提供します。一方、このプロジェクトの本当の難しさは、ユーザーの医療記録にどのようにアクセスするかということかもしれません。実際、doc.aiやeHealth Firstなどのスタートアップ企業は、この問題に対処するためにブロックチェーン技術の利用に投資しています。

株価は自然、政治、科学、技術、心理など無数の要因の影響を受けるため、金融ニュースを読み、貿易の見通しを提供するという作業ははるかに広範囲にわたります。特定の出来事が株価の変動を引き起こす仕組みを理解するのは困難です。ただし、これらの領域を絞り込み、それらに特化したツールを開発することは可能です。

たとえば、株式市場全体を監視する代わりに、商品先物に焦点を当てることもできます。次に、知識ベースを再度開発します。これには、「チリのような国で政情不安や自然災害が発生すると、銅の価格が上昇する」などのルールが含まれる場合があります。最後に、ニュースを読んで、特定の国での政情不安や自然災害などの出来事を検出するアルゴリズムを開発することができます。機械は人間よりもはるかに速くニュースを読むことができるため、機械が提供する情報はアルゴリズム取引に有利に働く可能性がある。

ユーザーの日々の考えや活動を記録し、フィードバックを提供してユーザーをより幸せにし、より満足させることができるパーソナルアシスタントを作成するというのは、非常に興味深いアイデアです。これはGoogleフォトを思い出させます。 Google は時々、古い写真をいくつか選んで、「4 年前のこの日を再発見」などのタイトルを作成します。いつも私は笑顔になります。それでも、写真で捉えられるのは人々の生活の一瞬だけであり、自然言語には私たちの考えや活動をより包括的に保存し、より創造的な方法でユーザーに再現する可能性を秘めています。

しかし、これはオープンドメインのタスクです。パーソナルアシスタントは幅広い思考や活動を理解する必要があり、それが人工汎用知能 (AGI) になります。問題領域を絞り込むことは可能でしょうか?

まずは 1000 個のテンプレートから始めてみませんか? 1,000 個のテンプレートがあれば、驚くほど多くの人間の活動 (「今日はスタンフォード大学のキャンパスで 3 マイル走りました」や「パロアルトのダウンタウンにある Hanas でアーロンとコーヒーを飲みました」など) をカバーできますが、これはかなり妥当な数です。パーソナルアシスタントは、私たちの生活の断片を構造化された表現に変換し、分類し、集約し、新しい形で私たちに提示します。

それでも、パーソナルアシスタントが理解できないことがいくつかあります。たとえば、「義父が昨日亡くなりました。妻と私はその晩ずっと抱き合って話をしていました。」これは、私たちが手作りした 1,000 個の日常生活テンプレートのどれにも当てはまらないでしょう。それでも、パーソナルアシスタントは、その人の人生における重要な出来事を見逃すべきではありません。

パーソナルアシスタントが実行できることはいくつかあります。まず、事前にトレーニングされた分類器を使用して、イベントを愛する人の喪失として分類し、記録することができます。 2 番目に、セマンティック分析やスロット入力メカニズムを使用して、誰が死亡したかをさらに検出できます。 3 番目に、上記のいずれも機能しない場合は、生のテキストとして記録し、将来の高度なテクノロジによって解決されるのを待つ可能性があります。

技術の限界を押し広げる

既存の NLP 技術は自然言語を理解するには不十分であり、少なくとも近い将来には汎用人工知能は実現されていません。これは、商業的な影響を与える唯一の方法は、問題の範囲を、労働集約的な技術を使用してすべてのケースをカバーできるところまで絞り込むことだということを意味しているのでしょうか?もちろん違います。

テクノロジーの限界を押し広げる方法はたくさんあります。ここでは、現在調査中の 2 つの方向性について説明します。

現在の自然言語処理技術では自然言語を深く理解できない場合、それを拡張することはできるでしょうか?

例として、顧客サービス用の QA とチャットボットを考えてみましょう。カスタマー サービスは、NLP と AI 開発の最前線にあります。自然言語について特に深い理解を持つ必要はありません。私たちのテクノロジーが顧客とのやり取りの 30% を処理できれば、企業は人的資源を 30% 節約することができ、これは非常に重要です。その結果、多くの企業が独自の QA またはチャットボット ソリューションを導入していますが、成功の度合いはさまざまです。

1970 年代以前、あらゆる企業が独自の方法で何らかのデータ ストレージ (給与記録の保存など) を管理する必要があった時代がありました。その後、リレーショナル データベース管理システムが登場しました。このシステムでは、どのようなビジネスを運営していても、リレーショナル データベース管理システムが給与計算やその他のアプリケーションを宣言的に処理できるため、データの操作や取得のためにコードを書く必要がないと主張しました。

顧客サービス用の汎用会話型 AI を構築することは可能ですか?言い換えれば、あるビジネス向けに設計された顧客サービス システムを別のビジネスでも使用できるようにするには何が必要でしょうか?

これは非現実的に聞こえるかもしれないが、まったく不可能というわけではない。まず、顧客サービスのバックエンド データ モデルを統一する必要がありました。ほとんどのビジネス データがすでにリレーショナル データベースに存在するため、これが実現可能です。次に、顧客の自然言語による質問を、基盤となるデータベースに対する SQL クエリに変換します。

これは、すべてのケースで自然言語の問題を処理する必要があることを意味しますか?いいえ。私たちが扱うのは、自然言語のごく一部、つまり SQL 文に変換できる部分だけです。この制約の下では、あるビジネス ドメインの自然言語の問題は、同じ基本構造を共有しているため、異なるビジネス ドメインの自然言語の問題と類似している必要があります。実際、i) データベース スキーマ、ii) データベース統計、iii) データベースの属性と値を QA および会話型 AI に挿入できるメタデータとして自然言語で記述する同等の方法を考慮すると、さまざまな顧客サービス ニーズに対応するシステムを作成できます。

トレーニング データの不足が NLP のボトルネックである場合、明示的なドメイン知識を機械学習アルゴリズムに注入することに取り組んでみてはいかがでしょうか。

これは目新しいことではないが、問題は現実にある。機械学習は、大量のトレーニング データから統計的に関連するデータを暗黙の知識に変換します。しかし、場合によっては、この知識を明示的な方法で機械学習に組み込むことができます。

たとえば、ナレッジ ベースに親関係はあるが、祖父母関係はないものとします。 grandparentOf が parentOf(parentOf) と同等であることを学習するには、大量のトレーニング データが必要です。より効率的なアプローチは、このドメイン知識をルールとして機械学習アルゴリズムに渡すことです。

上で説明したカスタマー サービス プロジェクトでは、ディープラーニング (seq2seq ベースのモデル) を使用して、自然言語の質問を SQL ステートメントに変換しました。アルゴリズムはトレーニング データから自然言語の質問の意味と SQL の構文を学習します。それでも、非常に大きなトレーニング データであっても、学習したモデルが必ずしも適切な形式の SQL ステートメントを生成するとは限りませんが、モデルは SQL の構文を学習する必要はありません。

原題: NLP をビジネスに備える、著者: Haixun Wang

[51CTOによる翻訳。パートナーサイトに転載する場合は、元の翻訳者と出典を51CTO.comとして明記してください]