人工知能の研究ホットスポット：自然言語処理

人工知能（AI）は、新たな科学技術革命と産業変革の重要な原動力として、世界に大きな影響を与え、変化をもたらしています。自然言語処理 (NLP) は、AI 分野の研究のホットスポットとなっています。言語インテリジェンスの継続的な開発と進歩を促進し、さまざまな業界でますます利用されています。国際的に著名な学者である周海中氏はかつてこう言いました。「自然言語処理は、理論的意義と実用的価値が非常に高い、非常に魅力的な研究分野です。」

[[343420]]

NLP は主に、自然言語を使用して人間とコンピューター間の効果的なコミュニケーションを可能にするさまざまな理論と方法を研究します。自然言語を使用してコンピューターと通信することは、革命的な理論的意義だけでなく、極めて重要な実用的応用意義も持っています。人間とコンピュータの間で自然言語によるコミュニケーションを実現するということは、コンピュータが自然言語テキストの意味を理解し、自然言語テキストで与えられた意図や考えなどを表現できるようにすることを意味します。前者は自然言語理解 (NLU)、後者は自然言語生成 (NLG) と呼ばれます。したがって、NLP には通常、NLU と NLG の 2 つの部分が含まれます。自然言語を処理するための鍵は、コンピューターに自然言語を「理解」させることであるため、NLU は通常、計算言語学としても知られる NLP と見なされます。

NLP は、コンピューターサイエンス、言語学、自動化、数学などを統合した総合的な科学です。したがって、この分野の研究は自然言語、つまり人々が日常生活で使用する言語を扱うため、言語学の研究と密接に関連していますが、重要な違いもあります。 NLP は自然言語の一般的な研究ではなく、自然言語コミュニケーションを効果的に実装できるコンピュータ システム、特にその中のソフトウェア システムの開発であるため、コンピュータ サイエンスの一部です。 NLP は、コンピュータと自然言語の相互作用に焦点を当てたコンピュータサイエンス、言語学、AI などの分野であると言えます。現在、人々の AI に対する需要も、計算知能や知覚知能から、NLP に代表される認知知能へと拡大しています。 NLP が成功しなければ、真の認知知能は生まれません。そのため、NLP は AI における非常に魅力的な研究分野であり、AI が優先的に解決しなければならない中核的な課題の 1 つとみなされています。また、AI の至宝とも呼ばれています。

AIには知覚知能（画像認識、言語認識、ジェスチャー認識など）と認知知能（主に言語理解の知識と推論）が含まれるため、言語は認知知能において最も中心的な役割を果たします。言語の問題が解決できれば、AIの最も難しい部分は基本的に解決されることになります。マイクロソフトの創設者ビル・ゲイツ氏はかつて「言語理解は人工知能の分野における最高の宝石である」と語った。マイクロソフトの元グローバル執行副社長ハリー・シャム氏も演説でこう語った。「言語を理解する者が世界を制するだろう。次の10年間、人工知能の躍進は自然言語の理解にあるだろう。人工知能が人間に与える最も大きな影響は自然言語の分野にある。」自然言語を理解するには、外部世界に関する広範な知識と、その知識に基づいて操作する能力が必要であるため、NLP は AI の完全性を解決する上での中心的な問題の 1 つとも考えられています。 NLPは現在、AI分野における重要な中核技術であると言えるが、その研究は魅力と課題に満ちている。

NLP には、主に機械翻訳、意味理解、対話システムなど、多くの分野が含まれます。現在、言語は4つの大きな課題に直面しています。第1に、語彙、統語、意味、語用、音声などのさまざまなレベルで不確実性があること、第2に、新しい語彙、用語、意味、文法により、未知の言語現象が予測不可能になること、第3に、データリソースが不十分なため、複雑な言語現象をカバーすることが困難になること、第4に、意味知識の曖昧さと複雑な相関関係を単純な数学モデルで記述することが難しく、セマンティックコンピューティングには膨大なパラメータによる非線形計算が必要であることです。たとえば、対話システムでは、ディープラーニングが対話システムの基本技術となり、従来のタスク指向の対話システムのさまざまなコンポーネントにニューラル ネットワークが適用されています。近年、エンドツーエンドのフレームワークは、非タスク指向のチャット対話システムだけでなく、タスク指向の対話システムでも普及してきました。しかし、まだ完璧には程遠いものです。例えば、意味認識では構文解析が必要となるため、対話システムや情報抽出、文法チェックにおいて解析が非常に重要な役割を果たします。

最も初期の NLP 研究は機械翻訳でした。 1949年、アメリカの著名な科学者ウォーレン・ウィーバー氏が初めて機械翻訳の設計案を提案しました。 1954年、ジョージタウン大学はウィーバーの機械翻訳の「翻訳は解読である」というアイデアに基づいて、有名な「ジョージタウン実験」を実施しました。IBM-701コンピューターを使用して、初めて英語とロシア語のテキストの自動翻訳を完了しました。この実験の成功により、機械翻訳が正式に歴史の舞台に登場しました。 1960年代には、多くの科学者が機械翻訳に関する大規模な研究を行い、莫大な費用がかかりましたが、彼らは明らかに自然言語の複雑さを過小評価しており、言語処理の理論と技術が成熟していなかったため、ほとんど進歩がありませんでした。当時の主なアプローチは、2 つの言語の単語やフレーズの対応する翻訳の大規模な辞書を保存し、それらを 1 対 1 で翻訳することでした。技術的に必要なのは、2 つの言語の同じエントリの順序を調整することだけでした。しかし、日常生活における言語翻訳は決して簡単ではありません。多くの場合、文の前後の意味を参照する必要があり、文脈を結び付けて正しく翻訳する必要があります。ここに機械翻訳技術の難しさがあります。

1990 年代頃から、NLP の分野は大きな変化を遂げてきました。この変更には2つの明らかな特徴があります。(1) システムの入力には、開発されるNLPシステムが、以前の研究システムのように数語や典型的な文章だけではなく、大規模な実際のテキストを処理できることが必要です。このようにして初めて、開発されたシステムは実際の実用的な価値を持つことができます。 （２）システムの出力に関しては、自然言語を真に理解することは非常に難しいため、システムは自然言語テキストを深く理解する必要はなく、そこから有用な情報を抽出できなければならない。同時に、「大規模」かつ「実テキスト」を重視するため、次の2つの基本タスクにも注目し、強化してきました。（1）大規模な実コーパスの開発。さまざまな深さまで処理された実際のテキストの大規模なコーパスは、自然言語の統計的特性を研究するための基礎となります。このようなコーパスがなければ、統計的手法はソースのないストリームにしかなりません。 （２）大規模で情報量の多い辞書の編纂したがって、数万語、数十万語、さらには数百万語の規模と豊富な情報（語句のコロケーション情報など）を備えたコンピュータで使用可能な辞書が NLP にとって重要であることは明らかです。

システムの入力と出力の特性は NLP の多くの分野に反映されており、その発展はコンピューター自動検索技術の出現と台頭を直接促進してきました。実際、コンピュータ技術の継続的な発展により、大規模コンピューティングに基づく機械学習、データマイニング、データモデリングなどの技術のパフォーマンスはますます優れたものになっています。 NLP が「寒い冬」を乗り越えて再び発展できたのも、コンピューター サイエンスと統計科学の継続的な組み合わせによるものです。これにより、人間だけでなく機械も大量のデータから「特徴」を継続的に発見し、そこから学習できるようになりました。しかし、自然言語を真に理解するには、生のテキストから学習するだけでは不十分です。新しい方法とモデルも必要です。

現状、主に二つの問題があります。一つは、これまでの文法は単独の文の分析に限られており、文脈や会話環境が文に及ぼす制約や影響についての体系的な研究が不足しています。そのため、曖昧さ、語の省略、代名詞の参照、同じ文が異なる場面や異なる人が話すときに異なる意味を持つことなどを分析するための明確なルールがありません。これらの問題は、意味論と語用論の研究を強化することで徐々に解決する必要があります。一方、人間は文法だけでなく、生活知識や専門知識など、コンピュータに保存できない多くの関連知識を使って文章を理解します。したがって、文章理解システムは限られた語彙、文型、特定の主題の範囲内でしか構築できず、コンピュータの記憶容量と動作速度が大幅に向上して初めて、その範囲を適切に拡大することが可能になります。

言語工学、認知科学などは主に研究室に限定されているため、現時点ではデータ処理が NLP の適用シナリオが最も多い開発方向であると考えられます。実際、ビッグデータ時代に入って以来、大手プラットフォームはユーザーデータの徹底的なマイニングを止めたことはありません。有用な情報を抽出するには、キーワードを抽出したり、単語の出現頻度を数えたりするだけでは十分ではありません。ユーザーデータ（特に発言やコメントなど）の意味を理解する必要があります。さらに、オフラインのビッグデータ統計分析手法を使用して NLP タスクを研究することは、現在非常に有望な研究パラダイムであり、特に Google、Twitter、Baidu などの大企業がこのタイプのアプリケーションで成功した経験は、現在のビッグデータ研究の波をリードしています。

NLPは、さまざまな企業や開発者に提供されるテキスト分析およびマイニングのコアツールであり、電子商取引、金融、物流、医療、文化、エンターテイメントなどの業界の顧客の複数の業務で広く使用されています。コンテンツ検索、コンテンツ推奨、世論の識別と分析、テキスト構造化、会話ロボットなどのインテリジェント製品の構築を支援し、協力を通じてパーソナライズされたソリューションをカスタマイズすることもできます。自然言語を理解するには、外界に関する広範な知識と、その知識を適用および操作する能力が必要であるため、NLP は強力な AI を解決するための中核的な問題の 1 つとも見られています。したがって、NLP の将来は、一般的に AI の開発、特に人間の脳を模倣するニューラル ネットワークの設計と密接に結びついています。

NLP テキスト解析 AI システムをトレーニングするには、複数のソースから大量のデータセットを収集する必要がありますが、これは科学者にとって継続的な課題です。科学者は、人間の脳のニューロンの動作を模倣する最新のディープラーニング モデルを使用し、数百万、あるいは数十億の注釈付きサンプルでトレーニングして継続的に改善する必要があります。現在普及している NLP ソリューションは事前トレーニングです。これは、ラベルなしテキストでトレーニングされた一般的な言語モデルを特定のタスクを実行するように改善するものです。モデルのパラメータがランダムに初期化されるのではなく、最初にタスクをトレーニングしてモデル パラメータのセットを取得し、次にモデルをこのパラメータのセットで初期化して再度トレーニングし、より優れた予測的洞察を得るという考え方です。

私たちは今、インターネットを特徴とする大量情報の時代に突入しており、この大量情報のほとんどは自然言語で表現されています。一方で、膨大な量の関連情報は、コンピュータが自然言語を学習するための「材料」をさらに提供することができます。他方では、これは NLP のより広範な応用段階も提供します。たとえば、NLP の重要な応用として、検索エンジンは徐々に人々が情報を得るための重要なツールとなり、Google や Baidu に代表される検索エンジン大手が登場しました。機械翻訳も研究室から一般家庭へと移行しました。自然言語処理に基づく中国語入力方法 (Sogou、Microsoft、Google など) は、コンピューター ユーザーにとって不可欠なツールになりました。音声認識機能を備えたコンピューターや携帯電話も普及し、ユーザーがより効果的に生活、仕事、勉強を行えるようにしています。

現在、NLP の分野では手動で注釈が付けられた知識が大量に存在し、ディープラーニングは教師あり学習を通じて関連する意味知識を獲得することができます。この知識と人間が要約した知識、特に一部の浅い意味知識の間には一定の対応関係があるはずです。なぜなら、手動によるラベル付けは本質的にディープラーニングの学習目標を提供しているからです。ディープラーニングはノンストップで学習できるため、学習目標に徐々に近づくこのプロセスは、人間による要約プロセスよりもはるかに高速で優れている可能性があります。これは、Google の DeepMind 研究チームが開発した囲碁ソフトウェア AlphaGo が短期間で 2 人の人間の囲碁名人を破ったという事実によって証明されているようです。

ディープラーニングはNLPで広く利用されており、NLPのあらゆる応用分野を席巻していると言えます。基礎となる単語分割、言語モデル、構文解析、品詞タグ付け、音声認識から、高レベルの意味理解、実用的な解釈、対話管理、知識質問と回答など、ほぼすべての分野でディープラーニングモデルが利用されており、良好な成果が得られています。研究は、従来の機械学習アルゴリズムから、畳み込みニューラル ネットワークや再帰型ニューラル ネットワークなどのより表現力豊かなディープラーニング モデルへと移行しています。しかし、現在のディープラーニング技術には、自然言語を理解して使用するために必要な概念的抽象化と論理的推論機能がまだ備わっておらず、この点については今後さらなる研究が必要です。

インターネット検索エンジンは以前から、会話形式の言語や用語を使用してオンラインで検索することを可能にしてきました。この機能は現在、Google ドライブ ユーザーが利用できます。ユーザーは、Google ドライブに組み込まれた NLP の新しいサポートを使用して、Google 検索と同じように、Google ドライブに保存されているファイルやコンテンツを検索できます。この機能により、ユーザーは、実際の会話でよく使われるフレーズのクエリを使用して、必要なものをより簡単に見つけることができます。 Google は、オンライン検索やモバイル検索、モバイル アプリ、Google 翻訳などのサービスで NLP を広範に使用しています。この分野での同社の研究は、機械が人間の言語を読み取って理解する能力を向上させるための幅広い取り組みの一環です。 Google がアルゴリズムを微調整するにつれて、NLP は時間とともに改善されるはずです。

英国のケンブリッジ・クォンタム・コンピューティング（CQC）は最近、自然言語の「本質的に量子的な」構造を活用して、まったく新しい応用分野を開拓したと発表した。これは、文法的な文章を量子回路に変換し、生成されたプログラムを量子コンピュータに実装して、実際に質問と回答を実行することによって行われます。量子コンピュータ上で NLP が実行されるのはこれが初めてです。 CQC の第一級でプラットフォームに依存しない再ターゲット可能なコンパイラ t|ket?? を使用することで、これらのプログラムは正常に実行され、IBM 量子コンピュータで結果が得られました。この画期的な進歩により、「意味認識」および「文法認識」の NLP の実現に向けて大きな一歩が踏み出されました。これは、コンピュータ時代の初期からコンピュータ科学者や計算言語学者が追い求めてきた夢です。

米国のハーバード大学医学部の研究者らは最近、NLP技術を使用してCOVID-19患者の症例、ソーシャルメディア、健康データを評価するツールを開発した。彼らは、機械学習技術を使用して、患者の記録、ソーシャルメディア、公衆衛生データなど、さまざまなソースからのデータと情報を調べ、COVID-19パンデミックの解決策を見つける取り組みの先頭に立っています。 NLP ツールの助けを借りて、コロナウイルスに関するオンライン情報を検索し、現在の発生場所を把握することもできます。さらに、研究者たちはNLP技術を使用して、臨床診断や治療、疫学研究を含むCOVID-19、薬剤、ワクチンに関する集中的な研究も行っています。

中国のアリババDAMOアカデミーのNLP研究チームは最近、機械が人間の文法をより良く習得し、自然言語の理解を深めることができる最適化モデルStruct BERTを提案した。このモデルを使用することは、機械に「文法認識装置」を組み込むようなもので、語順が乱れたり文法に反する癖のある単語や文に直面しても、機械は正確に理解して正しい表現や応答を返すことができるため、単語、文、言語全体に対する機械の理解力が大幅に向上します。この技術は、Ali Xiaomi、Ant Financial、Youku などの Alibaba の事業で広く使用されています。 Alibaba DAMO Academy の言語モデルと読解技術は、業界を強化し、医療、電力、金融などの業界で AI 技術の実装を促進するためにも使用されています。 StructBERT モデルは最近、世界で最も強力な NLP システムとして評価されたと報告されています。

市場分析会社モルドール・インテリジェンスのレポートによると、世界のNLP市場は2019年に109億ドルと評価され、2025年までに348億ドルに達すると予想されており、年平均成長率は21.5%です。レポートでは、ディープラーニングのアーキテクチャとアルゴリズムが過去数年間で市場において目覚ましい進歩を遂げており、従来のテキストベースの分析では複雑なビジネス上の問題に対処するのに十分ではなくなったため、音声分析ソリューションがこの市場を支配していると述べられています。

つまり、インターネットの普及と大量の情報の出現により、NLP は AI 分野の研究ホットスポットおよび重要なコアテクノロジーとして、人々の生活、仕事、学習においてますます重要な役割を果たしており、科学技術の進歩と社会の発展のプロセスにおいてもますます重要な役割を果たすことになります。

リン・フェンとユー・リーによるテキスト（著者はそれぞれボストン大学工学部と名古屋大学理学部所属）