素人でもわかるポピュラーサイエンス：これは自然言語処理と呼ばれるものです

[[208394]]

1. 自然言語処理とは何ですか?

簡単に言えば、自然言語処理（NLP）とは、コンピューターを使用して人間の言語（中国語、英語など）を処理、理解、適用することです。これは人工知能の分野であり、コンピューターサイエンスと言語学の学際的な分野であり、計算言語学と呼ばれることもあります。なぜなら、自然言語は人間を他の動物と区別する基本的な特徴だからです。言語がなければ人間の思考は不可能なので、自然言語処理は人工知能の最高のタスクと領域を体現しています。言い換えれば、コンピューターが自然言語を処理する能力を持つ場合にのみ、機械は真の知能を獲得したとみなすことができます。

研究内容の観点から見ると、自然言語処理には文法解析、意味解析、段落理解が含まれます。アプリケーションの観点から見ると、自然言語処理には幅広い応用の見込みがあります。特に情報化時代においては、自然言語処理の応用範囲は、機械翻訳、手書き文字と印刷文字の認識、音声認識とテキスト音声変換、情報検索、情報抽出とフィルタリング、テキスト分類とクラスタリング、世論分析と意見マイニングなど多岐にわたります。自然言語処理には、言語処理に関連するデータマイニング、機械学習、知識獲得、知識工学、人工知能研究、言語コンピューティングに関連する言語学研究が含まれます。

自然言語処理の台頭は、機械翻訳という特定のタスクと密接に関連していることは注目に値します。機械翻訳とは、コンピューターを使用して自然言語を別の自然言語に自動的に翻訳することを指します。たとえば、英語の「私は北京天安門広場が好きです」を「私は北京天安門が大好きです」に自動的に翻訳したり、その逆に「私は北京天安門が大好きです」を「私は北京天安門広場が好きです」に翻訳したりします。手動翻訳には十分に訓練されたバイリンガルの専門家が必要となるため、翻訳作業には非常に時間がかかり、労力がかかります。言うまでもなく、専門的な文書を翻訳する必要がある場合、翻訳者はその分野の基礎知識も理解している必要があります。世界には数千以上の言語があり、国連の公用語だけでも6つあります。機械翻訳を使用して言語間の正確な翻訳が可能になれば、人間のコミュニケーションと理解の効率が大幅に向上します。

聖書には、バビロニア人が天まで届く塔を建てたかったという話があります。塔を建てた人々は同じ言語を話し、互いに調和し、協力して働きました。神は人間がそのようなことを敢えてしているのを見て、彼らの言語を違ったものにしました。人々はお互いの言っていることが理解できなかったため、一日中言い争い、塔の建設を続けることができませんでした。後世の人々は、この塔をバベルの塔と呼びました。「バベル」とは「分岐」を意味します。バベルの塔の建設は中止されましたが、人々の心の中には常に夢が残っています。人類が共通の言語を持ち、バベルの塔を再建するのはいつになるのでしょうか。機械翻訳は「バベルの塔の再建」の偉業と見なされています。異なる言語間での機械翻訳が実現できれば、世界中の誰の言っていることも理解でき、コミュニケーションもとれるようになり、お互いに理解できないことを心配する必要がなくなります。

実際、「人工知能」が正式に研究課題として提案されたとき、創設者たちはコンピューターチェスと機械翻訳を2つの象徴的な課題とみなし、チェスシステムが人間の世界チャンピオンに勝ち、機械翻訳システムが人間の翻訳のレベルに到達できれば、人工知能の勝利を宣言できると信じていました。 40年後の1997年、IBMのスーパーコンピューター「ディープ・ブルー」がチェスの世界チャンピオン、カスパロフに勝利した。機械翻訳はまだ人間による翻訳ほど優れていません。これは自然言語処理がいかに難しいかを示しています。

自然言語処理は米国で生まれました。コンピュータを使用して人間の言語を処理するというアイデアは、電子コンピュータがまだ初期段階であった第二次世界大戦後の 1950 年代に生まれました。当時、米国はソ連の科学技術の最新動向を把握するために、コンピューターを使って大量のロシア語の資料を英語に自動翻訳したいと考えていた。研究者たちは軍事暗号の解読からインスピレーションを得て、異なる言語は「同じ意味」の異なるエンコードに過ぎないと信じ、したがって、暗号を解読するのと同じように、デコード技術を使用してこれらの言語を「解読」できると当然考えました。

1954 年 1 月 7 日、ジョージタウン大学と IBM の共同実験により、60 を超えるロシア語の文章を英語に自動翻訳することに成功しました。当時の機械翻訳システムは、6 つの文法規則と 250 語しか含まれていない非常に単純なものでしたが、メディアで広く報道され、大きな進歩であると評価されました。これにより、米国政府は自然言語処理研究への投資を増やすようになりました。実験を終えた人物は、ある言語から別の言語への自動翻訳の問題は3年から5年以内に完全に解決できると自信を持って記事をすぐに書きました。さまざまな翻訳ルールが策定されれば、それを大量に積み上げることで言語間の自動翻訳を完璧に実現できると彼らは考えています。

しかし、実際には人間の言語を理解することはコードを解読することよりもはるかに複雑であるため、研究の進歩は非常に遅いのです。 1966 年の研究報告では、10 年間の研究を経ても結果が期待とは程遠いものであったため、研究資金が急激に減少し、自然言語処理 (特に機械翻訳) の研究が過去 20 年間で最低の水準に落ち込んだと結論付けられました。 1980 年代になってようやく、計​​算能力が急速に向上し、電子コンピュータの製造コストが大幅に低下したため、研究者たちは自然言語処理という極めて困難な研究分野に再び焦点を当てるようになりました。 30年が経過し、研究者たちは、言語規則を単に積み重ねるだけでは人間の言語を真に理解することはできないことに気づきました。研究により、大量のテキスト データの自動学習と統計を通じて、自動言語翻訳などの自然言語処理の問題をより適切に解決できることがわかっています。この考え方は自然言語処理の統計学習モデルと呼ばれ、現在でも人気が高まっています。

それでは、何十年にもわたって多くの研究者が解決策を模索してきた自然言語処理の主な困難や課題は何でしょうか?

2. 自然言語処理の主な難しさ

自然言語処理の難しさは枚挙にいとまがありませんが、鍵となるのは、字句解析、構文解析、意味解析のプロセスに存在する曖昧性の問題、つまり曖昧性解消と呼ばれるものを排除することにあります。正確な曖昧さ解消には、言語知識（語彙、構文、意味、文脈など）や世界知識（言語に依存しない）など、多くの知識が必要です。これにより、自然言語処理において 2 つの大きな困難が生じます。

まず第一に、言語は曖昧さに満ちており、それは主に形態論、統語論、意味論の 3 つのレベルに反映されています。曖昧さは、自然言語によって記述される対象（人間の活動）が非常に複雑である一方で、言語の語彙と構文規則が限られているために生じ、その結果、同じ言語形式が複数の意味を持つことになります。

たとえば、単語の区切りの問題は、語彙レベルでの曖昧さ解消タスクです。話し言葉では、単語は通常、一貫した方法で話されます。書き言葉では、中国語などの言語にも単語間の境界はありません。単語は意味を伝達する最小単位であるため、単語の境界を定義する問題は自然言語処理で最初に取り組むべき課題です。特に、中国語のテキストは通常​​、連続した文字列で構成されており、単語間に自然な区切りはありません。そのため、中国語の情報処理には、英語などの西洋言語よりも1つ多いステップ、つまり単語の境界を決定する必要があり、これを「中国語自動単語分割」タスクと呼んでいます。簡単に言えば、コンピューターは自動的に単語間に区切り文字を追加して、中国語のテキストを独立した単語に分割します。たとえば、「今日の天気は晴れです」という文を区切り文字で区切ったテキストは、「今日 | 天気 | 晴れ」になります。中国語の自動単語分割は、中国語の自然言語処理の根底にあり、中国語の情報処理の第一歩として認識されています。重要な役割を果たしており、主に新語の発見や曖昧な分割などの問題を抱えています。正しい単語の分割はテキストの意味を正しく理解することに依存し、単語の分割は言語を理解するための第一歩であることに注意してください。このような「鶏が先か卵が先か」の問題は、当然ながら（中国語の）自然言語処理における最初の障害となりました。

言語単位の他のレベルでも、さまざまな曖昧さの問題があります。たとえば、フレーズ レベルでは、「輸入されたカラー テレビ」は、主語と目的語の関係 (カラー テレビのバッチが海外から輸入された) として、または修飾語と述語の関係 (カラー テレビが海外から輸入された) として理解できます。たとえば、文レベルでは、「手術を行ったのは彼女の父親でした」は、彼女の父親が病気で手術を必要としていたと理解することも、彼女の父親が医者で他人に手術を行っていると理解することもできます。つまり、同じ単語、フレーズ、または文でも複数の解釈が可能であり、複数の意味を表現することができます。あらゆるレベルで言語単位の曖昧さを解決できなければ、言語の意味を正しく理解することはできません。

一方、曖昧さを排除するために必要な知識は、獲得、表現、適用するのが困難です。言語処理の複雑さのため、適切な言語処理方法やモデルを設計することは困難です。

たとえば、文脈的知識を獲得するという問題。文章を理解しようとするとき、たとえ曖昧さがなくても、文脈の影響を考慮する必要があることがよくあります。いわゆる「文脈」とは、話者がいる環境や、文の最初の数文や最後の数文など、現在の文が話されている言語環境を指します。現在の文に代名詞がある場合は、その前の文を見て、その代名詞が何を指しているのかを推測する必要があります。 「シャオミンがシャオリャンをいじめたので、私は彼を批判した」という例を見てみましょう。 2番目の文の「彼」は「シャオミン」を指しますか、それとも「シャオリャン」を指しますか？この文を正しく理解するには、前の文「シャオミンはシャオリャンをいじめた」は「シャオミン」が何か悪いことをしたという意味なので、2番目の文の「彼」は「シャオミン」を指す必要があることを理解する必要があります。文脈は現在の文に対してさまざまな形式の情報を暗示する可能性があるため、文脈の影響をどのように考慮するかは自然言語処理における主な難しさの 1 つです。

もう一つの例は背景知識の問題です。 人間の言語を正しく理解するには、十分な背景知識も必要です。簡単な例を挙げると、機械翻訳研究の初期の頃は、機械翻訳タスクの難しさを示すために、よく例が挙げられていました。英語で「心は意欲的だが肉体は弱い」とは、「意志はあるが力が足りない」という意味です。しかし、機械翻訳システムでこの文を英語からロシア語に翻訳し、さらに英語に戻すと、「The Voltka is strong but the meat is rotten.」となり、これは「ウォッカは強いが、肉は腐っている」という意味になります。文字通りの意味からすると、「spirit」（強い酒）と「Voltka」（ヴォルトカ）は「肉」と「meat」はどちらも肉を意味し、翻訳に問題はないようです。では、なぜこの 2 つの文の意味は大きく異なるのでしょうか。主な問題は、翻訳プロセス中に、機械翻訳システムが英語の慣用句を理解せず、文字通りに翻訳するだけなので、当然大きな間違いが生じてしまうことです。

上記の 2 つの主な困難から、自然言語処理の困難の根源は、人間の言語の複雑さと、言語によって記述される外部世界の複雑さにあることがわかります。人間の言語は、感情の表現、アイデアの交換、知識の普及などの重要な機能を担っています。そのため、言語を理解するために必要な知識は無限であり、言語には強い柔軟性と表現力が必要です。では、現在、人々はどのように自然言語処理を行おうとしているのでしょうか?

3. 自然言語処理の発展動向

現在、自然言語処理を実行するために主に 2 つのアプローチが使用されています。1 つはルールベースの合理主義、もう 1 つは統計ベースの経験主義です。合理主義的アプローチでは、人間の言語は主に言語規則によって生成され、記述されると考えています。したがって、人間の言語規則を適切な形式で表現できる限り、人間の言語を理解することができ、言語間の翻訳など、さまざまな自然言語処理タスクを実現できます。一方、経験的方法では、言語データから言語の統計的知識を得ることができ、言語の統計モデルを効果的に確立できると考えています。したがって、統計に十分な言語データがあれば、人間の言語を理解することができます。しかし、曖昧さと不確実性に満ちた現実世界に直面すると、どちらのアプローチも解決できない問題に直面します。たとえば、人間の言語には一定の規則がありますが、実際の使用では多くのノイズや不規則性が伴うことがよくあります。合理主義的アプローチの主な弱点は堅牢性が低いことであり、ルールからのわずかな逸脱にも対処できません。経験的手法では、統計的学習のために無制限の言語データを取得することは不可能であるため、人間の言語を完全に理解することは不可能です。 1980 年代以降の傾向として、言語規則に基づく合理主義的なアプローチは常に疑問視され、大規模な言語データ処理が現在および将来の自然言語処理の主な研究目標となっています。統計的学習法はますます注目を集めており、機械自動学習法は言語知識を獲得するための自然言語処理でますます使用されています。

21 世紀に入り、インターネットを特徴とする膨大な情報量の時代に入り、そのほとんどは自然言語で表現されています。一方で、膨大な量の情報は、コンピュータが人間の言語を学習するための「材料」をさらに多く提供します。他方では、これは自然言語処理のより広範な応用段階も提供します。例えば、自然言語処理の重要な応用として、検索エンジンは次第に人々が情報を得るための重要なツールとなり、百度やグーグルに代表される検索エンジンの巨人が台頭してきました。機械翻訳も研究室から一般家庭へと移行しました。グーグルや百度などの企業は、膨大なネットワークデータに基づく機械翻訳や補助翻訳ツールを提供しています。自然言語処理に基づく中国語（Sogou、Microsoft、Googleなどの入力方法）は、コンピューターユーザーにとって不可欠なツールとなっています。音声認識機能を備えたコンピューターや携帯電話も普及し、ユーザーがより効果的に仕事や勉強をするのに役立っています。つまり、インターネットの普及と膨大な情報の出現により、自然言語処理は人々の日常生活においてますます重要な役割を果たしています。

しかし、膨大な情報をどのように有効活用するかが、情報技術の発展を制限する世界的なボトルネック問題となっているという厳しい現実にも直面しています。自然言語処理は、情報科学技術の中長期的発展にとって、必然的に新たな戦略的指揮高度となるでしょう。同時に、膨大なデータから言語知識を迅速かつ効果的に学習するには、統計的手法だけに頼るだけではもはや不十分であることが徐々に認識されてきました。ルールベースの合理主義的手法と統計ベースの経験主義的手法のそれぞれの利点を十分に発揮し、相互に補完することによってのみ、自然言語処理をより良く、より速く実行することができます。

自然言語処理は、1 世紀も経っていない新興分野として、急速な発展を遂げています。自然言語処理の開発の歴史を振り返ると、順風満帆だったわけではありません。良い時もあれば悪い時もありました。そして今、私たちは新たな課題と機会に直面しています。たとえば、現在のインターネット検索エンジンは、基本的にはキーワードのマッチングにとどまっており、深い自然言語処理と理解が欠けています。音声認識、テキスト認識、質疑応答システム、機械翻訳などは、現時点では非常に基本的なレベルにしか達していません。今後の道のりは長く、困難です。自然言語処理は、非常に学際的な新興分野として、自然の本質を探究するにせよ、それを実用化するにせよ、将来必ずや刺激的な驚きと極めて急速な発展をもたらすでしょう。