機械読解とは何ですか?これは自然言語処理とどのような関係があるのでしょうか?

[[324510]]

01 機械読解タスク

2002 年に発表された論文で、学者の C. スノーは読解力を「対話を通じて書かれたテキストからテキストの意味を抽出し構築するプロセス」と定義しました。機械読解の目標は、人工知能技術を利用して、コンピューターが人間のように記事を理解できるようにすることです。

図1は機械読解の例を示しています。この例では、機械読解モデルは元の記事の一節を使用して質問に答える必要があります。

▲図1 機械読解タスクの例

1. 機械読解モデル

機械読解モデルの入力は記事と質問のテキストであり、出力は最終的な回答です。タスクを完了するには、モデルは記事の意味と記事と質問の関係を深く分析し、記事の内容に基づいて正確な回答を出す必要があります。

現在、ほとんどの機械読解アルゴリズムは、モデリングと最適化にディープラーニング モデルとディープ ニューラル ネットワークを使用しています。ディープラーニングの特徴は、モデルがトレーニング セットの予測精度に応じてパラメータを直接最適化し、モデルのパフォーマンスを継続的に向上させ、良好な結果を達成できることです。

ディープラーニングでは数値空間で情報を処理する必要があるため、読解モデルではまず記事と質問をデジタルで表現してテキストエンコーディングを形成する必要があります。一般的な方法は単語ベクトルです。テキストを複数の単語に分割し、数字の文字列 (つまりベクトル) を使用して単語を表します。

• テキストのデジタル表現: 単語分割と単語ベクトル
  
  • 原文: 今日の天気は本当にいいですね
  • 分詞: 今日 | 天気 | 本当に | 良い
  • 単語ベクトル:

今日: [3.2, -1.5, 6.0]

天気: [-0.2, -5.0, 1.7]

真実: [1.4, 2.8, 0.9]

良い: [-2.6, 3.8, -5.2]

一般的に使用されている中国語と英語の単語分割アルゴリズムについては、「中国語の単語分割は英語の単語分割よりも難しいのはなぜですか?」ですでに説明しました。よく使われるアルゴリズムは何ですか? (コード付き)》はじめに。

次に、機械読解モデルはこれらのデジタルコードに対してさまざまな操作を実行し、記事と質問の間の文脈情報と意味的つながりを取得し、回答の手がかりを得ます。一般的に、ディープラーニングに基づく機械読解モデルのアーキテクチャは、次の 3 つの部分に分かれています。

• コーディング層は、記事と質問を単語ごとにコーディングし、文脈的意味分析を完了します。
• インタラクション層は、記事と質問の関連情報を処理し、記事内で質問に関連する手がかりを見つけます。
• 出力層は、タスクの要件に応じて、以前に処理された情報に基づいて回答を生成します。

異なる機械読解モデルでは、通常、上記の 3 つの部分で異なるモジュールと接続方法が使用されます。しかし、どの読解モデルを使用する場合でも、そのトレーニング プロセスは、大量の冠詞、質問、回答のトリプレットなど、手動で注釈が付けられたデータに依存します。

ただし、これらのラベル付きデータを生成するには、多くの時間と人手がかかります。そのため、近年、自然言語処理コミュニティでは、事前トレーニング + 微調整モデルが提案されています。これは、大規模なモデルを大量のラベルなしテキスト データでトレーニングし、その後、特定のタスク (読解など) に合わせて少量のラベル付きデータで微調整するものです。このモデルは良好な結果を達成し、ラベル付きデータの不足の問題を効果的に軽減しました。

[[324511]]

2. 機械読解の応用

あらゆる分野でテキストデータが大量に生成される中、従来の手動処理方法は、処理速度が遅い、コストが膨大であるなどの要因により、産業発展のボトルネックとなっています。そのため、テキストデータを自動的に処理・分析し、そこから意味知識を抽出できる機械読解技術が徐々に普及してきました。

たとえば、従来の検索エンジンはユーザーのクエリに関連するドキュメントのみを返すことができますが、読解モデルはドキュメント内の質問に対する回答を正確に特定できるため、ユーザー エクスペリエンスが向上します。

• カスタマー サービスでは、機械読解を使用して、ユーザーが説明した問題に関連する製品ドキュメントの部分を見つけ、詳細な解決策を提供することで、カスタマー サービスの効率を大幅に向上できます。
• インテリジェント医療の分野では、読解モデルは患者の症状の説明に基づいて大量の医療記録や医療論文を自動的に確認し、病気の考えられる原因を見つけ、治療計画を出力することができます。
• 言語教育では、読解モデルを使用して生徒のエッセイを訂正し、改善の提案をすることで、生徒がいつでもどこでもライティングスキルを向上させることができます。

大量のテキストコンテンツを自動的に処理および分析する必要があるシナリオでは、機械読解によって多くの労力と時間を節約できることがわかります。

多くの分野では、読解モデルの品質が人間を完全に置き換えるほど高くない場合は、手作業と組み合わせてコンピューターを使用して単純で頻度の高い問題を処理することで、コストを削減できます。そのため、機械による読解は、現在の人工知能研究において、最も最先端かつ最も注目されている分野の 1 つとなっています。

02 自然言語処理

機械読解は言語処理の範疇に属し、自然言語処理は人工知能の分野における重要な研究方向です。主に人間の言語の規則と構造を分析し、言語を理解して人間とコミュニケーションするためのコンピュータモデルを設計します。自然言語処理の歴史は人工知能の誕生まで遡ります。

過去数十年にわたり、自然言語の処理、理解、生成などの分野における研究は大きな進歩を遂げてきました。これらすべてが機械読解研究の強固な基盤を築きました。このセクションでは、主に自然言語処理の現在の研究状況とそれが機械読解に与える影響について紹介します。

1. 研究状況

70 年以上にわたる発展を経て、自然言語処理に関連する研究は洗練され、多くのサブタスクに分類されてきました。以下は機械読解に関連する重要な研究方向です。

1. 情報検索。大量のドキュメントや Web ページ内でユーザーのクエリに関連する結果を見つける方法を学習します。情報検索の研究はかなり成熟しており、Web 検索などの製品に広く使用されており、情報の普及と取得に大きな利便性をもたらしています。読解タスクに大規模なテキストベースが含まれる場合、情報検索は通常、関連情報を抽出するためのシステムの最初のモジュールになります。

2. 質疑応答システムとは、ユーザーからの質問に自動的に回答できるシステムです。質問応答システムと情報検索の違いは、質問応答システムでは複雑な質問の意味を理解し、複数回の文脈的な会話をサポートする必要があることです。たとえば、会話の読解では、モデルが現在の質問に答える前に、記事の意味と以前の会話ラウンドからの情報を同時に分析する必要があります。

3.テキスト分類とは、大量のウェブページを内容やテーマに応じて分割するなど、記事や段落、文章を分類することを指します。一部の機械読解モデルは、時間に関する質問、場所に関する質問など、質問を分類して回答の精度を向上させます。このタイプの質問分類は、テキスト分類のカテゴリに分類されます。

4.機械翻訳は、コンピューターにテキストを自動翻訳させる方法を研究するもので、これは言語間の読解タスクに適用できます。たとえば、テキストが少数言語である場合、機械を使用して読解データを共通言語に自動的に翻訳し、トレーニング データの不足の問題を解決することができます。

5.テキスト要約では、記事の主なアイデアと重要な情報を簡潔な言葉で要約する方法を学びます。テキスト要約では記事の意味を分析して結果を生成する必要があるため、シーケンスツーシーケンスモデルやポインタジェネレータネットワークなど、テキスト要約の技術の多くが機械読解に適用されてきました。

[[324512]]

2. 解決すべき課題

関連モデルの継続的な開発により、自然言語処理は多くのタスクで目覚ましい成果を達成しました。しかし、基本的な言語構造や意味の理解など、未解決の問題はまだ多く残っています。これらは機械読解研究において解決すべき緊急の課題でもあります。

1) 言語の曖昧さ

言語の特性の 1 つは、比較的簡潔な文章を使用して複雑な意味を表すことであるため、テキストには複数の意味と曖昧さ、つまり複数の合理的な解釈が存在することがよくあります。いくつかの例を見てみましょう。

• 例 1: 工場のリーダーたちは、Xiao Zhang の批判について何度か議論しました。

ここでは、指導者たちが工場に対するシャオ・チャンの批判について議論したと理解することも、指導者たちがシャオ・チャンに対する批判について議論したと理解することもできます。その理由は、「to」の目的語が「Xiao Zhang の批判的意見」または「Xiao Zhang」になる可能性があるからです。

• 例 2: 化学研究所の成果は誰の目にも明らかです。

ここでは、結果が「化学」によって得られたものであること、または結果が「化学研究所」によって得られたものであることが分かります。その理由は、「所」が「成份研究院」の一部としてだけでなく、前置詞としても使えるからです。

• 例3：野菜を炒めたい。

ここでは、「野菜炒め」を料理として考え、「私」がその料理を注文すると考えることも、あるいは「私」が野菜を炒めに行くと考えることもできます。その理由は、「炒」は文中で動詞として使えるし、「青菜」と一緒に料理名も作れるからです。

このような曖昧さの例は他にもたくさんあります。このような発言に直面したとしても、人間が話者の真意を判断するのは困難です。ただし、文脈情報があれば、曖昧さは解消されます。

たとえば、「野菜炒めがほしい」はレストランで食べ物を注文する文脈で出現し、「野菜炒め」は料理であることを意味します。また、「化学研究所の業績は誰の目にも明らかである」は、化学研究所に対する学校のリーダーの評価で出現し、その業績は「化学研究所」に属することを意味します。

これまでのところ、自然言語処理モデルはコンテキストの意味をまだ十分に理解できていません。研究者らは、機械読解モデルなどのタスクにおける自然言語処理モデルの結果を分析することで、既存のモデルは主に単語やキーワードのマッチングに基づいており、それがこれらのモデルの曖昧なテキストを処理する能力の低さにもつながっていることを発見した。

2) 推論能力

人間の言語によるコミュニケーションでは、多くの場合、詳細な説明を必要とせずに言語的推論から結論を導き出すことができます。たとえば、顧客がカスタマー サービスを通じてチケットを注文する例を次に示します。

カスタマーサービス: こんにちは。どのようなご用件でしょうか?

顧客: 5月上旬に北京から上海までの航空券を予約したいです。

カスタマーサービス: では、どの日に出発されますか?

顧客: そうですね、会議のために上海に行きます。会議は4日から7日までです。

カスタマーサービス: はい、5月3日の北京から上海への直行便はこちらです。

上記の会話では、顧客はカスタマー サービスからの出発日に関する質問に直接答えず、代わりに待ち合わせの時間帯を伝えました。

しかし、会議に出席するためにフライトを予約するという出来事から、顧客は会議が始まる前に目的地に到着したいと望んでいるはずだと推測できるため、カスタマーサービスは5月3日に出発するフライト情報を提供しました。もちろん、顧客が上海から北京へのフライトを予約したい場合、カスタマーサービスは5月7日または5月8日の夜に出発するフライト情報を提供する必要があります。

したがって、インテリジェントな顧客サービス モデルでは、以前の会話の内容に基づいて、必要な情報 (出発日) を推測する必要があります。この推論では、モデルが一定の常識、つまり、飛行機が会議の前に目的地に到着する必要があることが必要です。

近年、自然言語処理における常識や推論の応用に関する研究が行われていますが、膨大な常識をモデルに組み込み、効果的な推論を行うにはどうすればよいかは、依然として解決すべき問題です。

著者について: Zhu Chenguang、Microsoft の自然言語処理の上級研究員であり、スタンフォード大学でコンピューター サイエンスの博士号を取得しています。自然言語処理の研究開発、会話ロボットの意味理解、機械読解の研究などを担当。人工知能、ディープラーニング、自然言語処理、特に機械読解、テキスト要約、会話処理などの分野に精通。

この記事は「機械読解：アルゴリズムと実践」から抜粋したもので、出版社の許可を得て掲載されています。