AI はどのようにして人間の会話の内容を認識するのでしょうか?マイクロソフト研究チームがお伝えします

[[280027]]

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

最近、マイクロソフトの研究チームは、コンテキストモデリングの研究を通じて新しい方法を考案しました。この方法では、AI モデルがコンテキストの履歴記録を通じて会話の最後の言葉を書き換えることができます。では、これはどのような研究方法なのでしょうか?

これについてはKYLE WIGGERS氏が詳しく紹介しており、Leifeng.comは彼の記事の意味を変えずに以下のようにまとめた。

発表前の論文で、Microsoft Research チームは、オープンドメイン会話の教師なしコンテキスト書き換えに関する研究の詳細を説明しました。彼らは、実験結果が書き換え品質と複数ラウンドの応答生成の点で新たなベンチマークに到達したと主張している。

研究者らが説明しているように、会話の文脈では、話題の切り替え、共参照（彼、彼女、それ、彼らなど）、長期的な依存関係など、文のモデリングには見られない課題が生じます。ほとんどのシステムでは、最後の段落にキーワードを追加したり、AI モデルを使用して数値表現を学習したりすることでこれらの問題を解決していますが、このアプローチでは、正しいキーワードを選択できない、長いコンテキストを処理できないなどの障害に遭遇することがよくあります。

ここで、Microsoft Research チームのアプローチが役に立ちます。コンテキスト情報を考慮して会話の最後の文を書き直します。これにより、相互参照がなく、過去の会話の他の発話に依存しない独立した発話が生成されます。

Leifeng.com 注記: [画像ソース: Microsoft 所有者: Microsoft]

たとえば、「私はコーヒーが嫌いです。 - - なぜですか? おいしいのに。」を「なぜコーヒーが嫌いなのですか? おいしいのに。」に変える場合、「it」と「why」が借用されています。ここで、「it」は会話の中で言及されているコーヒーを指し、「why」は「なぜ私はコーヒーを飲むのが嫌いなのか」の略語です。

この目的のために、研究者らは、エンドツーエンドのプロセス自動化を実現する機械学習システムであるコンテキスト書き換えネットワーク (CRN) を設計しました。このシステムは、固定長の発話を固定長の書き換えられた文にマッピングするシーケンスツーシーケンス モデルで構成されています。さらに、最後の発話内のさまざまな単語を見て、文脈から単語をコピーするのに役立つ別の注意メカニズムも備えています。

それで、このシステムはどのように設計されたのでしょうか?

まず、Microsoft Research チームは、コンテキストからキーワードを抽出し、それを元の会話の最後の発話に挿入することで生成された疑似データを使用してモデルをトレーニングしました。次に、最終的な応答が書き換えプロセスに影響を与えるように、強化学習を使用してシステムを目標に向けて誘導しました。

Leifeng.com 注記: [画像ソース: Microsoft 所有者: Microsoft]

一連の実験で、チームは、書き換え品質、マルチターン応答生成、マルチターン応答選択、エンドツーエンドの検索ベースのタスクなど、いくつかのタスクでアプローチを評価しました。強化学習後、文脈からより多くの単語を抽出する傾向があるため、モデルが時々不安定になることに彼らは気づきましたが、発話の多様性も大幅に改善されました。

Microsoft Research チームは、この取り組みがより解釈可能で制御可能なコンテキスト モデリングへの一歩になると考えています。さらに、研究チームは、このモデルはノイズの多い文脈から重要なキーワードを抽出し、それを最終発話に挿入することができるため、制御や解釈が容易になるだけでなく、最終発話に情報を直接伝えるのにも役立つと述べています。