普通の文書も会話に変えられる：会話補完技術の深い理解

会話型ロボットと聞くと、私と同じように、SiriやAlexaとの会話をすぐに思い浮かべますか？時には笑ったり泣いたりすることもあるかもしれませんが、私たちの生活に大きな利便性をもたらしてくれることは間違いありません。しかし、このような会話型 AI をトレーニングする際の難しさは、高品質の会話データをどのように取得するかにあります。これまでは、トレーニングデータとして大量の人間の会話を収集する必要があり、時間と労力がかかっていました。それで、もっと良い方法はあるのでしょうか?

昨年読んだ、対話補完ソリューションを紹介した非常に興味深い論文を突然思い出しました。今日は、通常の文書をチャット記録に変換するのに役立つ、会話完了というまったく新しい方法を紹介します。この革新的なテクノロジーを探り、それがどのように境界を打ち破り、あらゆる文書を「話す」ことを可能にするのかを見てみましょう。

まず、「インペインティング」という用語について見てみましょう。これは実際には画像処理から借用されたもので、その本来の意味は、周囲のピクセル情報を使用して、画像の欠落部分や破損部分を補完することです。本稿では、既存の会話内容を利用して会話の欠落部分を推測し補完するものとして理解することができます。それは、私たちが絵画を見るとき、欠けている部分があれば、その部分がどう見えるかを想像して、絵画をより完成度の高いものにするのと同じです。ダイアログ補完でも同じことを行います。既存のダイアログ コンテンツを使用して、欠落している部分を推測し、会話全体をよりスムーズで完全なものにします。

この論文に何が書いてあるか見てみましょう。

導入

会話型ロボットのトレーニングには、大量の高品質な会話が必要ですが、そのようなデータを見つけるのは困難な場合がよくあります。そこで、論文の著者らは、普通の記事を私たちの日常のチャットのような対話に適応させる「対話補完」と呼ばれる新しい手法を考案した。このようにして、多種多様な記事から大量の会話コンテンツをキャプチャできます。具体的には、記事内のすべての文が人の発言とみなされ、ロボットは他の人の答えや質問を推測する必要があります。

トレーニング部分

ダイアログ補完（インペインティング）では、エンコーダー/デコーダー モデルである T5 と呼ばれる生成モデルが使用されます。このモデルのトレーニング方法は、これまでに見てきた BERT モデルと多少似ていますが、重要な違いが 1 つあります。BERT は文中の個々の単語をマスクしてモデルをトレーニングしますが、ここでは音声全体をマスクしてモデルをトレーニングします。

たとえば、次の会話を考えてみましょう。

讲话者1：“你好，你怎么样？”讲话者2：“我很好，谢谢你。你呢？”讲话者1：“我也很好，谢谢你的关心。”

対話完了タスクでは、次のように完全な発話が不明瞭になることがあります。

讲话者1：“你好，你怎么样？”讲话者2：？讲话者1：“我也很好，谢谢你的关心。”

モデルのタスクは、欠落している発話（この場合は、「私は元気です、ありがとう。あなたはどうですか？」）を予測することです。トレーニングに使用される損失関数は、部分的な対話を与えられた場合に元の発話の負の対数確率を最小化することを目的としています。

推論段階

推論フェーズでは、トレーニングされた補完モデルを使用して記事を会話に変換します。次のような記事があるとします。

 “猫是小型的食肉哺乳动物。” “它们经常被当作宠物。” “猫有强壮的柔韧体骼，反应快，爪子锐利且可以伸缩。”

この記事は、仮想的な会話の中で著者が述べた一連の発言として解釈されます。会話は最初次のようになります。

作者：“猫是小型的食肉哺乳动物。”读者：？作者：“它们经常被当作宠物。”读者：？作者：“猫有强壮的柔韧体骼，反应快，爪子锐利且可以伸缩。”读者：？

疑問符は会話の欠落部分を表します。これらの欠落部分を埋めることが会話完了モデル設計の目的です。対話補完モデルを使用した後、会話は次のようになります。

作者：“猫是小型的食肉哺乳动物。”读者：“猫一般常在哪些地方出没呢？”作者：“它们经常被当作宠物。”读者：“猫有哪些特殊的身体特征呢？”作者：“猫有强壮的柔韧体骼，反应快，爪子锐利且可以伸缩。”读者：“真有意思，你能再多介绍一些关于猫的行为习性吗？”

記事と対話の例

別の記事を見てみましょう:

 “大象是大型哺乳动物。” “它们有长长的鼻子。” “大象是食草动物。”

対話補完モデルを使用した後、会話は次のようになります。

作者：“大象是大型哺乳动物。”读者：“大象有哪些独特的特征呢？”作者：“它们有长长的鼻子。”读者：“大象平时都吃些什么？”作者：“大象是食草动物。”读者：“真有趣，你能告诉我更多关于大象的栖息地信息吗？”

要約する

「会話補完」はチャット履歴の空白部分を埋めるようなものです。普通の記事を人々の日常会話のようなチャット記録に変換するのに役立ちます。これは、豊富で現実的な会話コンテンツを多数提供するため、チャットボットをトレーニングするのに最適な方法です。したがって、この技術はチャットボットの開発に大いに役立つ可能性があります。