普通の文書も会話に変えられる:会話補完技術の深い理解

普通の文書も会話に変えられる:会話補完技術の深い理解

会話型ロボットと聞くと、私と同じように、SiriやAlexaとの会話をすぐに思い浮かべますか?時には笑ったり泣いたりすることもあるかもしれませんが、私たちの生活に大きな利便性をもたらしてくれることは間違いありません。しかし、このような会話型 AI をトレーニングする際の難しさは、高品質の会話データをどのように取得するかにあります。これまでは、トレーニングデータとして大量の人間の会話を収集する必要があり、時間と労力がかかっていました。それで、もっと良い方法はあるのでしょうか?

昨年読んだ、対話補完ソリューションを紹介した非常に興味深い論文を突然思い出しました。今日は、通常の文書をチャット記録に変換するのに役立つ、会話完了というまったく新しい方法を紹介します。この革新的なテクノロジーを探り、それがどのように境界を打ち破り、あらゆる文書を「話す」ことを可能にするのかを見てみましょう。

まず、「インペインティング」という用語について見てみましょう。これは実際には画像処理から借用されたもので、その本来の意味は、周囲のピクセル情報を使用して、画像の欠落部分や破損部分を補完することです。本稿では、既存の会話内容を利用して会話の欠落部分を推測し補完するものとして理解することができます。それは、私たちが絵画を見るとき、欠けている部分があれば、その部分がどう見えるかを想像して、絵画をより完成度の高いものにするのと同じです。ダイアログ補完でも同じことを行います。既存のダイアログ コンテンツを使用して、欠落している部分を推測し、会話全体をよりスムーズで完全なものにします。

この論文に何が書いてあるか見てみましょう。

導入

会話型ロボットのトレーニングには、大量の高品質な会話が必要ですが、そのようなデータを見つけるのは困難な場合がよくあります。そこで、論文の著者らは、普通の記事を私たちの日常のチャットのような対話に適応させる「対話補完」と呼ばれる新しい手法を考案した。このようにして、多種多様な記事から大量の会話コンテンツをキャプチャできます。具体的には、記事内のすべての文が人の発言とみなされ、ロボットは他の人の答えや質問を推測する必要があります。

トレーニング部分

ダイアログ補完(インペインティング)では、エンコーダー/デコーダー モデルである T5 と呼ばれる生成モデルが使用されます。このモデルのトレーニング方法は、これまでに見てきた BERT モデルと多少似ていますが、重要な違いが 1 つあります。BERT は文中の個々の単語をマスクしてモデルをトレーニングしますが、ここでは音声全体をマスクしてモデルをトレーニングします。

たとえば、次の会話を考えてみましょう。

讲话者1:“你好,你怎么样?”讲话者2:“我很好,谢谢你。你呢?”讲话者1:“我也很好,谢谢你的关心。”

対話完了タスクでは、次のように完全な発話が不明瞭になることがあります。

讲话者1:“你好,你怎么样?”讲话者2:?讲话者1:“我也很好,谢谢你的关心。”

モデルのタスクは、欠落している発話(この場合は、「私は元気です、ありがとう。あなたはどうですか?」)を予測することです。トレーニングに使用される損失関数は、部分的な対話を与えられた場合に元の発話の負の対数確率を最小化することを目的としています。

推論段階

推論フェーズでは、トレーニングされた補完モデルを使用して記事を会話に変換します。次のような記事があるとします。

 “猫是小型的食肉哺乳动物。” “它们经常被当作宠物。” “猫有强壮的柔韧体骼,反应快,爪子锐利且可以伸缩。”

この記事は、仮想的な会話の中で著者が述べた一連の発言として解釈されます。会話は最初次のようになります。

作者:“猫是小型的食肉哺乳动物。”读者:?作者:“它们经常被当作宠物。”读者:?作者:“猫有强壮的柔韧体骼,反应快,爪子锐利且可以伸缩。”读者:?

疑問符は会話の欠落部分を表します。これらの欠落部分を埋めることが会話完了モデル設計の目的です。対話補完モデルを使用した後、会話は次のようになります。

作者:“猫是小型的食肉哺乳动物。”读者:“猫一般常在哪些地方出没呢?”作者:“它们经常被当作宠物。”读者:“猫有哪些特殊的身体特征呢?”作者:“猫有强壮的柔韧体骼,反应快,爪子锐利且可以伸缩。”读者:“真有意思,你能再多介绍一些关于猫的行为习性吗?”

記事と対話の例

別の記事を見てみましょう:

 “大象是大型哺乳动物。” “它们有长长的鼻子。” “大象是食草动物。”

対話補完モデルを使用した後、会話は次のようになります。

作者:“大象是大型哺乳动物。”读者:“大象有哪些独特的特征呢?”作者:“它们有长长的鼻子。”读者:“大象平时都吃些什么?”作者:“大象是食草动物。”读者:“真有趣,你能告诉我更多关于大象的栖息地信息吗?”

要約する

「会話補完」はチャット履歴の空白部分を埋めるようなものです。普通の記事を人々の日常会話のようなチャット記録に変換するのに役立ちます。これは、豊富で現実的な会話コンテンツを多数提供するため、チャットボットをトレーニングするのに最適な方法です。したがって、この技術はチャットボットの開発に大いに役立つ可能性があります。

<<:  TSの父による新しいプロジェクトTypechatはフロントエンドの未来を告げる

>>:  スマートフォンアプリケーションにおける人工知能の役割

ブログ    
ブログ    
ブログ    
ブログ    

推薦する

このAIは、監視カメラを素早く検索し、重要なシーンを見つけ、24時間のビデオを10分で処理するのに役立ちます。

1月23日のニュース、今日では、ビデオ監視の存在により、過去には検証が困難だった多くの事実を記録す...

マスク氏が「アイアンマン」のようなロボットを発売!テスラが世界最速のAIコンピューターを発表

この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を得て転載...

...

生成 AI はデジタル変革の優先事項にどのような影響を与えますか?

デジタル変革は組織の中核的な能力になる必要があり、これは CIO や IT リーダーにとって重要なア...

Python に基づく簡単な自然言語処理の練習

Python によるシンプルな自然言語処理この記事は、Python をベースにした簡単な自然言語処理...

4Dミリ波レーダーSLAMソリューション研究

この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転...

ディープラーニングを超える新しいAIプログラミング言語Genについて1つの記事で学びましょう

AI の急速な発展は多くの人々の学習意欲をかき立てていますが、初心者にとっては大量の手動プログラミン...

GPT-4 脳を解読する 0 コード!海外のネットユーザーがLLMのガードレールを突破し、AIに段階的に爆弾を作らせる

ネットユーザーが何か新しいものを思いつきました! OpenAI は大規模言語モデルの安全ガードレール...

...

Spark機械学習APIの選び方

この記事では、主に統計アルゴリズム、分類アルゴリズム、クラスタリング アルゴリズム、協調フィルタリン...

Nature の調査: AI が「必需品」になったと考える科学者はわずか 4%

AI に関する論文数は劇的に増加していますが、本当に AI が「必須」であると考えている研究者はわ...

国内生産のテスラは、自動運転アルゴリズムとチップを除いてすべて中国製です

みんなで思い出すと「サプライチェーン」が浮かび上がる最近、テスラは中国で国産テスラ車の一部をリコール...

教育省:中国はAI教育政策の提供を増やす

12月7日から8日にかけて、中華人民共和国教育部、中国ユネスコ国家委員会、ユネスコの共催による「20...

午後を費やしてラベルのない画像10万枚にラベルを付け、上司の費用を3万ドル節約しました

[51CTO.com オリジナル記事] 上司がラベルのない写真 10 万枚を渡して、サンダル、パンツ...