マイクロソフト、マルチモーダルアプローチでAIの理解能力を向上させるプロジェクトRumiを実証

新興技術のデジタル時代において、大規模言語モデル (LLM) は、人間社会と文化の多くの側面に革命をもたらし、コンピューターとのやり取りの方法を再形成する強力なツールとして登場しました。しかし、まだ解決すべき重要な課題が残っています。 LLM の限界は明らかであり、会話の文脈やニュアンス、プロンプトの質や特異性を把握できないというギャップが明らかになっています。

しかし、LLM は主にテキストの入出力に依存しており、自然なコミュニケーションにおけるイントネーション、表情、ジェスチャー、ボディランゲージなどの手がかりを無視しているため、理解に偏りが生じる可能性があります。

これらの手がかりは総称してパラ言語と呼ばれ、Microsoft の Project Rumi は、非言語的手がかりと文脈のニュアンスの理解の限界に対処することで LLM の機能を強化することを目指しています。 LLM とのプロンプトベースのやり取りにパラ言語入力を組み込み、コミュニケーションの質を向上させます。研究者らは、オーディオおよびビデオ モデルを使用して、データ ストリーム内の非言語的な手がかりをリアルタイムで検出しました。ユーザーの音声からのパラ言語情報には 2 つの別々のモデルが使用されます。1 つは音声の韻律、ピッチ、抑揚用で、もう 1 つは音声の意味用です。彼らは、ビジュアルトランスフォーマーを使用してフレームをエンコードし、ビデオから顔の表情を認識しました。ダウンストリーム サービスは、パラ言語情報をテキストベースのプロンプトに組み込みます。このマルチモーダルアプローチは、ユーザーの感情と意図の理解を強化し、人間と AI のインタラクションを次のレベルに引き上げることを目的としています。

この研究では、研究者らは、ユーザーの意図に関する重要な情報を伝達する上でパラ言語学が果たす役割について簡単に調査しただけである。今後は、モデルをさらに改良し、効率化するためのモデリングを行う予定です。また、標準的なビデオから得られる心拍数の変動、認知、環境認識などの詳細も追加したいと考えています。これらはすべて、AI との次世代のインタラクションに暗黙の意味と意図を追加するための大規模な取り組みの一部です。