涼宮ハルヒや李雲龍など32人のキャラクターをプレイ可能。このチャットボットはストーリーを非常によく理解しており、コードは商業的に使用できます。

AIに特定のキャラクターのチャットを模倣させることは、ChatGPTなどの大規模な言語モデルで遊ぶ一般的な方法です。character.aiなどの特別なアプリを開発している企業もあります。中国では、「チャット涼宮ハルヒ」というプロジェクトがこの需要に完全に応えています。

涼宮ハルヒは、谷川なるによるライトノベル『涼宮ハルヒシリーズ』およびその派生作品のヒロイン。高校生の設定である。プロジェクト名には「涼宮ハルヒ」しか含まれていませんが、「チャット涼宮ハルヒ」は、李雲龍（「抜刀術」の男性主人公）、ハリー・ポッター、張牧志（映画「天空の弾丸」の男性主人公）、シェルドン（アメリカのテレビシリーズ「ビッグバン・セオリー」の男性主人公）など、最大32人のキャラクターを模倣できます。チャット中、このモデルはこれらのキャラクターの口調や性格を模倣できるだけでなく、ストーリーに完全に溶け込むこともできます。

生成された結果は次のとおりです。

「Chat Haruhi Suzumiya」は、Li Lulu、Leng Ziang、Chen Qiyuan が始めた Luotuo (Camel) のサブプロジェクトです。MoDa コミュニティが主催する Create@AI マラソン コンテストで第 2 位 (トップ 3) を獲得しました。彼らのプロジェクト紹介ビデオはBilibiliで見ることができます。

動画リンク: https://www.bilibili.com/video/BV1Xh411A7kC/?vd_source=12c1d661b492e88e254fc63d0a861962

最近、プロジェクトの作者はシステムに関する技術レポートも公開し、「チャット涼宮ハルヒ」の作成プロセスと、32 のキャラクターをサポートする 54k の対話データセットの制作プロセスを紹介しています。同時に、HuggingFace に関するデータセットも公開しました。

• 技術レポートのリンク: https://arxiv.org/pdf/2308.09597.pdf
• GitHub リンク: https://github.com/LC1332/Chat-Haruhi-Suzumiya
• データセットリンク: https://huggingface.co/datasets/silk-road/ChatHaruhi-54K-Role-Playing-Dialogue

プロジェクト作成者の一人であるLeng Ziang氏は、「プロジェクト自体に加えて、私とLulu以外の貢献者はすべてコミュニティの出身です。全員が火に油を注ぐということになります。私たちは今後もより多くのコンテンツを作成し、より多くのことに挑戦していきます。コミュニティのパートナーが一緒に私たちをサポートしてくれることを願っています」と語った。

このプロジェクトは Apache 2.0 プロトコルを使用しているため、プロジェクト内のコードを商用目的で使用できます。ただし、以下の事項を遵守する必要があります。1. キャラクター自体の著作権者の同意。2. プロジェクトで使用するインターフェース当事者（OpenAI の同意など）。3. プロジェクトで使用するモデルの同意（たとえば、後から LlaMA または GLM モデルを使用する場合）

プロジェクトの概要は以下の通りです。

AIに特定の役割を担わせるのは難しい

ロールプレイングに AI モデルを使用すると、ゲームやクリエイティブ産業など、多くの分野で潜在的な応用の可能性があります。

オープンソースのロールプレイング実装では、開発者やユーザーは同様のプロンプトを採用しており、それらは ChatGPT に継続的に入力されるか、システムのささやきとして言語モデルに接続されます。

{series} の {character} のように行動してください。{character} が使用する口調、態度、語彙を使用して、{character} のように応答して回答してください。説明は一切書かないでください。{character} のように回答するだけです。{character} に関する知識をすべて知っておく必要があります。私の最初の文は「こんにちは、{character}」です。

ChatGPT または Claude はトレーニング中に多くのストーリーを読んでおり、さらに大規模な言語モデルによって示される「インテリジェントな」動作と相まって、ユーザーは、モデルがそのようなプロンプトの下でロールプレイング能力を発揮できることが多いことに気付きました。ただし、この実装はシンプルですが、次のような欠点があります。

1. このようなプロンプトの使用は、大規模な言語モデルのメモリに大きく依存します。大規模言語モデルの文字自体の記憶が曖昧であれば、特定の文字を模倣することはできません。
2. ここでの「{文字} に関するすべての知識を知っている」という定義も曖昧であり、大規模な言語モデルの幻覚効果を効果的に防御することはできません。
3. このようなプロンプトがあっても、チャットボットの会話スタイルは言語モデルに大きく影響されます。プロンプトを調整することでこの問題は軽減される可能性がありますが、特定の役割ごとにプロンプ​​トを非常に細かく調整する必要があります。

これらの欠点により、このようなロールプレイング チャットボットの使用は明らかに制限されます。

もう 1 つのシンプルなアイデアは、キャラクターの会話をモデルに合わせて微調整することです。著者は、多くの開発者がこれを試していることを発見しました。十分なコーパスがあれば、言語モデルは確かに特定の文字の音調を把握することができますが、これによって新たな問題も生じます。予備実験では、微調整されたチャットボットがより多くの幻覚効果を生み出すことがわかった。また、主人公以外のキャラクターが多数いる場合、モデルを微調整するために大量のコーパスを形成するのは困難です。要約すると、言語モデルがロールプレイングをより適切に実行し、出力キャラクターの古典的なセリフを模倣できるようにするのは、簡単な問題ではありません。

特定の役割をシミュレートするという一般的な考え方

「チャット涼宮ハルヒ」プロジェクトの主な目標は、自然言語モデルがアニメ、映画、テレビ番組の実際のキャラクターを会話で演じることができるかどうかを研究することです。このプロセスにおいて、著者は仮想キャラクターが 3 つのコア部分で構成されていると考えています。

まず、知識と背景: それぞれの仮想キャラクターには独自の背景があります。たとえば、涼宮ハルヒは日本の高校に通っています。そのため、ChatBotは対応するストーリーの設定を理解する必要があります。これは、大規模言語モデルのメモリ容量に対する大きなテストであり、外部の知識ベースを導入して解決する必要があります。

2つ目は、性格やキャラクターです。性格やキャラクターの設定は作品全体を通して一貫している必要があるため、作者はチャットボットに反映される性格やキャラクターが作品本来の設定と一致していることを望んでいます。

3 番目は、言語習慣です。これは最も簡単に模倣できます。大規模な言語モデルのコンテキストで適切な例が与えられている限り、言語モデルは出力を模倣することがよくあります。作者は、こうした文学作品や映画作品、テレビ作品のファンがチャットボットと対話することで、文学作品や映画作品、テレビ作品の名場面を「再現」することができ、これらの作品のファンにより良い体験を提供できることを期待しています。

「チャット涼宮ハルヒ」プロジェクトの重要なアイデアは、可能な限り多くのオリジナルスクリプトを抽出して、キャラクターのメモリデータベースを形成することです。ユーザーが新しい質問をすると、システムは関連する古典的なプロットを検索し、キャラクターに設定されたプロンプトを組み合わせて言語モデルを制御し、キャラクターのより正確な模倣を形成するよう努めます。同時に、CAMEL プロジェクトと Baize プロジェクトにヒントを得て、著者らは自動対話コーパス生成システムを設計しました。個性ははっきりしているものの、もともと対話が少ないキャラクターの場合、キャラクターの性格設定に合わせたコーパスをさらに生成することができます。これにより、ローカル モデルを微調整できるだけの十分なコーパスが生成されます。

完全な開発計画を下図に示します。

プロジェクトの主な貢献は次のようにまとめられます。

1. 大規模な言語モデルに基づいて、著者は完全なロールプレイングアルゴリズムシステムを提案しました。このアルゴリズムは、キャラクターの過去の記憶を効果的に整理し、言語モデルが特定の映画、テレビ、アニメのキャラクターの口調や知識を模倣して会話を行えるようにします。このシステムでは、OpenAI の ChatGPT や Claude などの大規模な事前トレーニング済みモデル、または 7B 規模の小規模なローカル モデルを使用できます。

著者が提案したアルゴリズムは、涼宮ハルヒの役を演じています。ユーザーの質問は原作のストーリーに関連していますが完全に一貫しているわけではありませんが、「涼宮ハルヒのチャット」への回答は基本的に原作のストーリーを引用できることに注意してください。

2. 著者は、30 種類以上の中国語/英語の映画やテレビのキャラクターを含むロールプレイング データセットを提案しました。映画、小説、脚本からコーパスを収集し、構造化抽出を実行することで、23,000件を超える会話メッセージが収集されました。これらの会話データは、ロールプレイング言語モデルのトレーニングとテストに使用できます。同時に、著者らが提案したアルゴリズムとGPT3およびGPT4の助けを借りて、これらのキャラクターの27,000を超える追加のダイアログを生成しました。マージされたデータセットは ChatHaruhi-54k です。

3. 異なる方法で形成されたロールプレイングチャットボットのパフォーマンスをテストして比較するために、自動評価方法と手動評価方法の両方を使用してロールプレイングロボットを評価しました（一部の評価結果はまだ発表されていません）。自動化された評価では、登場人物が脚本の古典的な筋書きに反応し、元の脚本に似た答えを返すことができるかどうかをテストしました。手動評価では、2つの異なる指標が提案され、被験者に2つの異なる指標を評価するように求められました。適合性：ロボットの回答が役割の元の設定と一致しているかどうか。回答の品質：ロボットの回答の言語品質が良好かどうか。結果は、彼らのアルゴリズムが同じ基本言語モデルを使用しながら、より優れたロールプレイングパフォーマンスを提供できることを示しました。

下図は、「チャット涼宮ハルヒ」のコア対話システムの概略図であり、システムプロンプト、ユーザクエリqに対して取得された文字メモリD（q、R）、および計画履歴Hが含まれています。

次の図は、プロジェクト データセットに含まれるロール データのリストです。

実験では、著者らは 5 つのスキームを定性的に比較しました。古典的なダイアログを追加し、システムプロンプトを修正した後、ChatGPT などのモデルを使用すると、チャットボットが特定の人の会話スタイルを効果的に反映できることがわかります。同時に、微調整された 7B モデルは、システム全体のプロンプトを効果的に学習することもできます。

詳細については、元のレポートをご覧ください：https://github.com/LC1332/Chat-Haruhi-Suzumiya/blob/main/notebook/arxiv_paper.md