AI エージェントが GPT-4 と連携して人間のディレクターを排除します。 「サウスパーク」はスタンフォード大学のウエストワールドを模倣して撮影された

AIエージェントがまた衝撃的なニュースをもたらしました。AIエージェントが直接監督に昇進し、「サウスパーク」のエピソードを撮影したのです！

そうです、脚本、作画、演出、音声、編集などドラマ制作の全工程をAIが完結するんです。

スタートアップのFableが発表した新しいショーランナーは雷鳴のようだった。

このプロジェクトのインスピレーションは、スタンフォード大学の人気の仮想都市論文「ウエストワールド」から得たものです。この論文では、25 人の AI エージェントが、学校、病院、住宅を含むサンドボックス仮想都市で生活しています。

この「サウスパーク」では、AI キャラクターのグループが、それぞれ独自の背景ストーリー、性格、動機を持ち、複雑な社会的相互作用を通じて日常生活を送っています。

写真

論文アドレス: https://fablestudio.github.io/showrunner-agents/

マルチエージェントの勾配フリーアーキテクチャによって駆動され、各キャラクターの完全な体験が自然言語として保存されます。時間の経過とともに、これらの記憶はより高次の反射神経に統合され、いつでも動的に取得して各キャラクターの行動をリアルタイムで計画できるようになります。

人間の監督は、高レベルのクリエイティブプロンプト（タイトル、概要、イベント）を与えるだけで、これらの AI エージェントが「監督と演技」を開始します。

そのうち、「サウスパーク」データセット（約1,200のキャラクターと600のシーン）でトレーニングされた2つのカスタム拡散モデルは、新しいキャラクターと新しいシーンを生成でき、超解像度モデル（R-ESRGAN-4x+-Anime6B）はシーンを拡大できます。

音声クローン AI (ElevenLabs など) を使用すると、キャラクターを瞬時に吹き替えることができます。

Nvidia の主任 AI 科学者 Jim Fan 氏は興奮気味にこう主張しました。「マルチエージェント シミュレーションは、新興知能の次のフロンティアとなるでしょう!」

写真

Fable はまた、興奮気味に次のように紹介しました。「生成 AI を使用して画像を生成するこの素晴らしい時代に、Gen TV と Showrunner のインテリジェンスはゲームのルールを完全に変えるでしょう!」

この AI エージェントを使って、ゲーム オブ スローンズの最終シーズンを再撮影し、まったく新しいエンディングを用意してもらい、さらには主人公になれると想像してみてください。これはまさに SF です...

ネットユーザー：シミュレーションではないのは誰ですか？

ご存知のとおり、LLM と画像/ビデオ生成モデルがますます強力になるにつれて、マルチエージェント シミュレーションによって作成されるコンテンツは私たちの想像をはるかに超えるものになるでしょう。

つまり、これはまだ始まりに過ぎません。

Fable の研究者はこう言います。「個々の AI エージェントは生命がなく共感できないため失敗するでしょう。誰も容器の中の脳になって人々と延々とおしゃべりしたいとは思わないでしょう。」

彼らは、AIは独自の生命を持つべきであり、そのためにはAIに属する社会を構築する必要があると主張しました。私たちに必要なのは、さらなる「彼女」ではなく、本当の「自由な男」なのです！

写真

ネットユーザーたちは興奮してこう言った：「これは爆発的だ！」

「AI リアリティ番組は作れるでしょうか？ AI エージェントがタスクを実行し、互いに投票し、社会のダイナミクスがどのように機能するかを見ることができます。」

写真

「独立したアライメント研究の先駆者として、本物の AI が自身のバックストーリーを書き、それが知覚力を持っていることを認識することが、今や現実になっています。」

写真

誰かが言いました: よく考えてみると、私たちも AI も単なるシミュレーションではないでしょうか?彼らは仮想世界に住んでいて、私たちはマトリックスの中に住んでいます...

写真

これを AI が人間のコメディを模倣した下手な作品だと考える人もいるようです...

写真

本当に偽の人物や偽の会社のように見えるため、これがパフォーマンスアートであるかどうかを疑う人もいます。 （ちょっとブラックユーモアでもある）

写真

この論文はデマではないでしょうか？ウェブサイト、論文、そしてこの研究を行っている人々はすべて、GPT-4とMidjourneyによって生成されたかのように非常に偽物に感じられます。

将来的には、仮想世界が現実世界に物事のやり方を教えるようになるかもしれません。

AIで書かれたスクリプトを書くことは可能ですか？

担当者は、プロジェクトの目標は常に AGI だったと語りました。AGI だけが真に生きた AI であり、AI チャットボットはそれには程遠いものです。

彼らはシミュレートされた世界で実際の日常生活を送り、時間の経過とともに成長し続けます。

写真

この仮想世界では、まるで AI のリアリティ番組のように、AI の生活を見ることができます。

サウスパークのシミュレートされた町では、Showrunner を使用して独自の TV 番組 IP を作成できます。

写真

プロセス全体を通して、エージェントに自動的にスクリプトを作成させることもできますし、ショーランナーに 1 つか 2 つの文のプロンプトを与えることもできます。

本当に細かく編集したい場合は、プロンプトを使用して各シーンのダイアログを 1 つずつ編集できます。

写真

インテリジェントエージェントによって書かれたプロットのレベルはどの程度ですか?感謝しましょう。

写真

ビデオの冒頭では、ウェストランドの歴史が紹介されます。

悪徳企業ビズニーは、人間の AI 仲間としてロボット豚を製造します。このロボット豚は深刻な人種差別的傾向があり、そのせいで会社は PR 上の悪夢に陥ります。

写真

劇中の主人公は、マスクがハリウッドのトップ俳優全員を誘拐し、火星に来て一緒に暮らすよう頼んだことを知った。

そして 1990 年代以降、トム・クルーズやメリル・ストリープなど私たちが目にしてきたスターの多くは、実はディープフェイクでした。

写真

最も興味深いのは、ネットユーザーも「番組の登場人物」になりたいかもしれないことを考慮して、Fable がユーザーが自分の写真や声をアップロードして番組に出演できる新しいアップロード機能を特別に作成したことです。

既存の生成AIの創造における限界

現在の生成 AI にはまだいくつかの制限があります。

たとえば、Stable Diffusion と ChatGPT は短期的な一般的なタスクでは優れたパフォーマンスを発揮しますが、長期的な作成プロセス中に、コンテキスト ガイダンスを提供したり、ユーザーや Showrunner などの自動ストーリー生成システムに意図を示したりすることはできません。

しかし、高品質の創作作品を作りたい場合、特に今日の IP 開発の文脈では、長期的な創作プロセスが重要です。

不確実性の中で生きる

マルチエージェントシミュレーションにより、コンテンツ製品と IP ストーリーの世界との一貫性を高めることができます。ユーザーは、キャラクターの個人的な履歴、目標、感情、シミュレートされたイベントや場所などのデータを活用して、関連するシーンやグラフィック アセットを生成できます。

IP ベースのシミュレーションでは、ユーザーが慣れ親しんでいるストーリーのコンテキストも提供されるため、生成されたストーリーをユーザーが判断しやすくなります。

さらに、人間とコンピュータの相互作用を通じて、ユーザーはインテリジェントエージェントの対話システムを制御、観察、通信できるため、インテリジェントエージェントはユーザーの希望や意図を学習し、ユーザーの希望や期待に応じて応答を生成することができます。

それはまるでボスママを作って、質問に答えてもらうようなものです!

私たちのシミュレーションは十分に複雑かつランダムであるため、肯定的な反証が期待できます。増幅効果は、望ましくない「スロット マシン」効果を軽減するのに役立ちます。これについては、後で簡単に説明します。

私たちは受動的な視聴に慣れています。キーワードを入力すると、「シーン/エピソード」の結果がすぐにポップアップ表示されます。このプロセスの時間範囲は、ユーザーが即座に判断を下すことを促さず、「もう一度試す」という欲求を減らします。

単純なユーザー入力と、その結果として得られる高品質で長い形式の出力エピソードとの間の非対称性は、期待検証効果の重要な要因です。

しかし、そのプロセスの一環として大規模な言語モデルを使用したり、促したりすると、「いくつかの課題」が生じる可能性があります。

幻覚のように不確実性を高める特定の効果は、物語に創造性を加えることができます。それらは、創造のプロセスにおける「幸運な偶然」のように機能します。これらの「事故」は、ロジックをあまり乱さなければ、ユーザー エクスペリエンスを向上させることができます。

したがって、ある程度のランダム性と不確実性を適度に導入することで、肯定的な創造的効果を生み出し、ユーザー エクスペリエンスを向上させることができます。重要なのは、ロジックの一貫性を保ち、プロットを完全に破壊せずに、システムが回復できるようにすることです。

スロットマシン効果

「スロットマシン効果」とは、AI によって生成されるコンテンツが、意図的な創造プロセスではなく、ランダムな組み合わせによって生成されるコンテンツに似ていることを意味します。これは、AI 生成プロセスが予測不可能かつ瞬間的であるためです。

現在の生成 AI システムは、長期的な創造的目標の文脈において、アイデア評価の複数のステップをサポートまたは奨励していません。インターフェースには、スライダーや入力フィールドなどのさまざまな設定が備わっていることが多く、制御と可変性のレベルが向上します。

写真

ただし、最終的な出力は、ボタンを押すだけで基本的に瞬時に生成されます。この瞬間的な生成プロセスにより、ユーザーは即座に満足感を得ることができ、ドーパミンが急激に分泌されます…

この報酬メカニズムは、複数ステップの創造プロセスを長期間維持するのに役立ちますが、現在のインターフェース、報酬の頻度、および進捗の欠如 (無限ループに陥る) により、フラストレーション、理想と実際の生成のギャップ、創造プロセスの制御の喪失などの悪影響が生じる可能性があります。

この格差は、即時の満足感を優先する行動バイアスによって引き起こされ、長期的な創造的目標に悪影響を及ぼす可能性があります。

インターフェイスを通じてこれらの問題に直接対処するわけではありませんが、シミュレーションでプロセスを文脈化し、入力と出力の間の時間制御を使用すると、スロット マシン効果が作成に及ぼす悪影響を軽減するのに役立ちます。

さらに、シミュレーション中にキャラクターの識別子を設定し、クリエイティブ評価プロセスに参加できるようにすることも、スロットマシン効果を軽減する方法であると考えています。

たとえば、エージェントに割り当てられた役割や演じることになっているシーンについて考えてもらうことです。

ストーリー システムを生成するための複数ステップの「試行錯誤」プロセスはユーザーには提示されず、システムでは介入や判断は許可されません。これにより、ユーザーが「承認または拒否」の決定を下すときに生じる即時の満足感の悪影響を回避できます。

ユーザー エクスペリエンスの観点からは、生成プロセスが空白時間として否定的に認識されず、シミュレートされたゲームプレイにシームレスに統合されている限り、AI システムが異なるプロンプト チェーンを再試行する頻度は重要ではありません。

ユーザーは、生成されたシーンまたはエピソードを視聴した後、プロセスの最後にのみ識別者の役割を果たします。これは、強化学習と人間のフィードバック (RLHF) の概念を使用してエピソードを自動的に生成し、複数ステップのクリエイティブ プロセスと結果を改善する方法でもあります。

大規模言語モデル

LLM は通常、自己注意メカニズムに依存する Transformer アーキテクチャ上に構築されます。 Transformer はコンピューティング リソースを効率的に活用できるため、より大きな言語モデルのトレーニングが可能になります。

たとえば、GPT-4 には数十億のパラメータが含まれており、膨大なデータセットでトレーニングされ、膨大な量の世界の知識をその重みに効果的にエンコードします。

写真

ベクトル埋め込みの概念は、これらの大規模な言語モデルがどのように機能するかにとって非常に重要です。これらは、高次元空間における単語またはフレーズの数学的表現です。これらの埋め込みは単語間の意味的関係を捉え、意味的に類似した単語は埋め込み空間内で互いに近くに配置されます。

大規模言語モデルでは、モデルの語彙内の各単語は、最初は埋め込みとも呼ばれる密なベクトルとして表現されます。これらのベクトルはトレーニング プロセス中に調整され、その最終的な値、つまり「埋め込み」は単語間の学習された関係を表します。

トレーニング中、モデルは埋め込みやその他のパラメータを調整して文中の次の単語を予測し、予測された単語と実際の単語の差を最小限に抑えます。したがって、埋め込みはモデルによる単語とそのコンテキストの理解を反映します。

写真

さらに、Transformer は文中の任意の位置の単語に焦点を当てることができるため、モデルは文の意味をより包括的に理解することができます。これは、限られたウィンドウ内の単語しか考慮できなかった古いモデルに比べて大幅な改善です。

ベクトル埋め込みと Transformer アーキテクチャを組み合わせることで、大規模な言語モデルは言語をより深く、より微妙に理解できるようになり、そのためこれらのモデルは高品質で人間のようなテキストを生成できます。

前述したように、Transformer ベースの言語モデルは短期的な一般的なタスクに優れています。彼らは素早い思考で行動していると見られています。速い思考には本能的、自動的、そして多くの場合ヒューリスティックに基づいた意思決定が含まれますが、遅い思考には慎重かつ分析的で努力を要するプロセスが含まれます。

写真

LLM は、出力の背後にある基礎ロジックをイントロスペクトしたり理解したりすることなく、トレーニング データから学習したパターンに基づいて応答を迅速に生成します。つまり、大規模な言語モデルには、人間のように熟考したり、深く推論したり、単一の経験から学習したりする能力が欠けているということです。

これらのモデルはテキスト生成タスクにおいて目覚ましい進歩を遂げていますが、その高速思考の性質により、深い理解や柔軟な推論を必要とするタスクにおいてはその可能性が制限される可能性があります。

写真

プロンプト チェーニング (Auto-GPT を参照) などの遅い思考能力を模倣する最近のアプローチは、有望な結果を示しています。

大規模な言語モデルは、複数のステップのプロセスで独自の識別子として機能することができます。これにより、数学の問題を解くなど、さまざまな状況での推論能力が大幅に向上します。

この研究では、研究者らは GPT-4 を広範囲に使用して、シミュレートされたエージェントに影響を与え、サウスパークのエピソードからシーンを生成しました。

GPT-4 のトレーニング データセットにはサウス パークのほとんどのエピソードの書き起こしが含まれていたため、キャラクターの性格、会話スタイル、番組全体のユーモアのセンスがすでによく把握されており、カスタムの微調整は必要ありませんでした。

私たちは、複数のステップからなる創造的プロセスを通じて、ゆっくりとした思考をシミュレートします。これを実現するために、さまざまなキュー チェーンを使用して、さまざまなシーンのイベントを比較および評価し、それらが全体的なストーリーを満足のいく IP 一貫性のある結果に導く方法を検討します。

プロンプト チェーンを介してエピソードを生成しようとしますが、ストーリー生成は非常に不連続なタスクです。これらは、段階的または継続的な方法では達成できないコンテンツ作成であり、タスクの進行における不連続な飛躍を解決するために「ひらめきの瞬間」の思考が必要です。

コンテンツ生成には、問題を見る新しい方法や問題を捉える新しい方法を発見または発明することが含まれます。これにより、残りのコンテンツの生成が可能になります。

個別のタスクの例としては、画期的なアイデアや公式の創造的な応用を必要とする数学の問題、ジョークやなぞなぞを書くこと、科学的仮説や哲学的議論を考え出すこと、新しいジャンルや執筆スタイルを開拓することなどが挙げられます。

拡散モデル

拡散モデルは、時間の経過とともにデータにランダムノイズを徐々に追加または削除して、出力を生成または再構築することによって機能します。画像はランダムなノイズとして始まり、多くのステップを経て徐々に一貫した画像に変化します。また、その逆も同様です。

写真

カスタム Diffusion モデルをトレーニングするために、アニメシリーズ「サウスパーク」から約 1,200 のキャラクターと 600 枚の背景画像の包括的なデータセットを収集しました。このデータセットは、モデルがショーのスタイルを学習するための原材料を提供します。

写真

これらのモデルをトレーニングするために、Dream Booth を使用しました。このトレーニング フェーズの結果、 2 つの特殊な拡散モデルが作成されます。

最初のモデルは、切り抜かれた背景色の前に立つ単一のキャラクターを生成するように特別に設計されています。これにより、生成されたキャラクターを後続の処理やアニメーション用に抽出することが容易になり、新しく生成されたキャラクターをさまざまなシーンや設定にシームレスに統合できるようになります。

写真

さらに、キャラクター拡散モデルを使用すると、ユーザーは Stable Diffusion のピクチャツーピクチャ プロセスを通じて自分の外見に基づいてサウス パークのキャラクターを作成し、平等な参加エージェントとしてシミュレーションに参加できます。

自分の声を複製する機能により、ユーザーの外見、書き方、声に基づいて、完全に実現された自律的なキャラクターを簡単に想像できます。

2 番目のモデルは、きれいな背景を生成するようにトレーニングされており、特に外部環境と内部環境に焦点を当てています。このモデルは、生成されたキャラクターが対話できる「ステージ」を提供し、さまざまな潜在的なシーンやシナリオの作成を可能にします。

ただし、これらのモデルの出力はピクセルベースであるため、これらのモデルによって生成される画像の解像度は本質的に制限されることに注意することが重要です。

この制限を克服するために、生成された画像を A​​I アップスケーリング技術、具体的には R-ESRGAN-4x+-Anime6B を使用して再処理し、画像の品質を最適化して強化します。

将来の 2D インタラクティブ作品では、ベクトルベースの出力を生成できるカスタム Transformer モデルをトレーニングすると、次のような利点があります。

ピクセルベースの画像とは異なり、ベクター グラフィックはサイズを変更したり拡大縮小しても品質が損なわれないため、無制限の解像度を実現できます。これにより、どのようなスケールで表示しても品質と詳細が維持される画像を作成できるようになります。

さらに、ベクターベースのシェイプは個別のパーツに分離され、透明度とセグメンテーションに関するピクセルベースの後処理の問題が解決されました。

これにより、生成されたアセットを手続き型の世界構築に統合することが簡素化され、アニメーション システムの複雑さも軽減されます。

エピソード生成

私たちはエピソードを、特定の場所で行われる一連の会話シーンと定義しており、サウスパークのエピソードの合計実行時間は 22 分です。

サウスパークの完全なエピソードを生成するために、私たちは通常、タイトル、概要、シミュレートされた仮想世界の 1 週間以内 (= プレイ時間約 3 時間) に発生させたい主なイベントという形で、ストーリー システムに高レベルのアイデアを提供します。

これに基づいて、ストーリー システムは、シミュレーション データをプロンプト チェーンの一部として自動的に使用して、最大 14 のシナリオを推測します。

写真

ショーランナー システムは、各シーンのキャラクターのキャストと、エピソード モデルを通じてストーリーをどのように進めるかを担当します。

各シーンはプロット文字（A、B、C など）に関連付けられており、ショーランナーはエピソードの過程でさまざまなキャラクター グループを交互に登場させ、それぞれのストーリー ラインに沿ってユーザーの関心を維持します。

結局のところ、各シーンでは場所、登場人物、会話だけが定義されます。ステージシステムと AI カメラシステムの初期設定後、プロットパターン (例: ABABC) に従ってシーンが再生されます。

各キャラクターの声は事前に複製されており、新しいセリフごとに音声クリップが即座に生成されます。

写真

創造的思考をシミュレートする

前述したように、シミュレーションによって生成されたデータは、最初のプロンプトを作成するユーザーと、LLM と対話してプロンプト チェーンを実行する生成ストーリー システムの両方に革新的な原動力を提供します。

プロンプト チェーニングは、言語モデルに一連の関連するプロンプトを提供することで、進行中の思考プロセスをシミュレートする手法です。場合によっては、各ステップで異なる役割を果たし、前のプロンプトと生成された結果を区別することもあります。

この例では、非順次的な創造的思考プロセスをシミュレートします。

たとえば、サウスパークの 14 の異なるシーンを作成するには、全体の物語の概要を示す一般的なプロンプトから始めて、その後に各シーンの俳優、場所、主要なプロット ポイントを詳細に説明して評価する具体的なプロンプトを続けることになります。

写真

これは、アイデアが複数の、多くの場合は個別のステップを通じて構築され、洗練される人間のブレーンストーミング プロセスを模倣したものです。

LLM の生成力とプロンプト チェーンによって実現される反復的な改良を活用することで、動的で詳細かつ魅力的な物語を効果的に構築できます。

さらに、エピソード モードやドラマティック オペレーター (DrOps) などの新しい概念を検討して、エピソード全体の構造を強化するとともに、各シーン間の一貫性も強化しました。

反転、伏線、サスペンスなどの修辞技法は、手がかり連鎖の一部として評価するのが困難です。文章作成の経験がないユーザーは、これらの修辞技法の有効性と適切な配置を判断するのに同様の困難を感じる可能性があります。

この目的のために、私たちは、これらの番組固有のパターンと比喩を、プロット パターンと DrOps としてキュー チェーンにプログラム的に挿入するプログラム アプローチを提案します。これらのパターンと DrOps は、動作構造、シーン構造、個々の会話のレベルで動作できます。

彼らは、各 IP とフォーマットに固有の劇的な指紋を抽出し、このデータを使用してカスタム SHOW-1 モデルをトレーニングする将来の機会を調査しています。

このデータセットは、総合的な人間からのフィードバックと組み合わせることで、ユーザーと割り当てられた IP 間のトーン、スタイル、エンターテイメント価値をさらに調整できると同時に、進行中のシミュレーションの一部として、高度に適応性のあるインタラクティブなストーリーテリング システムを提供します。

写真

この物語を動かしているのは何者ですか?

このアプローチでは、ストーリー生成プロセスはプロジェクト、ユーザー、GPT-4 が共同で責任を負います。

各プレイヤーには、ストーリー全体の中でどのような役割を果たしてもらいたいかに応じて、独自の長所と短所があります。それぞれの役割は独特であり、貢献度も異なって評価される可能性があります。

シミュレーションでは通常、初期のイノベーション プロセスの基盤となる、基礎となる IP ベースのコンテキスト、キャラクターの履歴、感情、イベント、場所が提供されます。

写真

ユーザーは自身の意図を導入し、エージェントに対して行動制御を及ぼし、生成プロセスを開始するための最初の手がかりを提供します。ユーザーは最終的な識別者としても機能し、プロセスの最後に生成されたストーリーの内容を評価します。

一方、GPT-4 はメインの生成エンジンとして機能し、ユーザーやシミュレーションから受け取ったプロンプトに基づいてシーンやダイアログを作成および推測します。

これは共生的なプロセスであり、参加者それぞれの強みが、一貫性のある魅力的なストーリーの構築に貢献します。

重要なのは、プロンプト チェーンの形式での当社のマルチステップ アプローチにより、チェックとバランスも提供され、望ましくないランダム性の可能性が軽減され、IP ストーリーワールドとの一貫性の高い整合が可能になることです。