エージェントは人間のように協力し、「グループチャット」を通じて情報を交換することができます。

インテリジェントエージェントにも「標準マニュアル」が必要です。

MetaGPTと呼ばれる研究では、インテリジェント エージェントの役割を明確に分割し、複数のエージェントが連携して統一された標準化された「通信形式」を採用することを要求することで、インテリジェント エージェントのパフォーマンスが大幅に向上します。

現在、この研究は GitHub で 33.6k 個のスターを獲得しており、トップレベルのディープラーニング カンファレンス ICLR 2024 で口頭発表されました。

一般的に、MetaGPT は人間の分業と協力の方法を模倣し、さまざまなタスクの標準的な操作手順をエージェントの「仕様マニュアル」にエンコードし、異なる役割のエージェントがさまざまな専門タスクを担当します。

たとえば、プロダクト マネージャーの役​​割では Web 検索ツールを使用できますが、エンジニアの役割ではコードを実行できます。

したがって、複数のエージェントが協力してタスクを完了します。

研究者らはエージェントのための「メッセージ共有グループ」も設定し、異なる役割を持つエージェントは「グループ」内の自分のタスクに関連して他のエージェントが送信したメッセージを自由に閲覧できる。

テストの結果、この方法を使用した MetaGPT は、コード補完タスクの公開データセット HumanEval と MBPP でそれぞれ 85.9% と 87.7% という新しい SOTA を達成しました。

この作業はオープンソース化されており、インターネット上の多くのネットユーザーの注目を集めています。

MetaGPT とはどのようなものですか?

この研究は、DeepWisdom チームと、KAUST AI センター、厦門大学、香港中文大学(SZ) 、南京大学、ペンシルベニア大学、カリフォルニア大学バーミンガム校など多くの大学や機関の学者によって共同で提案されました。

大規模モデルの機能が向上し続けるにつれて、大規模モデルに基づくエージェントを使用してさまざまなタスクを解決することへの学界および産業界の関心が高まっています。

複数のエージェントを連携させてドメイン固有の問題を解決する研究はまだ初期段階にあることは注目に値します。既存の研究は主に、ロールプレイングのメカニズムと通信トポロジの設定を通じて、タスクの理解と推論による意思決定能力を強化することに焦点を当てています。ある程度の進歩はあるものの、これらのアプローチは依然として直接対話に依存しており、インテリジェントエージェントの動作に関する標準的な仕様や制約が欠けています。

最近のいくつかの研究では、対話に基づくマルチエージェントシステムは、情報の矛盾、曖昧さ、無効な繰り返しや無限ループなどの問題に直面する可能性があることも指摘されています。

対照的に、ヒューマンワークフローの標準操作手順(SOP)は、関与する役割の分担とトポロジを明確に定義するだけでなく、役割の出力結果の標準仕様も確立します。

研究によると、明確に定義された SOP により、タスク実行の一貫性と正確性が向上し、最終結果が指定された品質基準を満たすことが保証されます。そのため、マルチエージェントコラボレーションの課題に対処するために、研究者は大規模モデルベースのエージェントメタプログラミングフレームワークMetaGPTを設計しました。

MetaGPT では、エージェントが専門家として協力し、高品質の要件ドキュメント、アーキテクチャ設計図、フローチャートなどの構造化された出力を必要に応じて生成する必要があります。

構造化された出力は、単一のインテリジェント エージェントの高レベルの思考チェーンであり、下流の役割に対する明確なセマンティクスと明確な目標を持つコンテキストです。

MetaGPT フレームワークでは、研究者は SOP の概念を、役割の専門化、通信プロトコルの設計、反復的な実行可能なフィードバックの設計に合わせます。

役割の専門化

役割が明確に定義されていれば、複雑な作業をより小さく具体的なタスクに分割できます。

下の図に示すように、異なる職業の役割は、異なる目標と制約、および異なる専門スキルで初期化されます。たとえば、プロダクトマネージャーの役​​割では Web 検索ツールが使用される一方、エンジニアの役割ではコードが実行される場合があります。同時に、各キャラクターはデフォルトで ReAct の動作パターンに従います。

役割の特化により、各エージェントはドメイン内の特定のタスクに集中できるようになり、大規模モデルの出力品質が向上します。

ソフトウェア開発の場合、この分業により、役割の流れを通じて自然言語からプログラミング言語への調整がより巧妙に完了します。論文中の役割アブレーション実験は、この部分の効果をさらに実証しています。

通信プロトコル設計

実際のアプリケーションでは、自然言語は意味的に豊かであるにもかかわらず、その非構造化の性質により、メッセージの送信中に情報が歪んだり、重要なコンテンツが失われたりすることが多々あります。

この問題に対処するために、著者らはエージェントが構造化された出力（ドキュメントや図を含む）と連携して情報の明瞭性と完全性を向上させるように制限しています。この設計を検証するために、著者らは、生成されたコードの実行可能性と生産性指標を通じて、コラボレーションにおける構造化された出力の重要性を強調しながら、さまざまなソフトウェア開発タスクを設計しました。

マルチエージェントコラボレーションのプロセスにおいて、通信効率を向上させるために、MetaGPT はメッセージ共有に基づくパブリッシュ/サブスクライブメカニズムを導入しました。

上の図に示すように、共有メッセージ プールを使用すると、メッセージを直接交換することができ、どのエージェントも、応答を要求したり待ったりすることなく、他のエージェントからのメッセージに透過的にアクセスできます。サブスクリプション メカニズムにより、エージェントは自身のタスクに関連する情報を受け取る可能性が高まり、無関係な詳細に気を取られることがなくなります。同時に、各エージェントは共有メッセージ プールから必要な情報を直接取得して、独自のメモリを形成できます。

実用的なフィードバック

インテリジェント エージェントは、環境からのフィードバックに基づいて自己最適化とアクティブな更新を実行します。これは、インテリジェント エージェントの自律的な意識の現れです。

ソフトウェア開発タスクの場合、MetaGPT はエンジニアのエージェントがコード品質を自動的に最適化するための実行可能なフィードバック メカニズムを設計します。

具体的には、エンジニアが対応するユニット テスト ケースを記述して実行し、観察された実行結果を通じて再帰的に決定を下し、自己プロンプトを実行して自動デバッグを実現します。この設計、テスト、フィードバックの反復プロセスは、ユニット テストが合格するか、再試行の最大回数に達するまで継続されます。

複数のベンチマークにおける新しいSOTA

コード生成機能に関しては、研究者らは HumanEval と MBPP という 2 つの公開ベンチマーク データセットを使用し、Pass@1 メトリックを報告しました。

さらに、70の典型的なソフトウェア開発タスク（ミニゲーム、データ視覚化、画像処理など）をカバーするSoftwareDevデータセットを収集し、複数のインテリジェントエージェントオープンソースフレームワークを比較し、複数のソフトウェア開発タスクの実行可能性と生産効率に関する統計分析と定性的な説明を実施しました。

下の図に示すように、MetaGPT は HumanEval と MBPP の両方のベンチマークで従来の方法よりも優れており、それぞれ 85.9% と 87.7% を達成しています。 GPT-4 の結果と比較すると、MetaGPT は HumanEval データセットで 28.2% の相対的な改善を達成し、実行可能なフィードバック メカニズムの追加により、HumanEval と MBPP はそれぞれ 4.2% と 5.4% 改善されました。

難しい SoftwareDev データセットでは、MetaGPT は実行スコア 3.75 を達成し、4 に非常に近い一方で、実行時間は短く(503 秒) 、生成されるコード行数はベースライン フレームワークに比べて 2.24 倍増加し、コード行あたりに消費されるトークン数は 50% 減少しました。

これらの結果は、マルチエージェントコラボレーションにおける SOP によってもたらされる効率性の向上を強調しています。

ソフトウェア開発タスクにおける MetaGPT の高い実行性と比較的短い実行時間は、実際のアプリケーションにおけるその実用性と効率性を実証しています。

研究者らは、ソフトウェア開発の分野に焦点を当て、さまざまなエージェント フレームワークの機能の定性的な比較を提供します。

彼らは、MetaGPT が複数の形式でファイルを生成できるだけでなく、現在の多くのフレームワークの中で、現実世界のソフトウェア開発プロセスを完全にカバーする唯一のオープンソース フレームワークであることも発見しました。

一般的に、MetaGPT は、メタプログラミングのアイデアを組み合わせ、SOP を埋め込んで、マルチエージェント コラボレーションにおける大規模モデルの機能を強化する新しいマルチエージェント フレームワークです。

ロールの特化、ワークフロー管理、柔軟なメッセージメカニズムにより、汎用性と移植性に優れたマルチエージェントフレームワークを実現します。

反復的なフィードバック メカニズムと組み合わせることで、MetaGPT は複数のベンチマークで SOTA パフォーマンスを実現します。

人間の社会的実践と組み合わされた SOP は、マルチエージェント社会の将来の研究と探究に影響を与え、大規模なモデルに基づいてマルチエージェントフレームワークを調整する初期の試みとも見ることができます。

論文リンク: https://arxiv.org/abs/2308.00352
コードリンク: https://github.com/geekan/MetaGPT