大規模言語モデルに基づくインテリジェントエージェントのモデリングとシミュレーション：レビューと展望

この記事は、Heart of Autonomous Driving の公開アカウントから許可を得て転載したものです。転載については出典元にお問い合わせください。

12 月 23 日の論文「大規模言語モデルによるエージェントベースのモデリングとシミュレーションの強化: 調査と展望」は清華大学からのものです。

エージェントベースのモデリングとシミュレーションは、複雑なシステムをモデリングするための強力なツールとして登場し、さまざまなエージェント間の新たな動作や相互作用に関する洞察を提供します。大規模言語モデルをエージェントベースのモデリングとシミュレーションに統合すると、シミュレーション機能を強化するための有望なアプローチが提供されます。この論文では、エージェントベースのモデリングとシミュレーションにおける大規模言語モデルの展望をレビューし、その課題と将来の有望な方向性を検討します。このレビューでは、学際的な分野であるため、まずエージェントベースのモデリングとシミュレーションの背景と、エージェントを強化するための大規模言語モデルの使用について紹介します。次に、大規模言語モデルをエージェントベースのシミュレーションに適用する動機について議論し、環境認識、人間との調整、アクション生成、評価における課題を体系的に分析します。最も重要なのは、複数のシナリオにおける大規模言語モデルに基づくエージェントモデリングとシミュレーションに関する最近の研究の包括的な概要が示されており、サイバー、物理、社会、およびそれらのハイブリッドの 4 つの領域に分けられ、現実世界と仮想環境の両方のシミュレーションがカバーされていることです。最後に、この分野は新しく、急速に進化しているため、未解決の問題と有望な将来の方向性について議論します。

エージェントベースシミュレーションは、エージェントの単一のエンティティに焦点を当てることで、複雑なシステムに内在する複雑なダイナミクスを捉えます[135]。これらのエージェントは異質であり、特定の特性と状態を持ち、適応的に行動し、文脈と環境に基づいて意思決定を行い、行動をとります[65]。環境は、静的であろうと変化していようと、条件を導入し、競争を引き起こし、境界を定義し、時にはエージェントの行動に影響を与えるリソースを提供します[48]。インタラクションは、環境や他のエージェントとのインタラクションを含み、事前定義されたルールや適応ルールに基づいて現実世界の行動を反映することを目標としています[64, 135]。要約すると、エージェントベースのシミュレーションの基本コンポーネントは次のとおりです。

• インテリジェント エージェントは、インテリジェント エージェント シミュレーションに基づく基本エンティティです。これらは、モデル化されるシステムの個体、エンティティ、または要素を表します。各エージェントには、独自の属性、動作、意思決定プロセスのセットがあります。
• 環境は、エージェントが動作し、相互作用する空間です。これには、物理​​的な空間だけでなく、気象条件、経済の変化、政治の変化、自然災害など、エージェントの行動に影響を与える外部要因も含まれます。エージェントは環境によって制約されたり影響を受けたりする可能性があり、エージェントの相互作用は環境自体に影響を及ぼす可能性があります。
• エージェントは、事前に定義されたメカニズムを通じて、互いに、また環境と対話します。相互作用は直接的（エージェントからエージェントへ）または間接的（エージェントから環境へ、または環境からエージェントへ）に行うことができます。

上記のコンポーネントにより、エージェントベースのモデリングとシミュレーションは、個々の相互作用の観点からマクロレベルの現象とダイナミクスを研究するためのボトムアップの視点を提供します。

幅広い応用分野で現実的なシミュレーションを実現するためには、インテリジェントエージェントは知覚、意思決定、行動の面で以下の能力を持つ必要がある[217]。

• 自律性。エージェントは人間や他のエージェントからの直接的な介入なしに動作できなければなりません。これは、微視的な交通流シミュレーション[131]や歩行者動作シミュレーション[20]などの現実世界のアプリケーションで重要です。
• 社会的なスキル。エージェントは、指定された目標を達成するために、他のエージェント (場合によっては人間) と対話できる必要があります。社会現象、集団行動、社会構造を研究する場合、インテリジェントエージェントの社会的能力が重要になります。これには、ソーシャル ネットワークの形成、意見のダイナミクス、文化の普及などのシミュレーションが含まれます。エージェント間の社会的相互作用は協力的または競争的になる可能性があり、これは市場行動や消費者の意思決定などの経済活動をシミュレートする際に重要です。
• 反応性。インテリジェントエージェントは、環境を認識し、環境の変化に迅速に対応できる必要があります。この機能は、交通管制システムや自動化された生産ラインなど、リアルタイムの応答をシミュレートする必要があるシステムや、効果的な早期警告と避難のためにエージェントが環境の変化に即座に反応する必要がある災害対応シナリオで特に重要です。さらに重要なことは、エージェントは強化学習[126]の考え方と同様に、過去の経験から学び、適応的に応答を改善できる必要があるということです。
• 主導権。インテリジェントエージェントは、環境に反応するだけでなく、主導権を握って目標指向的な行動を示すことができる必要があります。たとえば、インテリジェント エージェントは、スマート アシスタントなどのアプリケーションで積極的にヘルプ、アドバイス、情報を提供し、自動運転ロボットや自動運転車などの分野では積極的に環境を探索し、経路を計画し、タスクを実行する必要があります。

人間と同様に、インテリジェントエージェントは知識と計算能力の限界により完全に合理的な選択を行うことができないことに言及する価値がある[185]。代わりに、不完全な情報に基づいて、最適ではないが許容できる決定が下される可能性があります。この能力は、経済市場[13]や経営組織[162]における人間のようなシミュレーションを実現するために特に重要です。たとえば、消費者行動、市場取引、ビジネス上の意思決定をシミュレートする際にインテリジェントエージェントの限定合理性を考慮すると、実際の経済活動をより正確に反映できます。さらに、組織内の意思決定、チームワーク、リーダーシップをモデル化する場合、限定合理性は実際の職場環境における行動のダイナミクスを明らかにするのに役立ちます。

エージェントベースのシミュレーションにおけるモデリング技術の開発も、知識駆動型手法の初期段階と、データ駆動型手法のより最近の段階を経てきました。具体的には、前者には事前定義されたルールや記号方程式に基づくさまざまな方法が含まれ、後者には確率モデルや機械学習モデルが含まれます。

• 事前定義されたルール。このアプローチでは、エージェントの動作を制御する明示的なルールを定義します。これらのルールは、多くの場合、エージェントが特定の状況や入力にどのように応答するかを指示する論理ステートメントまたは条件ステートメントに基づいています。最も有名な例はセルオートマトン[216]であり、これは単純なローカルルールを使用して、自然界だけでなく複雑な都市システムにも存在する複雑なグローバル現象をシミュレートします。
• 記号方程式。記号方程式は、事前定義されたルールよりも形式的な数学的方法で関係や動作を表すために使用されます。これらには、代数方程式、微分方程式、またはその他の数式が含まれます。典型的な例としては、歩行者の運動シミュレーションで広く使われている社会的力モデル[93]が挙げられる。歩行者の動きは、目的地によって駆動される引力と、隣接する歩行者または障害物からの反発力によって決定されるニュートンのような法則によって駆動されると仮定します。
• 確率的モデリング。このアプローチは、エージェントの意思決定にランダム性と確率を導入し、多くの現実世界のシステムに内在する不確実性と変動性を捉えるのに役立ちます[70]。例えば、人間の意思決定におけるランダム性の影響を考慮するために、離散選択モデルを使用して歩行者の歩行行動をシミュレートすることができます[9]。
• 機械学習モデル。機械学習モデルにより、エージェントはデータから学習したり、環境とのやり取りを通じて学習したりできるようになります。教師あり学習法はエージェントベースモデルのパラメータを推定するためによく使用され、強化学習法は動的環境におけるエージェントの適応性を高めるためにシミュレーション段階で広く使用されています[107、108、160]。

エージェントベースのモデリングとシミュレーションは、多くの分野のシミュレーションで使用される基本的なアプローチですが[135, 65]、依然としていくつかの重要な課題に直面しています。大規模言語モデル対応のインテリジェント エージェントは、エージェント ベースのシミュレーションの要件を満たすだけでなく、図に示すように、強力な認識、推論、意思決定、自己進化の機能を活用してこれらの制限を解決します。

従来のシミュレーション方法と比較して、エージェントベースのシミュレーションはさまざまなルールやパラメータに適応する機能を備えています。

最初の問題は、既存の方法のパラメータ設定が非常に複雑であることです[64、135]。これらのモデルでは、個人の特性から環境要因まで、エージェントの行動に影響を与える変数が多数あるため、これらのパラメータの選択と調整が困難になります。この複雑さはしばしば過度な単純化につながり、真の異質性を描写するシミュレーションの精度を損なう[135]。さらに、パラメータ選択に役立つ正確かつ包括的なデータを取得することも課題です。つまり、さまざまな状況でのさまざまな個人の行動を捉えた現実世界のデータは、収集が限られていたり、困難な場合があるということです。さらに、選択したパラメータを実際の観察結果に基づいて検証し、信頼性を確保すると、さらに複雑さが増します。

第二に、現実世界の個体は非常に複雑であるため、ルールやモデルでは異質性のあらゆる側面をカバーすることはできない[135]。ルールを使用してエージェントの動作を駆動すると、異質性の一部の側面しか捉えられず、広範囲の動作、好み、意思決定プロセスをカプセル化する深みが欠ける可能性があります。さらに、モデル容量の問題として、単一のモデルで異質性のすべての次元をカバーしようとするのは、過度に理想主義的です。したがって、エージェントベースのモデリングとシミュレーションでは、モデルの単純さとエージェントの正確なモデリングのバランスを取ることが重要な課題であり、その結果、エージェントの異質性のいくつかの側面が過度に単純化されたり、直接無視されたりすることになります。

従来の方法とは異なり、LLM ベースのエージェントは、1) 人間のような本質的な認知的複雑さを備えた内部機能のキャプチャ、および 2) プロンプトとコンテキストを通じて学習または微調整された特別なカスタマイズされた機能をサポートします。

エージェントベースのモデリングとシミュレーションの中核は、エージェントが環境にどのように反応し、どのように相互作用するかであり、その場合、エージェントの動作は、人間の知識とルールを持つ現実世界の個人に可能な限り近くなる必要があります。したがって、インテリジェントエージェントを強化するためのシミュレーション用の大規模言語モデルを構築するには、環境を認識すること、人間の知識とルールと一致すること、適切なアクションを選択すること、シミュレーションを評価することなど、4 つの大きな課題があります。

大規模な言語モデルを使用したエージェントベースのシミュレーションの場合、最初のステップは仮想環境または実際の環境を構築し、エージェントが環境や他のエージェントとどのように対話するかを設計することです。したがって、LLM が環境を認識して相互作用するための適切な方法を提案する必要があります。

LLM は多くの面で人間に似た特性を示していますが、LLM ベースのインテリジェント エージェントには特定の領域で必要なドメイン知識がまだ不足しており、その結果、非合理的な意思決定が行われています。したがって、LLM エージェントを人間の知識と価値観、特にドメイン専門家の知識と価値観に合わせることは、より現実的なドメイン シミュレーションを実現するための重要な課題です。しかし、エージェントベースモデリング (ABM) の基本的な特徴であるエージェントの異質性は、従来のモデルにとって利点であると同時に課題でもあります。同時に、LLM は異種エージェントをシミュレートする強力な機能を備えており、制御可能な異種性を保証します。しかし、LLM が個別のシミュレーション ニーズを満たすためにさまざまな役割を果たせるようにすることは大きな課題です。課題に関する議論には、促進プロセスと微調整という 2 つの側面が含まれます。

LLM エージェントの複雑な動作は、現実世界の認知プロセスを反映する必要があります。これには、AIが過去の経験を保持して活用する（記憶）[152、73、241]、結果に基づいて行動を振り返り調整する（反省）[152、181]、人間のワークフローを模倣した一連の相互に関連するタスクを実行する（計画）[213]メカニズムを理解し、実装することが含まれます。

LLM ベースのエージェントの基本的な評価プロトコルは、シミュレーションの出力を既存の現実世界のデータと比較することです。評価は、ミクロレベルとマクロレベルの 2 つのレベルで行うことができます。従来のルールベースまたはニューラル ネットワーク ベースのエージェントと比較した大規模言語モデル ベースのエージェントの主な利点の 1 つは、強力なインタラクティブな対話機能とテキスト推論機能です。

大規模言語モデルによって可能になるインテリジェントエージェントシミュレーションの精度や解釈可能性に加えて、倫理的な問題も非常に重要です。 1 つ目は偏見と公平性です。ここでは、言語、文化、性別、人種、その他の敏感な属性における偏見の模倣を評価し、生成されたコンテンツが社会的偏見を永続させるか緩和するかを評価することが重要です。もうひとつの懸念は、生成 AI の出力は従来の方法に比べて制御が難しいため、有害な出力の検出です。

LLM ベースのエージェントベース モデリングとシミュレーションの一般的なアプリケーション ドメインには、図に示され、以下の表に詳細が示されているように、社会的、物理的、ネットワーク的、およびそれらのハイブリッドが含まれます。

ソーシャルドメインのアプリケーションカテゴリ:

経済分野における応用分野：

物理分野では、LLM エージェント ベースのモデリングおよびシミュレーション アプリケーションには、モバイル動作、輸送、ワイヤレス ネットワークなどが含まれます。

いくつかの研究では、シミュレーションは物理的領域や社会的領域など、複数の領域を同時に考慮しており、これらのシミュレーションはハイブリッド領域と呼ばれます。

オリジナルリンク: https://mp.weixin.qq.com/s/8992tADF0CFS9ycW1jM1vw