機械学習が戦略ゲームを改善する方法

[[390356]]

ポジティブなゲーム体験を生み出すために、ゲームデザイナーはゲーム内のバランスを繰り返し調整することがよくあります。

1. テストユーザーによる数千回のゲームセッションによるストレステスト
2. フィードバックを統合してゲームを再設計する
3. ゲームテスターとデザイナーの両方が満足するまで、手順 1 と 2 を繰り返します。

このプロセスは時間がかかるだけでなく、明らかな欠点もあります。ゲームが複雑になるほど、小さな欠陥が見過ごされやすくなります。ゲーム内に複数のプレイ可能なキャラクターと多数の相互に関連するスキルがある場合、バランスを取るのはさらに難しくなります。

本日は、ゲームバランスを調整するゲームテスターとして機能するモデルをトレーニングするための機械学習 (ML) アプローチを紹介し、デジタル カード ゲームのプロトタイプである Chimera でこのアプローチを実演します。以前、同じテストベッドを使用して ML で生成されたアートも実演しました。この ML ベースのゲーム テスト方法では、トレーニングされたエージェントを使用して何百万ものシミュレーションを通じてデータを収集し、ゲーム デザイナーがゲームをより面白く、バランスの取れた、設計上の期待に沿ったものに効率的に作成できるようにします。

キメラ

https://www.youtube.com/watch?v=hMWjerCqRFA&t=239s

キメラ

私たちが開発した Chimera は、開発中に機械学習に大きく依存したゲーム プロトタイプです。ゲーム自体については、可能性の空間を広げるルールを特別に設計し、従来の人工的に構築された AI でゲームをプレイすることが困難になるようにしました。

Chimera のゲームプレイは、プレイヤーによって強化および進化させることができるハイブリッド生物であるキメラ (神話上の生物) を中心に展開されます。ゲームの目的は、相手のキメラを倒すことです。ゲームデザインの重要なポイントは次のとおりです。

• プレイヤーは次のことができます:

1. クリーチャーを攻撃（攻撃ステータスを使用）または攻撃される（体力ステータスを減少）ように制御します。
2. 呪文を使用して特殊効果を作成します。

• クリーチャーは限られた容量のバイオームに召喚され、物理的にテーブルスペースに配置されます。各モブには優先バイオームがあり、間違ったバイオームや容量を超えるバイオームに配置された場合は、重複したダメージを受けます。
• プレイヤーはキメラを操作します。キメラは基本的な「卵」の状態から始まり、生き物を吸収することで進化し、強化されます。これを行うには、プレイヤーはさまざまなゲームメカニズムを通じて一定量のリンク エネルギーを獲得する必要もあります。
• プレイヤーが対戦相手のキメラの体力を 0 に減らすとゲームは終了します。

キメラの遊び方を学ぶ

Chimera は、状態空間が大きい不完全情報カード ゲームであり、ML モデルの学習が困難になることが予想されます。そのため、私たちの目標は、比較的単純なモデルを作成することです。私たちのアプローチは、畳み込みニューラル ネットワーク (CNN) をトレーニングして、囲碁のプレイ状態に応じて勝利の確率を予測する、AlphaGo などの初期の囲碁エージェントが使用したアプローチにヒントを得ています。ランダム移動ゲームで初期モデルをトレーニングした後、エージェントを自分自身と対戦するように設定し、新しいエージェントのトレーニングに使用できるゲーム データを繰り返し収集します。反復するたびに、トレーニング データの品質が向上し、エージェントのゲーム能力が向上します。

トレーニングが進むにつれて、MLエージェントのパフォーマンスは、人間が構築した最高のAIと比較してどのように変化するか：初期のMLエージェント（バージョン0）はランダムに動く

アルファ碁

https://deepmind.com/research/case-studies/alphago-the-story-so-far

モデルが入力として受け取る実際のゲーム状態表現については、「画像」エンコーディングを CNN に渡すと最高のパフォーマンスが得られ、すべてのベースライン手続き型エージェントや他の種類のネットワーク (完全接続など) よりも優れていることがわかりました。モデル アーキテクチャは、CPU 上で妥当な時間内に実行できるほど小さいものが選択されました。これにより、モデルの重みをダウンロードし、Unity Barracuda を使用して Chimera ゲーム クライアントでエージェントをリアルタイムで実行できるようになりました。

ニューラルネットワークのトレーニングのためのゲーム状態表現の例

ユニティバラクーダ

https://github.com/Unity-Technologies/barracuda-release

ゲーム AI の決定に加えて、ゲーム中にプレイヤーが勝つ確率の推定値を表示するためにもモデルを使用します。

キメラのバランス調整

シミュレーション手法では、同じ時間内に、実際のプレイヤーよりも何百万も多くのゲームを完了できます。最もパフォーマンスの高いエージェントからゲームデータを収集した後、分析により、私たちが設計した 2 つのプレーヤー デッキ間に不均衡があることが明らかになりました。

まず、回避リンク生成デッキの呪文とクリーチャーは、プレイヤーのキメラを進化させるための追加のリンクエネルギーを生成します。また、クリーチャーが攻撃を回避できるようにする呪文も含まれています。対照的に、ダメージヒールデッキには、さまざまな強さのクリーチャーと、軽微なダメージを与えることよりも治癒に重点を置いた呪文が含まれています。これら 2 つのデッキは同等の強さになるように設計しましたが、Evasion Link Gen デッキは Damage-Heal デッキに対して 60% の勝率を達成しました。

バイオーム、クリーチャー、呪文、キメラの進化に関連するさまざまな統計を収集したところ、すぐに 2 つの結果が浮かび上がりました。

1. キメラを進化させると大きな利点が得られます。キメラを進化させたエージェントが多いほど、ゲームに勝つ可能性が高くなります。しかし、ゲームあたりの平均進化数は私たちの期待を満たしませんでした。これをよりコアなゲームメカニクスにするために、使用戦略を維持しながら、全体的な平均進化回数を増やしたいと考えています。
2. T-Rex の生き物は強すぎます。その出現は勝利と強く相関しており、間違ったバイオームや混雑したバイオームに召喚した場合のペナルティに関係なく、モデルは常に T-Rex を選択します。

これらの分析結果に基づいて、ゲームにいくつかの調整を加えました。

1. キメラの進化がゲームの中核となるメカニズムであることを強調するため、キメラを進化させるために必要なリンクエネルギーを 3 から 1 に減らします。
2. また、T. レックスのクリーチャーに「クールダウン」期間を追加し、あらゆるアクションから回復するのにかかる時間を 2 倍にしました。

更新されたルールで自己プレイのトレーニング手順を繰り返すと、これらの調整によってゲームが予想どおりの方向に進むことがわかりました。つまり、ゲームあたりの平均進化数が増加し、T レックスの優位性が徐々に弱まりました。

バランス調整前と調整後のティラノサウルスの影響の比較の例: このグラフは、デッキが特定の呪文の相互作用を開始したときに勝った (または負けた) ゲームの数を示しています (例: 「回避」呪文を使用してティラノサウルスを強化する)。左: 変更前は、ティラノサウルス・レックスが、すべてのチェック基準 (生存率が最も高く、ペナルティに関係なく召喚される可能性が最も高く、勝利時に吸収されるクリーチャーが最も多かった) に大きな影響を与えていました。右：変更後、ティラノサウルス・レックスは以前よりもずっと弱くなった

ティラノサウルスの弱体化により、Evasion Link Gen デッキの強力なクリーチャーへの依存度が減少することに成功しました。それでも、2 つのデッキの勝率は 50/50 ではなく、60/40 のままです。個々のゲーム ログを徹底的に調査した結果、ゲームプレイの戦略性が期待よりも低いことがよくあることがわかりました。収集したデータを再度検索したところ、変更が必要な領域がさらにいくつか見つかりました。

まず、両プレイヤーの初期体力と、回復呪文で回復できる体力の量を増やしました。これは、より長いプレイ時間とより多様な戦略の開発を促進するためです。特に、これにより、ダメージ回復デッキは回復戦略を使用するのに十分な時間生き残ることができます。設計通りの召喚と戦略的なバイオーム配置を奨励するために、間違ったバイオームや混雑したバイオームにモブを配置した場合のペナルティを増やします。最後に、いくつかの小さな属性調整により、最強のクリーチャーと最弱のクリーチャーの間の差を縮めます。

新しい調整が行われ、両方のデッキの最終的なゲームバランスデータは次のようになりました。

結論は

通常、新しいプロトタイプ ゲームの不均衡を見つけるには、数か月のプレイテストが必要になることがあります。この新しいアプローチにより、潜在的な不均衡を特定できるだけでなく、数日以内に調整を行って改善することもできます。

比較的単純なニューラル ネットワークでも、人間や従来のゲーム プレイ AI と競合できる高いレベルのパフォーマンスを発揮できることがわかりました。これらのエージェントは、新しいプレーヤーの指導や予期しない戦略の発見など、他の目的にも使用できます。この研究が、ゲーム開発における機械学習の利用の可能性をさらに探求するきっかけとなることを願っています。