テンセントがキング・オブ・グローリーAIの最新情報を公開、トッププロ選手を一騎打ちで圧倒

[[286697]]

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

最新ニュースでは、テンセントが王者栄耀AI「Juewu」に関する新しい論文を発表し、トップAIカンファレンスAAAI 2020に選出された。

テンセントがAIの技術的詳細を公開したのは、今年8月にJuewuが5対5の試合でプロチームを破って以来初めてだ。

テンセントの研究者によると、AIのアクション実行時間をアマチュアの名人プレイヤーと同じレベル（133ms間隔）に制限することで、Juewuはシングルでトップのプロプレイヤーに挑戦し、彼らが得意とするヒーローで彼らを打ち負かすことができたという。15回のゲームで、プロプレイヤーは1回しか勝てず、8分も持たなかった。

今年 8 月の公開テストでは、この King of Glory 1V1 AI が多数のトップアマチュア プレイヤーと 2,100 回のゲームをプレイしました。 AIの勝率は99.81%に達しました。

Diao Chan（メイジ）、Di Renjie（シューター）、Hua Mulan（トップレーン/ウォリアー）、Luna（ジャングラー/アサシン）、Luban（シューター）などのヒーローの勝率は100％です。

このような AI はどのようにトレーニングされるのでしょうか?テンセントの最新論文で明らかにされた最新の詳細を見てみましょう。

キングレベルに到達するには30時間、プロプレイヤーレベルに到達するには70時間

まず、テンセントの新しい論文は5対5のゲームAIではなく、1対1のゲームAIに焦点を当てていることを指摘しておく必要があります。

研究者らは論文の中で、後者は単一のエージェントの行動決定よりも、すべてのエージェントのチームワーク戦略に重点を置いていると説明した。

これを考慮すると、1対1のゲームはゲームにおける複雑な行動決定問題を研究するのに適しており、ゲームAIエージェントの構築をより包括的かつ体系的に研究するためにも使用できます。

AI の全体的なアーキテクチャは、強化学習学習器 (RL 学習器)、人工知能サーバー (AI サーバー)、ディスパッチ モジュール、メモリ プールの 4 つのモジュールに分かれています。

これは、データ並列処理を構築するために使用できる、拡張性が高く結合度の低いシステム アーキテクチャです。主な考慮事項は、複雑なインテリジェントエージェントのアクション決定問題によって、高分散の確率的勾配が導入される可能性があるため、トレーニングを高速化するには、より大きなバッチサイズを使用する必要があるということです。

このうち、AI サーバーは AI モデルと環境間の相互作用を実装します。配布モジュールは、サンプルの収集、圧縮、送信を行うワークステーションです。メモリ プールは、RL 学習者にトレーニング例を提供できるデータ ストレージ モジュールです。

これらのモジュールは分離されており、柔軟に構成できるため、研究者はアルゴリズムの設計と環境ロジックに集中できます。このようなシステム設計は、他のマルチエージェント競争問題にも使用できます。

強化学習学習器では、1対1ゲームにおけるアクションの依存関係をモデル化するためのアクター・クリティック・ニューラル・ネットワークも実装しました。

ゲーム内の複数のシーンの決定に対処するために、研究者らはより効率的なトレーニングを実現するための一連のアルゴリズム戦略も提案しました。

• AI が戦闘中にターゲットを選択できるように、ターゲット アテンション メカニズムが導入されています。
• LSTMはヒーローのスキル発動の組み合わせを学習するために使用され、AIは順次意思決定で大量のダメージを素早く出力できます。
• これは、アクションの依存関係を分離して、マルチラベルの近似ポリシー最適化 (PPO) 目標を構築するために使用されます。
• 強化学習中の探索を導くために、ゲーム知識に基づいた剪定方法が開発されました。
• トレーニングに大規模で偏ったデータ バッチを使用する際に収束を確実にするために、改良された PPO アルゴリズムではデュアル クリップ PPO を提案しています。その概略図を以下に示します。

研究者らは論文の中で、この英雄育成法では、48枚のP40 GPUカードと1万8000個のCPUコアを使用し、1日の訓練が人間の500年分の訓練に相当すると指摘した。30時間の訓練で王のレベルに到達でき、70時間の訓練でプロのプレイヤーと同等のレベルに達することができる。その性能は、多くのベースライン方法よりも大幅に優れている。

そして、前述したように、人間のプレイヤーとのテストでは非常に印象的な結果を達成しました。

このAIについてもっと詳しく知りたい方は、記事の最後に論文のリンクを貼っておきますね〜

テンセントAIラボと天美スタジオもオープンプラットフォームを構築している

2018年12月に発表されたHonor of Kings AI論文の著者ユニットと比較すると、今回はHonor of Kingsの開発チームである「Tianmei Studio」が追加されています。

研究に加え、Tencent AI LabとHonor of Kingsは共同で「Enlightenment」AI+ゲームオープンプラットフォームも立ち上げる予定。

Honor of Kingsはゲームデータ、ゲームコアクラスター（Game Core）、ツールを公開し、Tencent AI Labは強化学習と模倣学習のコンピューティングプラットフォームとコンピューティングパワーを公開し、大学や研究機関を招いて関連するAI研究を共同で推進し、定期的なプラットフォーム評価を通じてマルチエージェント意思決定研究能力を実証します。

現在、「Kaiwu」プラットフォームは大学で内部テストを開始しており、2020年5月に大学テストに全面的に開放される予定です。テスト環境では、1v1や5v5などの複数のモードをサポートしています。

テンセントは、2020年12月にHonor of Kingsで初のAI能力テストを開催する予定であることを明らかにした。