私はAIとキングオブグローリーを6ラウンドプレイしましたが、精神が崩壊しました

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

今日、AI JuewuとHonor of Kings を6 ゲームプレイしましたが、少しイライラしました。

一度も勝ったことがない？いいえ、スコアは3対3で同点でした。しかも、私はMVPも獲得しました。

それで、なぜ崩壊したのでしょうか?ゆっくりお話ししましょう。

PVP モバイル ゲーム「Honor of Kings」は、メーデー休暇中に新しいプレイ モード「チャレンジ: Absolute Enlightenment」を開始しました。これは、5 人のプレイヤー チームが 5 つの AI と戦うモードです。

「Juewu」はベータ版で勝率が99.8％と聞いており、「King's Rank」の操作レベルを持つ者として、Canyon of Kingsで自分の並外れたスキルを披露する時が来たと感じています。

チャレンジの入り口に入ると、合計5つのレベルがあるレベルクリア型のゲームプレイであることがわかります。レベルが上がるにつれて難易度が上がると思います。

さあ、もう待つ必要はありません。本物のスキルを披露する時間です。

「怖がって」ひるんでしまった子孫たち

まずは第1試合のラインナップについてお話ししましょう。

私たちの側: 孫尚香 (私)、尚官万児、英正、孫策、裴欽虎。

敵: 后羿、李白、関羽、小喬、牛墨。

ゲームが始まる前、私はまだ「Jue Wu」が人間と同じくらい戦略的であるかどうか疑問に思っていました。案の定、私がオンラインになるとすぐに、反対側の Li Bai が Niu Mo を連れてきて私の「Blue Dad」に対抗しました (左上隅の小さなマップを参照)。

この瞬間、私はまだ Jue Wu に対する賞賛に浸っていました。彼はまるで人間のプレイヤーのように見えました。

しかし、この瞬間、さらに予想外のことが起こりました。私は后羿に「騙された」のです。彼は茂みの中にしゃがみ込んで私をじっと見ていたのです... 私の血のほとんどが消費されました。

私が反撃しようとしたとき、真ん中の小喬がまた私を援護に来ました...幸いなことに、私はツバメのように軽く、最初の血を与えるという悲劇を起こさなかった。

私の優雅な足取りのせいか、反対側の子孫が...ピクッとしました！

その後は、展開が鍵だと確信し、安心してミニオンラインをクリアし始めました。チームメイトもとても協力的で、開始3分ですでに7キルを獲得していました。

しかし、チームバトル中、「Juewu」のサポート速度は依然として非常に優れていると言わざるを得ません。

しかし、AIは賞賛に耐えられないかもしれません。チームバトルで、Hou Yiは私がフィールドに入るのを見て、再びぴくっとしました！

最終的にはチームメイトの暗黙の協力により、13分で勝利を収めることができました。

素晴らしいスタート、嬉しいです！

鉄は熱いうちに打て、第2試合を急げ。両チームのラインナップは以下の通り。

我々の側：于吉（私）、嬴政、橘右京、夏侯惇、孫悟空。

敵: 賈洛、孫悟空、大莫、蔡文姫、甘江莫野。

この試合では、私たちの孫悟空が「Juewu」が操る孫悟空を圧倒し、夏侯惇がトップレーンで素晴らしい活躍を見せたおかげで、GalaやGan Jiang Moyeのような長腕モンスターと対峙したにもかかわらず、勝利を収めることができました。

私に「天に飛ばされた」ワンエル

3作目のラインナップから判断すると、すでに難易度が上がり始めています。

私たちの側：小喬（私）、鍾無燕、劉備、狄仁傑、賈洛。

敵: Shangguan Wan'er、Yu Ji、Guiguzi、Sun Ce、Yao。

このゲームの開始時に「Juewu」が採用した戦略は、サポートがミッドレーナーを追跡して兵士の最初の波を素早く排除するという、最近人気が出ている戦術です。

桂谷子は私の鍾無燕がカウンタージャングルをしていることに気づいた後、非常に巧妙に助けに戻ることを選んだことがわかります。

「Juewu」の素早いサポートにより、私たちのJialuoは最初のヘッドを無事に届けました。このシーンは最初のゲームとまったく同じです...結局のところ、私はこのゲームのシューターではなく、その華麗な体の動きを操作することができませんでした...

しかし、この時点でプロンプトが点灯しました -血液サンプルが 1 つ取得されました - 1 。

何？ ！ジュエウの目には、私たち人間は単なる標本に過ぎないのです...

このラウンドは、前回ほどスムーズではありませんでした。約6分経過した時点で、両チームのスコアは55:13:11でした。

実は、私は婉児と対面するのがとても怖いんです。結局のところ、「賢い」婉児の前では、私はただの格好の標的にしかなれないんです。しかし、私はワンエルの「Juewu」作戦にただ驚愕した。

例えば、私のディ・レンジェの体力が低いとき、ワン・アーが突然野生エリアから飛び出してきました。彼女の進路を見ると、それは「一気に人を倒す」一連の動きであるはずです。

彼女の「天国へ133233」が私たち二人を連れ去ってしまうと思ったら、彼女の天国は...実は私によって爆破され...そして彼女は恥ずかしげもなく逃げていったのです！失う！完了しました！

それ以来、私に吹かれることが、ワンエルにとって天国に行くための習慣になったのかもしれません。

私は強いのですが――「みなさん、座りなさい！」

そして約 7 分後、突然システムにプロンプ​​トが表示されました - Juewu AI が集団アップグレードを実行中です... ビープビープ。

ああ、AIの能力が強化されるかもしれないし、ちょっと怖い気がしました。

この瞬間、ゲームは終了しました...はい、私たちは一波でクリスタルを押し倒しました。

申し訳ございませんが、今回は「アップグレード」を体験することはできません。

まあ、ちょっとお腹が張ってるんですよ。

3試合連続で負け、精神的に崩壊した

しかし、その後の道のりは私を一歩一歩崩壊の淵へと導いていきました。

いつものように、まずは第4試合のラインナップを紹介したいと思います。

敵: 老夫子、貂蝉、張飛、李元芳、趙雲。

なぜラインナップを紹介しなかったのか気になりますか？

崩壊の第1話を見てみましょう！

英正、王昭君、小喬、マルコポーロ、于吉。

魔術師と射手のこの「脆弱な同盟」は、私の目をほとんど盲目にしました。

13:30と14分になると、この「人間機械モード」では誰が人間で誰が機械なのかがわからなくなるのは間違いありません。

そして彼はまた、「Juewu」にその強さを嘲笑されました。 「とても静かだ。」

ナレーションもあります:次回は AI のプラグを抜いてみてください...

元気を出して再度出発するか、このレベルに挑戦してください。

このゲームのラインナップは相変わらず良いです: 孫悟空、明世銀、チンギス・ハーン、嫦娥、アンジェラ。

しかし、崩壊の第二波がこれほど早く来るとは誰も予想していなかった。

試合開始時に、Ming Shiyin は AFK になり、「AFK だけでは勝てません」と言いました。

嫦娥もこの考えに賛成した。「あなたが選んだ人は決して勝つことはできない。」

負けを認めたくない私は、「AI は怖くない。ただあなたのようなチームメイトが怖いだけ」と言いました。

もう一度言いますが、それは間違いなく「人間機械」でした。

さあ、もう一度落ち着いて、このレベルの「絶対悟り」に挑戦してみましょう。

今回のラインナップは以下のとおりです。

李元芳、張良、関羽、韓信、そして蔡文姫（私）。

Honor of Kings のゲームでは、負ける理由は何千とあります。今回は、無謀にも負けました。

「Juewu」がすぐに支援してくれるとわかっていても、彼らは戦いに突入しました。「私が地獄に落ちなければ、誰が地獄に落ちるのか？」という彼らの勇気は本当に感動的です。

どれだけミルクを持っていても、チームメイトのミルクにはかないません！それで、また負けました。

これは私がAIを使ってHonor of Kingsを6ゲームプレイしたときの話です。

「Juewu」AI: 30時間で王レベルに到達し、70時間でプロプレイヤーと同等になる

1v1バージョンの「Juewu」は、2018年のKPL秋季決勝戦で初めて登場し、昨年8月には5v5の試合で人間のプロチームを破りました。その強さは侮れません。

「Juewu」の技術的詳細は、昨年末にテンセントがAAAI 2020の最終候補に挙げた論文でも明らかにされた。

まず、テンセントの新しい論文は5対5のゲームAIではなく、1対1のゲームAIに焦点を当てていることを指摘しておく必要があります。

研究者らは論文の中で、後者は単一のエージェントの行動決定よりも、すべてのエージェントのチームワーク戦略に重点を置いていると説明した。

これを考慮すると、1対1のゲームはゲームにおける複雑な行動決定問題を研究するのに適しており、ゲームAIエージェントの構築をより包括的かつ体系的に研究するためにも使用できます。

AI の全体的なアーキテクチャは、強化学習学習器 (RL 学習器)、人工知能サーバー (AI サーバー)、ディスパッチ モジュール、メモリ プールの 4 つのモジュールに分かれています。

これは、データ並列処理を構築するために使用できる、拡張性が高く結合度の低いシステム アーキテクチャです。主な考慮事項は、複雑なインテリジェントエージェントのアクション決定問題によって、高分散の確率的勾配が導入される可能性があるため、トレーニングを高速化するには、より大きなバッチサイズを使用する必要があるということです。

このうち、AI サーバーは AI モデルと環境間の相互作用を実装します。配布モジュールは、サンプルの収集、圧縮、送信を行うワークステーションです。メモリ プールは、RL 学習者にトレーニング例を提供できるデータ ストレージ モジュールです。

これらのモジュールは分離されており、柔軟に構成できるため、研究者はアルゴリズムの設計と環境ロジックに集中できます。このようなシステム設計は、他のマルチエージェント競争問題にも使用できます。

強化学習学習器では、1対1ゲームにおけるアクションの依存関係をモデル化するためのアクター・クリティック・ニューラル・ネットワークも実装しました。

ゲーム内の複数のシーンの決定に対処するために、研究者らはより効率的なトレーニングを実現するための一連のアルゴリズム戦略も提案しました。

• AI が戦闘中にターゲットを選択できるように、ターゲット アテンション メカニズムが導入されています。
• LSTMはヒーローのスキル発動の組み合わせを学習するために使用され、AIは順次意思決定で大量のダメージを素早く出力できます。
• これは、アクションの依存関係を分離して、マルチラベルの近似ポリシー最適化 (PPO) 目標を構築するために使用されます。
• 強化学習中の探索を導くために、ゲーム知識に基づいた剪定方法が開発されました。
• トレーニングに大規模で偏ったデータ バッチを使用する際に収束を確実にするために、改良された PPO アルゴリズムではデュアル クリップ PPO を提案しています。その概略図を以下に示します。

研究者らは論文の中で、この英雄育成法では、48枚のP40 GPUカードと1万8000個のCPUコアを使用し、1日の訓練が人間の500年分の訓練に相当すると指摘した。30時間の訓練で王のレベルに到達でき、70時間の訓練でプロのプレイヤーと同等のレベルに達することができる。その性能は、多くのベースライン方法よりも大幅に優れている。

そして、前述したように、人間のプレイヤーとのテストでは非常に印象的な結果を達成しました。

このAIについてもっと詳しく知りたい方は、記事の最後に論文のリンクを貼っておきますね〜

また、AI「Juewu」にも挑戦し続けます！

ポータル:

https://arxiv.org/abs/1912.09729