Tencent IEG オープンソース AI SDK: PUBG および MOBA ゲームの自動テスト

SDK はゲームを自動的にプレイすることもできますか?この SDK はちょっと「クール」です。

最近、Tencent Interactive Entertainment (IEG) は、開発者が使用できるさまざまなツールをカプセル化した GAME AI SDK と呼ばれる自動テスト プラットフォームをオープンソース化しました。現在、サポートされているゲームの種類には、パルクール、チキンイーティング、シューティング、MOBA などがあります。

プロジェクトアドレス: https://github.com/Tencent/GameAISDK

[[339374]]

SDK (ソフトウェア開発キット) は、一般的に、ソフトウェア エンジニアが特定のソフトウェア パッケージ、ソフトウェア フレームワーク、ハードウェア プラットフォーム、オペレーティング システムなどのアプリケーション ソフトウェアを作成するときに使用できる開発ツールのコレクションです。

ちょっと抽象的な気がします。実際のプロジェクトでは、SDK はモバイル ゲーム チャネルによって提供され、ユーザー ログイン、コミュニティ機能、ソーシャル共有機能、データ バックグラウンド統計機能などの機能モジュールを統合していることを覚えておくだけで十分です。 SDK にアクセスした後、ゲームメーカーとチャンネルは SDK パッケージをテストする必要があり、テストに合格した後にのみオンラインに公開できます。

上記のクールなランニングアニメーション効果を見た後、チキンを食べたり、シューティングゲームを体験してみませんか?このオープンソース プロジェクトは、あなたのニーズを満たすことができます。ユーザーがプロジェクトにアクセスし、二次開発を行うことをサポートします。

AI SDK プラットフォーム

AI SDK プラットフォームは、ゲーム グラフィックスに基づいてゲーム AI を開発するためのオープン ソース ツールキットです。このツールキットは主に、UI 検出、ゲーム内要素認識、AI アルゴリズム (DQN、IM) などの機能を実現します。開発者はこのツールキットに基づいてゲームの自動テストを完了できます。

現在、このプラットフォームはパルクール、チキンイーティング、シューティング、MOBAなどをサポートしています。特定のシナリオでは、手作業を置き換えてゲームシーンを自動化し、ゲームシーンのテストにおける人的投入を削減できます。

ツールキットには主に AI SDK、AI クライアント、SDKTool (構成ファイル ツール) が含まれています。

SDKTool は、特定のゲームに関連する AI SDK に必要な構成ファイルを生成するのに役立ちます。たとえば、ゲームの実行プロセス中は、プロセス全体で、識別する必要のあるアクションインタラクションとゲーム要素を含む UI が必要になります。 AI 開発プロセスで使用される情報は、ゲーム画像（AI クライアントによって取得）またはその他のデータから取得されます。 AI SDK はゲーム UI 操作を自動的に完了し、ゲームシーンに入ることができるため、実際のプレイヤーのように携帯電話を操作してゲームをプレイできます。

機能紹介

GAME AI SDK プラットフォームには次の機能があります。

スキルの状態、ボタンの位置、ターゲットの位置など、ゲームシーン内の主要な特徴データを識別するためのさまざまな画像認識アルゴリズムを提供します。

ゲームシーン AI のトレーニングに直接使用できる、模倣学習と強化学習の AI アルゴリズムを提供します。

一致するサンプル収集および画像注釈ツールを提供します。

AI SDK モジュールの紹介

AI SDK には主に、AI クライアント モジュール、MC モジュール、IO モジュール、UI モジュール、GameReg モジュール、AI モジュールが含まれます。

図 1: AI SDK モジュール図。

AI クライアントは主に携帯電話と対話し、ゲーム画像を取得し、UI または AI によって出力されたアクションを実行します。

IO モジュールは AI クライアントと対話し、AI SDK のデータ入力および出力制御として機能します。

MC モジュールは IO モジュールと対話し、AI SDK バックエンドの UI モジュールと AI モジュールにデータを配布し、ビジネス ロジックの管理と制御を実行します。

UI モジュールは、ゲーム画像に基づいて実行する必要がある UI 操作を識別します。

GameReg モジュールは、ゲーム画像に基づいて、ゲームシーン内の数字、ヘルスバー、ターゲットなどの要素を識別します。

AI モジュールは、識別されたゲーム要素に基づいて、AI アルゴリズムに従ってビジネス ロジックを実行します。

図 2: アーキテクチャ図。

環境の展開

AI SDK でデモを実行するには、まず依存関係をインストールし、次にローカル PC を携帯電話 (または携帯電話シミュレーター) に接続し、AI クライアントを介して携帯電話 (または携帯電話シミュレーター) のゲーム画面をリアルタイムで収集し、AI サービスに送信して処理する必要があります。 AI サービスによって処理されたアクションの結果は、PC に接続された携帯電話にフィードバックされ、アクションのインタラクションが完了します。

図 3: AI SDK と携帯電話間の相互作用図。

デプロイメント依存環境

デプロイメント依存環境には、主に AI SDK、SDKTool (構成ファイル生成ツール)、AI クライアントをインストールするための環境依存関係が含まれます。

このプロジェクトでは、2 つのオペレーティング システムの展開手順を提供します。

Ubuntu: 現在、SDK ツールキットは 16.04 の 64 ビット Ubuntu システムで実行され、使用されるディープラーニング フレームワークは TensorFlow です。したがって、使用する前に、依存する Ubuntu システムと、TensorFlow、OpenCV、protobuf などの対応する依存サードパーティ ツールキットをインストールする必要があります。

環境は主に、nvdia-cuda 9.0、cudnn 7.0、opencv 3.4.2、protobuf 3.2.0、android adb、poster toolset およびその他の依存パッケージに依存します。詳細については、https://github.com/Tencent/GameAISDK/blob/master/doc/environment/InstallStepByStep.md を参照してください。

Windows: SDK パッケージにはインストールする依存関係パッケージ ファイル「requirements.txt」が付属しているため、Windows では「requirements.txt」内の依存関係のみをインストールする必要があります。詳細については、https://github.com/Tencent/GameAISDK/blob/master/doc/environment/SDKToolEnv.md を参照してください。

また、プロジェクトでは、設定ファイルツールSDKツール、プロジェクトアクセス、二次開発およびデバッグ手法についても紹介しています。詳細については、プロジェクトリンクを参照してください。