深層強化学習: 知能機械のトッププレイヤー

ラボガイド

ロボットがゲームの分野でもスーパーマスターになれると想像したことがありますか?あなたの夢を現実にする時が来ました。深層強化学習のトッププレイヤーが登場します!これは、簡単に言えば、コンピューターが人間のようにゲームを学習し、プレイできるようにするという、刺激的で神秘的な分野です。深層強化学習の学習プロセスは、主人公がもはやあなたではなく、インテリジェントなマシンであるという点を除けば、壮大な冒険のようなものです。この冒険の旅の間、機械はさまざまな環境を探索します。探索中、機械はこの世界で生き残る方法を学ぶ必要があります。このプロセスは、小さな新人から始まり、ずっと苦労し、つまずき、最終的に偉大な英雄に成長する伝説の武術物語のようなものです。では、深層強化学習の原理とは何でしょうか?一緒に見てみましょう。

パート01、  ディープラーニング 

深層強化学習は、深層学習と強化学習を組み合わせたものです。深層学習により、機械は複雑な問題を処理できるようになります。まるで機械がスーパー脳を持っているかのように、ディープ ニューラル ネットワークによって、より多くの情報を処理し、よりスマートな決定を下すことができます。これにより、機械は囲碁からスーパーマリオブラザーズ、複雑なビデオゲームまで、幅広いゲームで驚くべきスキルを発揮できるようになります。まずはディープラーニングについて紹介します。

ディープラーニングは、ニューラルネットワークに基づく機械学習手法です。その目的は、複数層のニューロンを組み合わせた計算を通じてサンプルデータの潜在的なパターンを探索し、効率的なデータ処理、データ識別、データ分類などのタスクを実現することです。現在、一般的なディープラーニングの応用分野には、画像認識、自然言語処理、深層強化学習などがあります。

ディープ ニューラル ネットワークは、ディープラーニングの中核コンポーネントです。ニューロンで構成された複数のニューラル ネットワーク層で構成されます。ニューラル ネットワークは、自身の状態に基づいて外部入力情報に応答し、データのインテリジェントな処理を実現します。ニューロンはディープ ニューラル ネットワークの基本単位であり、その設計は自然界の生物学的ニューロンの動作メカニズムを模倣しています。つまり、ニューロンは外部刺激信号を受信して​​興奮し、その信号を内部で処理し、次のニューロンに信号を伝達します。

入力と出力を持つ複数のニューロンがニューラル ネットワークの層を形成し、複数のニューラル ネットワークの層の重ね合わせがディープ ニューラル ネットワークを構成します。浅いニューラル ネットワークと比較して、ディープ ニューラル ネットワークはより複雑な特徴表現を学習し、多くのタスクでより優れたパフォーマンスを実現できます。

ディープ ニューラル ネットワークは通常、複数の層で構成されています。ディープ ニューラル ネットワークでは、ネットワークの前の層の出力が、ネットワークの次の層の入力として使用されます。その中で、外部入力を受け取るネットワーク層は入力層、最終的に結果を出力するネットワーク層は出力層、残りの中間ネットワーク層は隠れ層と呼ばれます。ディープ ニューラル ネットワークのレイヤー間の接続は、ニューラル ネットワーク トポロジと呼ばれる複雑なグラフ構造を形成します。ニューラル ネットワークが深くなるほど、トレーニング可能なパラメーターが多くなり、トレーニング中に必要な計算量も大きくなります。

パート02: 強化学習

次に強化学習を紹介します。

機械学習の手法は、一般的に、教師あり学習、教師なし学習、強化学習の 3 つのカテゴリに分類されます。強化学習は機械学習の重要なタイプとして、継続的な意思決定の問題に対処するためによく使用されます。最初の 2 つの学習方法とは異なり、強化学習は環境との相互作用から独自の戦略を学習して改善することに重点を置いています。強化学習には、エージェントと環境という 2 つの概念が関係します。エージェントは強化学習アルゴリズムの対話型エンティティを表し、環境はエージェントと対話する外部環境モデルを表します。

インテリジェント エージェントの学習モードを図 3 に示します。まず、インテリジェント エージェントは環境を観察し、現在の環境状態 State を取得し、現在の戦略を通じて動作 Action を策定して実行します。エージェントの行動は環境に影響を与え、環境は行動に対してフィードバックを与えます。つまり、エージェントに即時の報酬信号を与えます。報酬。同時に、環境の状態は変化し、次の新しい状態に到達します。エージェントは環境を観察し続け、環境の新しい状態を取得してから、次の行動を策定します。エージェントは環境との相互作用を繰り返し、レイヤーごとのフィードバックに基づいて戦略を継続的に改善し、累積報酬を最大化する探索目標を達成します。

たとえば、インテリジェント マシンの探索プロセスでは、マシンは何をすべきかを指示されるのではなく、試行錯誤を通じて学習します。スーパーマリオのゲームでジャンプするなどのアクションを試みると、スコアの増加などのプラスの報酬が得られる場合もあれば、ゲームキャラクターが傷つくなどのマイナスの報酬が得られる場合もあります。試行錯誤とフィードバックを通じて、機械はさまざまな状況で最善の行動を取ることを徐々に学習します。これは、私たちが現実の生活で同じ間違いを繰り返さないように学習するのと同じです。

強化学習では、過剰適合を回避し、一般化能力を向上させるために、通常、探索と活用の戦略が採用されます。探索戦略とは、より包括的かつ詳細な戦略を学習するために、学習プロセス中に一定の確率で経験したことのないアクションを選択することを指します。戦略を活用するということは、学習プロセス中に一定の確率で実証済みの効果的なアクションを選択し、より高い累積報酬を得ることを意味します。

パート03:深層強化学習

次に、私たちの主役である深層強化学習を紹介しましょう。

深層強化学習は、強化学習と深層学習を組み合わせたものです。ディープニューラルネットワークの計算上および知覚上の利点の助けを借りて、ディープ強化学習アルゴリズムは、複雑な高次元状態空間と高次元アクション空間を持つ環境を探索する能力において大きな進歩を遂げ、状態値とアクション値を解決する能力も大幅に向上しました。深層強化学習ニューラルネットワークは、高次元の入力を受け取り、最適な制御戦略を学習し、環境との相互作用におけるアクションを出力します。リアルタイムの意思決定、インテリジェントロボット、ゲーム理論などの分野で広く使用されています。

Deep-Q-Network (DQN) は、深層強化学習の分野における画期的なアルゴリズムです。このアルゴリズムは、2013 年に DeepMind によって提案されました。深層学習手法と強化学習手法が統合された初めての事例であり、深層強化学習研究の先例を切り開きました。

DQN アルゴリズムは、高次元の状態空間を扱うときに従来の Q 学習アルゴリズムが遭遇する問題を解決するように設計されています。

従来の Q 学習アルゴリズムは、各状態で実行される各アクションに対応する Q 値を記録する SA テーブルを維持します。SA テーブルを照会することにより、インテリジェント エージェントは各状態で最大の値を持つアクションを選択し、インテリジェント エージェントの最適な制御を実現します。

SA テーブルには一定の制限があります。その使用前提は、SA の組み合わせが有限であることです。SA​​ の組み合わせを網羅できない場合、SA テーブルを照会して最適なアクションを選択することはできません。同時に、SA の組み合わせの数が計算能力を超えると、Q テーブルを照会する複雑さも非常に高くなります。

ディープ ニューラル ネットワークには強力なフィッティング機能があります。DQN は Q 学習の考え方を継承していますが、SA テーブルの代わりにディープ ニューラル ネットワークを使用します。

ニューラルネットワークをトレーニングすることで、状態に応じて、対応する状態におけるアクションの値を出力できるようになります。モデルの損失関数は次のとおりです。

写真

ここで、 は Q 値の目標値であり、損失関数は現在の推定 Q 値と目標 Q 値の間のギャップを表します。ネットワークは、勾配降下法を使用して損失関数を最小化することによってトレーニングされます。

注意すべき点は、更新中に Q-Net のパラメータが変化すると の値が変化するが、同時に の値も変化する、つまりモデルが追求する目標 Q 値は変化する状態にあり、不安定であるということです。変化する目標値でネットワークをトレーニングすると、推定値も不安定な状態に陥ります。そのため、DQN アルゴリズムでは別のネットワーク構造である Target-Net が導入されています。 Target-Net のネットワーク構造は Q-Net とまったく同じです。トレーニング プロセス中、DQN アルゴリズムは Q-Net の代わりに Target-Net を使用してターゲット Q 値を生成します。 Target-Net は安定した重みを維持し、Target-Net によって生成されたターゲット Q 値を使用して損失関数を計算します。これにより、ターゲット Q 値の不安定性と発散の問題を効果的に解決できます。 Target-Net は低速更新状態にあります。特定の時間ステップで、Target-Net は Q-Net のパラメータを使用して自身を更新します。

ここで、は Target-Net のパラメータを表し、は Q-Net のパラメータを表し、パラメータは更新振幅を調整するために使用されます。

DQN アルゴリズムは Atari ゲームで優れたパフォーマンスを達成し、その成功により、ディープラーニングと強化学習の統合に関する研究のさらなる発展も促進されました。

パート04. 深層強化学習のための経験再生メカニズム

深層強化学習エージェントの対話型動作は、4 つのタプルとして記録できます。ここで、s は時刻 t の環境状態、a は時刻 t のエージェントのアクション、r は時刻 t の報酬、は時刻 t+1 の環境状態です。相互作用記録を計算することで、ネットワークをトレーニングするための損失関数を取得できます。

従来の Q 学習アルゴリズムは、オンライン更新方式を使用します。各トレーニングでは、現在のインタラクション レコードのみを使用します。トレーニングが完了すると、インタラクション レコードは破棄され、新しいレコードが引き続き収集されます。この方法では、更新が遅くなります。実際、モデルによって毎回収集されたレコードは再利用できます。エージェントのインタラクションによって生成された記録されたサンプルをエクスペリエンス リプレイ プールに保存し、エクスペリエンス リプレイ プールからネットワーク トレーニング用にエクスペリエンスをバッチ収集することで、サンプルの利用率を高め、サンプリング プレッシャーを軽減できます。実際のアプリケーションでは、ネットワークのサンプリングと更新は、十分な量の経験が経験再生プールに保存されたときにのみ開始されます。経験再生プールの容量が上限に達すると、新しいサンプルが保存されるたびに、経験プールに入った最も古いサンプルが先入れ先出し方式で削除されます。

同時に、ゲームシーンなどの連続シーンでは、現在の画面状態が次の瞬間の画面状態に比較的近いため、隣接する 2 つのサンプル間に強い相関関係が生じます。サンプルを順番にサンプリングすると、ネットワーク更新の過剰適合が発生する可能性があります。そのため、エクスペリエンス リプレイ プールでは、サンプリング結果間の相関関係を減らすために、設計にランダム サンプリング方式を採用しています。このランダム サンプリング方式により、モデル トレーニングの効果を高めることができます。

パート05. 要約

近年、深層強化学習は新たなスターのように台頭し、研究ブームを巻き起こしています。同時に、人間の囲碁世界チャンピオンを破ったAlphaGo、DOTA2世界チャンピオンチームを破ったOpenAI Five、トップKPLチームを破ったTencent AI-Juewuなど、研究成果が大手主流メディアで報道されており、深層強化学習はますます驚くべき可能性を示しています。

もちろん、深層強化学習はゲーム分野への応用にとどまりません。自動運転、金融取引、ヘルスケアなど、多くの分野で応用の可能性を秘めています。現在人気のChatGPTでも深層強化学習が使われています。

深層強化学習は、機械をよりスマートにするだけでなく、さらに重要なことに、テクノロジーをより興味深く有益なものにします。将来を楽しみにしながら、深層強化学習がどんな驚きをもたらしてくれるのか見てみましょう。