認知科学から進化まで、強化学習における最新の2つのブレークスルーを詳しく説明します

ビッグデータダイジェスト制作

編纂者：李磊、銭天培

近年、深層強化学習 (Deep RL) は人工知能において目覚ましい進歩を遂げ、Atari ゲーム、囲碁、ランダム ポーカーなどの分野で人間に勝利しました。

表現学習と報酬主導の行動を組み合わせることで、深層強化学習は心理学と神経科学の分野で多くの議論を巻き起こしました。

ただし、深層強化学習プロセスでは、多くの場合、大量のトレーニング データが必要になります。このため、ほとんどの人は、これらのアルゴリズムは人間の学習とは根本的に異なる可能性があると考えています。

実際、この懸念は、深層強化学習技術の初期段階でのみ発生します。その後の AI 研究により、ディープラーニング RL システムはより迅速かつ効率的に学習できるようになりました。

この AI 研究において特に興味深く有望な 2 つの技術は、エピソード記憶 (特定のイベントの記憶) とメタ学習 (学習方法の学習) です。

今日は、強化学習に重要な変化をもたらす可能性のあるこれら 2 つの新しいテクノロジーに焦点を当てます。

AI 技術として、エピソード記憶とメタ学習を活用するディープ RL 手法は、特にこれらの技術によって暗示される高速学習パターンと低速学習パターン間の基本的なつながりなど、心理学や神経科学にも応用できます。

強力だが非効率的：深層強化学習の第一波

人工知能 (AI) の研究はここ数年で革命を起こし、ニューラル ネットワークや「ディープラーニング」手法の復活により、画像認識、自然言語処理、その他多くの分野で画期的な進歩がもたらされました。こうした発展は心理学者、心理言語学者、神経科学者の興味をそそっており、彼らは AI の進歩が人間の認知や脳の機能に関する新たな仮説につながるかどうかに興味を抱いています。

この観点から、AI研究の中で特に魅力的な分野は、深層強化学習（ディープRL）です。 Deep RL は、ニューラル ネットワーク モデリングと強化学習を組み合わせたもので、明示的な指示ではなく報酬と罰を使用して学習を促進する一連の手法です。数十年にわたって夢物語だったディープ RL は、過去 5 年間で AI 研究の最も競争の激しい分野の 1 つとなり、ビデオ ゲーム、ポーカー、マルチプレイヤー トーナメント、囲碁やチェスなどの複雑なボード ゲームで人間のパフォーマンスを上回りました。

深層強化学習

強化学習 (RL) は、長期的な報酬の蓄積を最大化する行動ポリシー、つまり状態または状況からアクションへのマッピングを学習する問題に焦点を当てています。最も単純なケースでは、この戦略は状態とアクションをリストするルックアップ テーブルとして表すことができます。複雑なケースでは、戦略を間接的に表現するためにパラメーター化された関数が必要になります。初期（1990 年代）には、これは多層（またはディープ）ニューラル ネットワークを使用して行われていましたが、ディープ ニューラル ネットワークと RL を統合する際に困難が生じました。 2015 年になって初めて、複雑な領域 (Atari ビデオゲームなど) におけるディープ RL のブレークスルーと、それに続くディープ RL の改善と拡張の急速な進歩により、囲碁などの複雑なタスクに適用できるようになりました。

AI 技術として、ディープ RL は心理学や神経科学と特別なつながりがあるようです。ディープ RL の学習主導型メカニズムは、もともと動物の訓練研究からヒントを得たもので、このメカニズムは報酬ベース (ドーパミン生成) の学習神経メカニズムと密接に関連していると考えられています。同時に、ディープ RL はニューラル ネットワークを使用して、一般化と転送をサポートする強力な表現を学習します。これは、生物学的脳の主要な機能と非常によく似ています。これを踏まえると、深層強化学習は、行動科学と神経科学の両方において、人間や動物の学習を研究する人々にとって、豊富なアイデアと仮説の源泉を提供しているように思われます。実際、研究者たちはこれに気づき始めています。

しかし、最新のディープ RL 研究の波では、特定の警告も生じています。まず、ディープラーニング システムは人間とは根本的に異なる方法で学習します。この違いは、人間の学習と深層強化学習のサンプル効率の違いとして現れると主張する人もいます。

サンプル効率とは、学習システムが選択した目標パフォーマンス レベルを達成するために必要なデータの量を指します。この指標からすると、最新のディープ RL システムは確かに人間の学習者とは根本的に異なります。たとえば、Atari のビデオ ゲームやチェスなどのタスクで専門家レベルのパフォーマンスを達成するには、ディープ RL システムでは人間の専門家よりも桁違いに多くのトレーニング データが必要になります。つまり、少なくとも初期のシステムでは、ディープ RL のトレーニングは遅すぎて、人間の学習の適切なモデルを生成することができません。

しかしすぐに、ディープラーニングの研究に大きな革新が起こり、トレーニングデータの量に対する要件が削減され、ディープラーニングのサンプリング効率が大幅に向上し、人間の学習モデルを生成できるようになり、心理学と神経科学の研究の新たな出発点が生まれました。

本稿では、サンプル効率を向上させるための 2 つの主要な方法、エピソード ディープ RL とメタ RL について主に検討します。私たちは、これらの技術がどのように高速な深層強化学習を可能にするか、そしてそれが心理学と神経科学にどのような影響を与える可能性があるかを調査します。

ディープラーニングが遅い理由

高速 RL テクノロジーの重要な出発点は、初期のディープ RL メソッドが非常に遅く、サンプル効率が悪い理由を理解することです。ここでは、2つの主な理由について説明します。この記事の最後で、これら 2 つの理由の関係について再度説明します。

最初の理由は、増分パラメータ調整であり、これは勾配降下アルゴリズムの制限としても理解できます。初期のディープ RL 手法 (AI 研究では現在でも広く使用されています) では、勾配降下法を使用して、感覚入力からアクション出力までのディープ ニューラル ネットワークの曲線を記述していました。一般化を最大限に高め、以前の学習の上書き（「壊滅的な干渉」と呼ばれることもある）を回避するために、この形式の学習中に行われる調整は小さくなければなりません。この小さなステップ サイズの必要性は、初期のディープ RL 手法が低速だった理由の 1 つです。

2 番目の理由は、誘導バイアスが弱いことです。学習理論の基本的な信条は、あらゆる学習プロセスに存在するバイアスと分散のトレードオフです。帰納的バイアスとは、学習プロセス中に機械学習アルゴリズムが特定のタイプの仮説を好むことを指します。学習したパターンに関する学習プロセスの初期の仮定が強いほど (つまり、学習プロセスの初期の帰納的バイアスが強いほど)、学習を完了するために必要なデータは少なくなります (初期の帰納的バイアスがデータ内のバイアスと一致すると仮定した場合)。弱い誘導バイアスを持つ学習プロセスでは、より広範囲のパターン (より大きな分散) をキャプチャできますが、一般的にサンプル効率が低下します。実際、強い帰納的バイアス（入力データに関する狭い範囲の仮説のみを考慮する）が迅速な学習を可能にします。さらに重要なのは、汎用ニューラル ネットワークはバイアスが非常に低い学習システムであるということです。つまり、多くのパラメーター (異なる重み) があり、さまざまな種類のデータに適応する必要があります。つまり、初期のディープ RL モデルで使用されていた汎用ニューラル ネットワークは、サンプル効率が非常に悪く、学習に大量のデータが必要になることが多いのです。

これら 2 つの要因 (増分パラメータ調整と弱い誘導バイアス) が相まって、初期のディープ RL モデルが低速になる原因となっていました。しかし、その後の研究では、これらの両方の要因を軽減することができ、よりサンプル効率の高い方法でディープ RL を学習できることが示されています。以下では、増分パラメータ調整の問題に対処する手法と、弱誘導バイアスの問題に対処する手法の 2 つの具体的な手法について検討します。 AI 分野への影響に加えて、両方の AI 技術は心理学や神経科学とも明らかなつながりがあり、これについては後で詳しく説明します。

エピソードディープRL: エピソード記憶による高速学習

増分パラメータ調整がディープ RL が遅くなる理由の 1 つである場合、1 つの解決策は、そのような増分更新を回避することかもしれません。学習率を最適化するために勾配降下法の制御に単純に頼ると、壊滅的な干渉問題が発生する可能性があります。

最近の研究では、同じ目標を達成するための別のアプローチとして、過去の出来事を明確に記録し、この記録を新しい決定を下すための参照点として直接使用するという方法が示唆されています。エピソード強化学習と呼ばれるこのアプローチは、K 近傍法アルゴリズムなどの機械学習における「ノンパラメトリック」（ターゲット関数の形式について強い仮定を立てない）手法や、心理学の学習理論における「インスタンス」または「例」による指導に似ています。

新しい状況に遭遇し、どのような行動を取るべきかを決定する必要がある場合、プログラムは現在の状況の内部表現と過去の状況の保存された表現を比較します。現在の状況に最も類似した過去の状況に基づいて、関連するアクションが選択されます。多層ニューラル ネットワークを使用して内部状態表現を計算する場合、結果として得られるアルゴリズムを「エピソード ディープ RL」と呼びます。

エピソード RL の成功は、状態の類似性を計算するために使用される状態表現に依存します。その後の研究では、勾配降下学習を使用してこれらの状態表現を形成するとパフォーマンスが向上する可能性があることが示されました。これらの結果は、Atari Learning Environment の 57 のゲームにおけるエピソード RL の優れたパフォーマンスとデータ効率を説明し、低速 (表現) 学習と高速 (推定) 学習を組み合わせる利点を実証しています。

エピソード型ディープ RL では、標準的な増分手法とは異なり、各経験的イベントから得られた情報をすぐに利用して行動を導くことができます。しかし、エピソード ディープ RL は、主に増分学習の速度低下により、初期ディープ RL の低速要因を排除し、高速学習を実行できます。この増分学習は接続重みの段階的な学習であり、システムが新たに観察される状況ごとに有用な内部表現、つまり埋め込みを形成できるようにします。これらの表現の形式は、標準的なディープ RL の基礎となる同じタイプの増分パラメータ更新を使用して、経験を通じて学習されます。最終的に、このより遅い形式の学習により、エピソード的なディープ RL の速度が向上します。言い換えれば、速い学習は遅い学習を通じて達成されるのです。

速い学習が遅い学習に依存するのは偶然ではありません。以下で論じるように、これは AI だけでなく心理学や神経科学にも当てはまる基本原則です。ただし、この一般的な観点を検討する前に、高速ディープ RL の 2 番目の手法であるメタ RL におけるその役割を検討します。

Meta-RL: 学習方法を学ぶことでディープRLを加速する

前述したように、標準的なディープ RL は遅く、増分更新に加えて弱い誘導バイアスの影響を受けます。バイアスと分散のトレードオフの概念で説明されているように、高速学習には、学習するパターンの構造に関する適切な数の仮定が必要です。仮説をより細かく（狭く）設定するほど、学習は速くなります。しかし、前述したように、問題があります。狭い仮説セットでは、正しい仮説が含まれている場合にのみ学習速度が向上します。強い帰納的バイアスは学習を加速させることができますが、これは学習者が採用した特定のバイアスが学習教材と一致する場合にのみ機能します。したがって、ここで新たな学習問題が生じます。学習者はどのような帰納的バイアスを採用すべきかをどのように知るのでしょうか?

この質問を見ると、すぐに思い浮かぶ答えは、過去の経験から学ぶということです。どうやら、これが私たちの日常生活で起こっていることのようです。たとえば、新しいスマートフォンの使い方を学ぶこと。この場合、スマートフォンやその他の関連デバイスに関する過去の経験を利用して、新しい電話がどのように動作するかを推測したり、電話の操作方法の検討をガイドしたりすることができます。これらの初期の仮定は、バイアスと分散のトレードオフにおける「バイアス」に対応し、迅速に学習する能力に影響を与えます。こうした初期バイアスのない（つまり「分散」が高い）学習者は、携帯電話の操作についてより幅広い仮説を考慮しますが、学習速度が犠牲になります。

過去の経験を活用して新しい学習を加速することを、機械学習ではメタ学習と呼びます。実際、この考え方は心理学から来ており、「学び方を学ぶ」と呼ばれています。この用語は心理学の研究論文で初めて登場し、著者のハーロウは、この用語を最もよく表す実験を示しました。実験では、サルのグループが2つの見慣れない物体の前に置かれ、そのうちの1つを拾うように指示されました。

物体の下には食べ物のご褒美があるかもしれませんし、空かもしれません。次に、2 つの物体を再びサルの前に配置しますが、位置は逆になることもあり、このプロセスが 6 ラウンド繰り返されます。次に、2つの新しい未知の物体がサルに提示され、前の試験が6回繰り返されました。オブジェクトの置き換えなどを繰り返します。テストの回数が増えるにつれて、サルたちは単純なルールを発見することができた。それは、物体が左側に置かれても右側に置かれても、常に一つの物体の下には餌があり、別の物体の下には餌がないというルールだった。そのため、新しい物体のペアを与えられたとき、サルはたった 1 回の試行でどちらを選択すればよいかを知りました。これは、学習方法を学ぶためのシンプルで鮮明な例です。

さて、機械学習に戻ると、新しい研究では、メタ学習を使用してディープラーニングを加速する方法が示されており、このアイデアを実装する方法はすでに数多くあります。そのようなアプローチの 1 つは、神経科学と心理学に特別な関連性があります。このアプローチでは、一連の相互に関連する RL タスクに基づいてリカレント ニューラル ネットワークがトレーニングされます。

ネットワーク内の重みは、タスク間の共通性を反映するように非常にゆっくりと調整されますが、単一のタスクの解決に使用できるほど速く変更することはできません。この場合、再帰型ネットワークのアクティブ状態は、過去のタスクから生成された知識に基づいて各新しいタスクを迅速に解決する独自の RL アルゴリズムを実装できます。つまり、1 つの RL アルゴリズムが別のアルゴリズムを生成するため、「メタ RL」という名前が付けられています。

エピソード的なディープ RL と同様に、メタ RL も高速学習と低速学習の密接な関係に関係しています。再帰ネットワークの重みはタスク間でゆっくりと更新され、タスク間の共通情報が再帰ネットワークの状態に「組み込まれる」ようになります。結果として生じるネットワークの状態の変化により、学習が遅い基礎プロセスが有用な帰納的バイアスを与えるため、新しいクラスの学習アルゴリズムが可能になり、新しい問題を迅速に解決できるようになります。これは、速い学習が遅い学習から生まれ、遅い学習によって速度が達成されるもう 1 つの例です。

エピソードメタRL

注意！上記で説明した 2 つの手法は相互に排他的ではありません。実際、最近の研究では、メタ学習とエピソード制御を統合して相互に補完できることが示されています。エピソードメタRLでは、前述のように、再帰型ニューラルネットワークでメタ学習が行われます。これに重ね合わされているのがエピソード記憶システムであり、その役割はリカレントニューラルネットワークの活動パターンを復元することです。エピソードディープ RL と同様に、エピソード記憶は、現在のコンテキストに基づいて照会できる過去のイベントのセットをカタログ化します。ただし、Episodic Meta-RL は、コンテキストを評価と関連付けるのではなく、それらを再帰ネットワークの内部または隠れたユニットから保存されたアクティビティ パターンに接続します。これらのパターンは、メタ RL を通じて、エージェントが単一のタスクとの対話から学習した内容を要約するため重要です。エピソードメタRLでは、エージェントが過去と同様の状況に遭遇すると、以前に学習した情報が現在のポリシーに影響を与えるようになります。実際には、エピソード記憶により、システムは以前に遭遇したタスクを認識し、保存された解決策を取得できるようになります。

Ritter らは、「バンディット意思決定」タスクとナビゲーションタスクをシミュレートすることで、通常のメタ RL と同様に、エピソードメタ RL が強力な帰納的バイアスを学習し、新しいタスクを迅速に解決できるようになることを発見しました。さらに重要なのは、過去の同様のタスクに遭遇した場合、エピソードメタRLは以前に生成されたソリューションを即座に取得して復元するため、再学習の必要がなくなることです。初めて新しいタスクに遭遇したとき、システム速度はメタ RL の高速性から恩恵を受けます。その後新しいタスクに遭遇したとき、システム速度はコンテキスト制御によって付与されるワンショット学習能力から恩恵を受けます。

神経科学と心理学への影響

この記事の冒頭で述べたように、サンプルの非効率性の問題により、ディープラーニングと人間や他の動物の学習との類似性に疑問が投げかけられています。心理学と神経科学の観点から見ると、エピソード的なディープ RL とメタ RL の重要な意味は、ディープ RL が実際には遅くないことを示すことによってこの懐疑論を払拭することです。この論文では、ある程度、深層強化学習は人間と動物の学習の候補モデルになり得ると主張しています。しかし、この点を超えて、エピソード的なディープ RL とメタ RL の詳細は、心理学と神経科学におけるいくつかの興味深い新しい仮説も示唆しています。

1 つ目は、エピソード的なディープ RL です。私たちはすでに、人間の記憶に関する古典的なインスタンスベースの学習モデルとの興味深い関連性を指摘しました。エピソード RL は、インスタンスベースの処理が報酬主導型学習をどのように促進できるかについての可能な説明を提供します。興味深いことに、動物と人間における強化学習に関する最近の研究では、エピソード記憶の潜在的な貢献がますます認められており、状態と行動の価値の推定は、特定の過去の行動と結果の観察に関する検索された記憶に基づいていることを示唆する証拠があります。

メタ強化学習に目を向けると、心理学と神経科学にも注目すべき潜在的な影響があります。いくつかの研究では、メタ RL の要素から神経構造と機能への直接マッピングが提案されています。一連のコンピューターシミュレーションにより、メタRLは行動と神経生理学におけるさまざまな経験的発見を説明できることが示されました。

高速 RL と低速 RL: より広範な影響

エピソード強化学習とメタ強化学習の議論では、高速でサンプル効率の高い学習を可能にする「遅い」学習の役割を強調しました。これまで見てきたように、メタ RL では、ゆっくりとした重みベースの学習の役割は、推論を導くために使用できる帰納的バイアスを構築し、新しいタスクへの迅速な適応につながることです。エピソード強化学習のゆっくりとした増分学習も同様です。エピソード RL は本質的に、シナリオまたは状態間の類似性の判断に依存します。遅い学習は状態の内部表現を形成し、どの状態が最も密接に関連しているかについての一連の帰納的バイアスをもたらします。

エピソード強化学習をさらに詳しく見ると、帰納的バイアスが学習したアーキテクチャの一部であることがわかります。エピソード RL では、スムーズネス原則 (類似の状態は通常、類似のアクションを生み出す) を前提としています。この帰納的バイアスは学習には使用されませんが、エピソード RL を定義する学習システムの構造に組み込まれています。現在の AI 用語では、これはメタ RL の「学習バイアス」とは異なり、「アーキテクチャ バイアス」または「アルゴリズム バイアス」の範疇に入ります。

学習を通じて達成されるか、アーキテクチャやアルゴリズムのバイアスを直接手作業で作成することによって達成されるかにかかわらず、現在の AI 研究は、学習を高速化するための有用な帰納的バイアスを見つけることに重点を置いています。実際、後者のアプローチ自体が、人工知能におけるニューラル ネットワーク理論の現在の復活の主な理由です。畳み込みニューラル ネットワークがこの復活のきっかけとなり、画像認識における変換不変性に関連する非常に特殊な構造的バイアスが構築されました。しかし、ここ数年、ますます多くの AI 研究が、多かれ少なかれ、帰納的バイアスの問題に焦点を当てるようになりました。

大まかに言えば、これらの技術の発展は心理学における長年の課題と驚くほど似ています。すでに述べたように、帰納的バイアスが学習される可能性があるという考えは心理学に由来し、心理学研究で時々言及されてきました。ただし、ニューラル ネットワークのメタ学習は、特に RL 設定において、この学習方法の学習プロセスの背後にあるメカニズムと理由を調査するための新しいアプリケーションを提供できます。

心理学、特に発達心理学では、人間にはある種の生来の帰納的偏向があると長い間信じられてきました。しかし、アーキテクチャバイアスの概念とニューラルネットワーク学習アルゴリズムの組み込みバイアスは広く認識されていません。現在のディープラーニングとディープ強化学習の手法はどちらも、心理学の分野でのさらなる研究を促進する可能性のある研究ツールを提供します。

人工知能は学習を通じて獲得した帰納的バイアスと手動で「追加」されたバイアスを明確に区別していますが、生物学的な文脈では、この 2 つにはより一般的な共通点もあることは注目に値します。具体的には、アーキテクチャとアルゴリズムのバイアスは、進化によって駆動されるさまざまな学習プロセスから生じると見ることができます。ここで、進化とは、生涯学習を加速させる構造的およびアルゴリズム的な偏りを徐々に形成する「ゆっくりとした」学習プロセスです。したがって、メタ学習は生涯だけでなく進化においても役割を果たします。興味深いことに、この見解は、進化は真に「一般的な」学習アルゴリズムを選択するのではなく、むしろ脳が進化した特定の環境における規則性を利用するアルゴリズムを選択することを示唆しています。機械学習の最近の発展は、自然選択の進化アルゴリズムを通じてエージェントアーキテクチャと報酬関数を構築する方法に深く踏み込んでおり、これらの新しい発展は神経科学と心理学の探求における関連性を再び証明しています。

結論

急速に成長している深層 RL 研究分野は、表現学習と目標指向行動に重点を置いているため、心理学と神経科学に大きな影響を与えます。本稿では、サンプルの非効率性という明らかな問題を克服し、ディープ RL を「高速」に動作させる新しい形式のディープ RL について説明します。これらの技術は、深層強化学習と心理学や神経科学との潜在的なつながりを強化するだけでなく、エピソード記憶やメタ学習などを通じて、これらの潜在的なつながりをより豊かで多様なものにします。さらに、ディープラーニングの研究は、心理学や神経科学の新たな研究に具体的かつ詳細な指針を提供することが増えています。

私たちが強調してきたように、サンプル効率の高い深層強化学習*** に関する研究の重要な意味は、高速学習は必然的に低速学習に依存し、高速学習のための表現と帰納的バイアスを構築するということです。このような計算弁証法は、脳内の複数の記憶システムとその進化の起源を研究するための理論的枠組みを提供します。しかし、人間の学習には、この論文で説明したもの以外にも複数の相互作用するプロセスが含まれる可能性が高いため、実際の人間の学習に近づくためには、あらゆる深層強化学習モデルでそれらすべてを統合する必要があると主張します。より広いレベルでは、RL における速さと遅さの関係を理解することは、心理学と神経科学にとって重要な意味を持ちます。実際、これは認知科学によって長い間追求されてきたように、人工知能、神経科学、心理学が連携する重要な分野となるかもしれません。

議論する価値のあるいくつかの問題

AI 手法は、サンプル効率の高いディープ RL を、人間が実際に生活しているようなシナリオにまで拡張できるでしょうか。これらの手法は、さまざまな種類の人間の知能の抽象化を生成できるでしょうか。これを実現するには、どのようなトレーニング環境が必要になるでしょうか。

柔軟でサンプル効率の高い人間の学習メカニズムは、現在 AI で研究されているものと関連しているでしょうか。関連している場合、そのニューラル実装はどのようなものですか。現在の AI 技術の焦点である勾配降下学習は脳内で行われるのでしょうか、それとも他のメカニズムが同じ役割を果たしているのでしょうか。

人間の学習者にとって、学習にとって最も重要な帰納的バイアスとは何でしょうか? これらのバイアスは、進化的遺伝や育成を通じてどの程度獲得され、どの程度学習されるのでしょうか?

人間の学習者が非常に効果的である理由の 1 つは、積極的かつ戦略的な情報探索者であることです。では、人間の探究心を構造化し、動機付ける原理とは何でしょうか? また、これらの原理を AI システムで再現するにはどうすればよいでしょうか?

関連レポート:

https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(19)30061-0

[この記事は51CTOコラムBig Data Digest、WeChatパブリックアカウント「Big Data Digest（id: BigDataDigest）」からのオリジナル記事です]

この著者の他の記事を読むにはここをクリックしてください