強化学習と世界モデルにおける因果推論

1. 世界モデル

「世界モデル」という用語は認知科学に由来しており、認知科学ではメンタルモデルと呼ばれる同等の用語があります。では、メンタルモデルとは何でしょうか?認知科学には、人間の脳内には現実の外界の表現があり、それが世界を理解する上で、特に推論や意思決定において重要な役割を果たしているという仮説があります。

心理学では、メンタルモデルの核となる部分は 2 つあると考えられています。1 つ目はメンタル表現と呼ばれ、脳が現実世界を表現する方法です。2 つ目はメンタルシミュレーションと呼ばれ、脳内で現実世界の動作のシミュレーションを生成することです。ケネス・クレイクは、動的システムの創始者の一人です。彼は、メンタルモデルは世界のイメージ、つまり世界がどのように表現され、機能するかであると信じています。メンタルモデルの研究は前世紀に始まりました。

近年、認知科学の分野では動物を対象とした実験が行われ、動物の脳内には確かに現実世界の表現やシミュレーションが存在することが分かってきました。たとえば、マウスの脳は比較的正確に世界を観察できることが研究でわかっています。具体的には、海馬は世界に対するコードを形成できる脳の一部です。マウスが世界の中で動くと、対応する海馬がその位置をコード化します。海馬コードは、マウスの動きを捉えるだけでなく、活性化コーディングを通じてマウスの状態を識別することもできます。

実験の 1 つでは、まずマウスを環境内で移動させ、同時にいくつかのデータを収集しました。マウスの移動状態はデータを通じてデコードされ、デコードによってマウスの位置を基本的に復元することができました。興味深いことに、マウスが眠っているとき、その脳は完全に休んでいるわけではなく、夢を見るなどの活動が行われている可能性があり、これはメンタルモデルによって説明できます。解読により、マウスが夢を見ているときも、環境内を走っており、おそらく後ろ向きに走っていることがわかります。これは、生物がメンタルモデルを持っていることをある程度示しており、これは生物学的知能の一側面です。

メンタルモデルは、今日話題にしている世界モデルと同じ意味を持ちます。生物学的知能は通常、内部世界モデルの復元に基づいています。

2. 強化学習について

強化学習は、意思決定を扱う機械学習の古典的なサブフィールドです。他の多くの機械学習技術は、予測とパターン認識に関する教師あり学習です。強化学習の目標は、決定方向の意思決定のタスクを完了し、累積報酬を最大化する戦略を学習することです。一方、教師あり学習のトレーニングには、ラベル付けされたデータのバッチが必要です。強化学習では、生物と環境の関係をシミュレートするために、特定の環境におけるインテリジェントエージェントの意思決定を考慮する必要があります。インテリジェントエージェントは、環境内で一連のアクションまたは決定を生成することができます。インテリジェントエージェントが環境内でアクションを実行した後、環境状態の変化と環境フィードバックの報酬を観察します。

強化学習の学習の考え方は、試行錯誤のサンプルから学習することです。図に示すように、強化学習は、開始点から終了点までのいくつかの軌道戦略をランダムにサンプリングして生成します。一部の軌道戦略が他のものよりも優れていることが判明すると、強化学習はデータに基づいて独自の戦略を更新します。更新後、この戦略の効率は高くなります。このように継続的に更新することで、最終的にはより良い戦略に収束します。

強化学習の核心的な問題は、サンプリング効率にあります。完全にランダムなサンプリングの効率は非常に低く、データの利用率が高くなく、学習できる内容もあまり多くありません。そのため、強化学習では大量のサンプリングが必要になり、多くの試行錯誤が必要になります。いわゆる試行錯誤とは、どの場所を通過できないかを推測できた後、モデルの学習能力が不十分なため、間違った軌道で再度試行しなければならないことを意味します。間違った結果が観察されると、モデルはこの場所を通過できないことを認識します。この問題は、強化学習の応用に大きな障害となります。なぜなら、実際には、ほとんどの応用シナリオでは試行錯誤があまり許可されておらず、場合によっては試行錯誤がまったく許可されていないからです。試行錯誤が許可されている条件下でのみ、強化学習のパフォーマンスが向上します。

今日の強化学習は、ゲーム環境では試行錯誤が可能なため、ゲーム環境でうまく機能します。しかし、試行錯誤が不可能な環境になると、強化学習を適用することは難しくなります。したがって、ここでの鍵となるのは、強化学習のサンプル効率をいかに向上させるかです。マウスのような生物からヒントを得ると、実際の環境で走り回った後、マウスは自分の精神世界でトレーニングして学習することができます。マウスは実際に環境とやり取りしなくても、非常によく学習できます。これにより、サンプルの効率が大幅に向上し、適用が非常に便利になります。

強化学習の歴史を通じて、精神世界は研究されてきました。この分野はモデルベースの強化学習、つまりモデルを使用した強化学習と呼ばれます。ここでのモデルとは、特にアプリケーションの問題のモデル化を指します。

より古典的なフレームワークは、1990 年にサウジアラビアによって提案された Dyna アーキテクチャです。このフレームワークでは、環境内での試行錯誤やデータ収集に加えて、ドメイン知識を学習するための特別なステップもあります。知識から直接学習されるのではなく、アクションモデル、ブラックボックスです。その主な機能は、現在の環境が直面している条件を入力として受け取り、次の環境の条件を予測することです。

上の図の右側に示されている強化学習フレームワークと同様に、エージェントは私たちの世界で一連のアクションを実行する必要があり、その後、環境は次の状態が何であるかをフィードバックできます。それでは、エージェントの脳内に、世界がどのように機能するかをモデル化するモデルが存在するのでしょうか?特定のアルゴリズム フレームワークでは、データを使用してモデルを更新する方法が説明されており、戦略を学習するときに、モデルを使用してさらにデータが生成されます。より多くのデータは、精神世界で想像されたデータに相当します。私たちは、これらの想像されたデータを学習に役立てることで、現実環境との相互作用を大幅に削減し、強化学習のサンプル効率を向上させることを期待しています。

世界モデルに関しては、強化学習は数十年にわたって常にモデルベースの方向性を持っていました。 2018 年には、観測された状態を圧縮して表現しようとする研究がありましたが、それは 2 つの部分から構成されていました。1 つは、VAE モデルを使用して高次元の観測の低次元表現を実行し、次に RNN モデルを使用して状態とアクションをモデル化するというものでした。状態入力が低次元表現に圧縮された後、RNN を通じて次の状態が予測され、決定推論が実行されます。この作品では、モデルが何を指しているのかをより明確にするために、著者はそのモデルを世界モデルと呼んでいます。実際、強化学習では、世界がどのように表現され、どのように機能するかをモデル化します。

上の図は J. Pearl の因果ラダーからのもので、因果学習が他の理論とどのように異なるかを説明しています。因果関係の階段の 3 つのレベルは、下から上に向かって、関連性、介入、および反事実です。

因果ラダーは強化学習の観点から理解できます。強化学習アルゴリズムでは、介入が実際に実行されます。さまざまな決定の結果を理解するために、シミュレートされた環境で関連する決定を行うことができます。強化学習では、さまざまな介入下でエージェントに関するデータを収集できます。最上層は反事実的であり、つまり、決定の結果はデー​​タに反映されておらず、どのような結果が生成されるかはわかりませんが、実際のデータを見る前に推測できることが期待されます。強化学習では、モデルが公開されて初めて前例のないデータを生成できるため、これはまさにモデルベースの強化学習に対応します。

図からわかるように、因果学習と世界モデルはどちらも現実世界のモデリングを伴い、世界モデルのモデリングは因果モデルの反事実層にも対応しています。

因果推論と世界モデルの 2 つの理論の定義から、世界モデルは因果関係を使用してモデル化され、環境の変化に対する決定の因果的影響に注意を払う必要があることがわかります。世界モデルが構築された後、意思決定を行う必要がある場合は、アクションと結果の関係を明確に把握する必要があります。例えば、鶏が鳴くことで、あと1、2時間で夜が明けると予測できます。このような相関関係を利用して予測をするのは問題ありませんが、因果関係ではないので、意思決定には役立ちません。鶏を殺した後、日が明るくならないということはあり得ないので、環境を変えたり介入したりすることは不可能です。したがって、決定を下したい場合、因果関係と一致する世界モデルを作成する必要があります。

上記の問題により、因果関係を学習することが非常に困難になります。これは、今日の機械学習技術のほとんどが相関関係を発見することを目的としているためです。言い換えると、教師あり学習では、データが独立しており、同一に分布していると想定されることが多いのです。トレーニングデータと予測データの分布には一定の規則性があると仮定します。ただし、世界モデルは予測には使用されません。その主な目的は、「もしも」のような質問に答えることです。たとえば、株式市場で今日買うと、後で何が起こるでしょうか?買わなかったらどうなりますか？多数の「もし～だったら」の質問に答えることによってのみ、意思決定が可能になります。このような「もし～だったら」という疑問によって、私たちは常にデータを超えた事柄に興味を持つようになり、特に逆方向に作業する場合、別の決定を下した方がよいだろうと常に想定します。

世界モデルは、what if の質問をサポートできます。つまり、世界モデルがどのようなデータから学習したとしても、常にデータを超えた問題に関心を持ちます。したがって、データ分布からデータに関する推論に答えるには、世界モデルを使用する必要があります。したがって、これは今日私たちがよく知っているほとんどのテクノロジーとは異なります。

世界モデルは、意思決定者が別の決定を下すときにその結果に答える必要があります。このような予測は実際には非常に難しく、従来の教師あり学習の前提とは異なります。

3. 環境モデルに基づく強化学習フレームワーク

次に、世界モデルのフレームワークについて説明します。まず、実際のイベントからデータを収集し、環境学習を通じて世界モデルを構築し、世界モデルで強化学習を実行して、より良い戦略を取得します。この戦略は実際の環境に展開されます。特に期待しているのは、この戦略が、さらなる探索なしに環境に直接展開され、より良い決定を下せるようになることです。

世界モデルを構築した後、世界モデルが完璧でなかったり、データから遠く離れているとうまく機能しなかったりする場合でも、世界モデルでより優れた強化学習を行うにはどうすればよいでしょうか。私たちは、強化学習全体をより良く実行できるように、より優れた世界モデルを構築する方法にもっと関心を持っています。多くの複雑な決定、特に現実世界における複雑な決定を下すときに、このテクノロジーを使用して問題を解決することができます。

世界モデルを因果関係と組み合わせることができることを期待しています。因果学習技術を世界モデルに適用すると、世界モデルの学習を向上させることができますか?

当初のアイデアは、因果構造の学習を通じて、世界モデルの構造をより良く発見できるというものでした。世界モデル内の因果関係を持つエンティティの対応するエッジを接続し、因果関係を持たないエンティティのエッジを削除します。これは実はとても単純なことのように思えますが、強化学習でモデルを学習する際、私たちは長い間、完全に接続されたモデルを学習してきました。つまり、前の瞬間のすべての変数が次の瞬間のすべての変数を予測するために使用され、その間の関係にはあまり注意を払っていません。そこに誤った因果関係があると、世界モデルが十分に学習されなくなります。

したがって、より良い因果構造を学習することで、より良い世界モデルを取得できるかどうかを調査します。変数を因果変数とダミー変数に分けます。実際の環境モデルと学習された環境モデルを使用して同じポリシーを評価する場合、パフォーマンスの違いは導入されたダミー変数の数に関係します。除外できる偽の変数が多ければ多いほど、戦略のパフォーマンスは向上します。

また、実験から、因果関係をより適切に復元すると、得られたモデルのパフォーマンスが実際に向上することがわかりました。これは、因果発見を利用してこの世界モデルの構造を表現する方法についてです。

2022年頃には、強化学習による表現学習に本質的に重点を置いた単語モデルの学習に重点を置いた作業が増えます。記事のタイトルには「世界モデル」という用語が明示的に記載されていないかもしれませんが、実際に学習されるのは世界モデルです。基本的な強化学習表現では、世界は時間の経過に応じて状態が変化するエンティティとして捉えられます。ただし、この状態を直接観察することはできず、その一部の表現しか観察できない可能性があります。したがって、決定が実行された後、その決定と前の瞬間の状態が次の瞬間の状態に影響を与えます。この決定は、観察に基づいてどのようなアクションを実行するかを決定するポリシーによって学習されます。古典的な強化学習では、決定は通常、自由変数、つまり個体自身によって選択される変数として扱われます。

同時に、意思決定には報酬が伴います。報酬は、状態の出現に関係する場合もあれば、アクションと次の状態の共同効果に関係する場合もあります。報酬は報酬関数によって決定されます。ただし、複雑な環境に直面すると、観察結果にはタスクにあまり関連しない情報が含まれる可能性があります。そのため、一部の研究では、MDP 状態のタスク情報を分割して、その一部を報酬とは無関係にし、モデリングをより安定させることを検討しています。 ICML 22 の 2 つの関連研究などの最近の研究でも、このモデルをさらに最適化することに取り組んでいます。

一般に、観測される変数は、決定によって影響を受けるもの、決定によって影響を受けないもの、報酬に関連するもの、報酬に関連しないものの 4 つのカテゴリに分類できます。強化学習のその後の段階では、意思決定によって影響を受ける可能性のある報酬の部分を最大化することに重点を置きます。しかし、以前の分解では因果関係の識別可能性が不十分である可能性があることがわかりました。

したがって、私たちの新しい研究では、上記の 4 つの側面がモデリング プロセスに不可欠であることがわかりました。この場合、ブロック単位で識別可能であり、つまり、この構造では 4 つの変数を正しく識別できます。一度特定されると、これに基づいて堅牢な強化学習トレーニングを実行できます。

また、実験から、これら 4 つの側面を正しく分解できれば、次の強化学習ステップを実行するときに、ノイズがない場合、すべての方法が同様に機能することがわかります。しかし、より多くのノイズが導入されると、報酬とは無関係な部分や制御とは無関係な部分を分離することができ、その後の決定がより正確になります。

したがって、世界モデルでは、これらの変数を分解し、変数間の因果関係を提示することが非常に重要です。

前述の研究は主に因果構造に関するものであり、その後の研究はルビンの因果関係の方向に発展する可能性があります。

私たちは、いくつかの実際の設定において因果モデリングエラーの現象を観察してきました。例えば、上の図に示すように、Meituan との提携では、乗客に高い価格を提示すると、乗客の効率性が高まると期待しています。しかし、教師あり学習の結果はまったく逆で、つまり、価格が高くなるほど、ライダーの効率は低くなります。これは明らかに直感に反する。

なぜこのようなことが起こるのでしょうか?強化学習では、デフォルトでアクションは自由変数であると想定しますが、実際に収集されたデータではそうではありません。アクションはポリシーに従って状態から生成されます。したがって、これを自由変数であると仮定すると、この関係を学習しようとするときに暗黙の関係を学習に組み込むことになり、問題が発生します。これは、古典的なシンプソンのパラドックスに直接関係しています。状態間には複数の異なる状態とアクションのマッピングがあり、各マッピングは個別に見ると正しいのですが、すべてのデータを組み合わせると、これは誤った関係であることがわかります。

この問題を解決するために、収集したデータの分布と目標の分布の間のオフセットを調整することで、この問題をある程度軽減する分布補正という古典的な方法が採用されています。

しかし、強化学習の場合、目標が何であるかがわからず、目標はポリシーに依存し、ポリシーはまだ生成されていないため、ターゲット分布は実際には不明確です。したがって、どのターゲット戦略でもより良い分配修正を達成するためには、ターゲット戦略の最悪のシナリオを考慮する必要があります。

これらの修正を行った後、実際の 6 つの都市で、緑色の線が教師あり学習によって抽出された関係を表していることがわかります。 5つの都市では、関係性が間違っていた。つまり、乗客の賃金が高ければ高いほど、効率は低かったのだ。修正後、これらの線はすべて増加傾向を示していることがわかります。したがって、修正された結果は、世界モデルのモデリングに役立ちます。

モデリングを完了した後、6 つの都市で意思決定レベルでより良い結果を達成できることに気付きました。図では、縦線は新しい決定を導入したことを示しています。2 つの異なる都市と地域を比較しています。以前の青い領域は赤い領域と緑の領域の下にありましたが、新しい決定を適用した後、青い領域は緑のコミュニティ ドメインの上に移動し、効率がさらに向上しました。したがって、教師あり学習によって構築されたモデルは実際には効率の低下につながることがわかります。これは実際のランダムデータに基づいた実験結果です。ランダムなデータを収集するのはコストがかかるため、実際のビジネスでは実際の環境で試行錯誤を行うことは望ましくありません。教師あり学習モデルを使用すると、パフォーマンスは実際にはランダムなアプローチよりも悪くなることがわかります。より優れたモデリングにより、ランダムな方法よりも優れた結果を達成できます。したがって、このプロセスでは因果関係の修正が重要です。

次に、最新の研究成果を紹介します。この研究では因果学習技術を直接使用していませんが、世界モデルをより良く学習できれば、これまで十分に発見されていない強化学習に関連する何らかの情報が見つかるのではないかと考えました。

私たちが最初に Taobao と協力し、強化学習を適用し始めたとき、世界モデルを正常に学習できなければタスクは達成されないことに気付きました。この学習プロセスの中で、私たちは「なぜ一般化を達成できるのか？」という疑問を抱きました。なぜなら、私たちは常に、データセットに存在しない「what if」の質問に答えられるモデルを期待しているからです。では、どのような原則によってこれらのデータを超えて一般化できるのでしょうか?

ショッピングのシナリオを例にとると、プラットフォームを戦略、つまりエージェントと見なし、ショッピングをする顧客を環境と見なします。ワールドモデルには買い物をする多数の仮想顧客を含める必要があるため、すでにデータを収集している推奨ケースに加えて、目に見えないデータに関する質問に答えようとしたときにシステムがどのように機能するかに焦点を当てます。私たちが検討したアイデアの 1 つは、ここには人間が関与しているので、それをエージェントとして考えることができるというものでした。エージェントであるため、何らかの報酬を最大化することに基づいて行動上の決定を行う必要があります。

言い換えれば、私たちの環境は強化学習を通じて学習する必要があるエージェントとして見ることができます。ショッピングのコンテキストでは、このビューの方が直感的かもしれません。私たちの周囲には人がいるので、その人の背後には報酬と動機があると想定できます。データから直接観察した場合、そのデータを他のシナリオに一般化することは困難です。

しかし、このエージェントの背後にある報酬を学習できれば、他の目に見えないシナリオに直面したときに、この報酬を最大化することで消費者行動データを直接生成することができます。このデータがエージェントに関する想定と一致する場合、未知のシナリオでデータを生成し、データの一般化を実現できます。このような報酬をダイナミクス報酬と呼びます。

その後、この仮定は人間だけでなく、機械環境などの他の環境にも当てはまることがわかりました。そこで、限られたデータから世界モデルの背後にある報酬関数を回復し、この報酬関数を使用してより多くのデータを生成する技術を開発しました。

これは、冷蔵庫の温度を制御してコンプレッサーの制御を調整する単純なシナリオです。コンプレッサーが圧力を上げると、温度が上昇します。図の横軸は温度、縦軸はコンプレッサーの制御を表し、色は次の瞬間の温度を表しています。図からわかるように、温度は下がっています。図の対角線は、小さな円で表された収集されたデータ ポイントに対して実行されるポリシーを表しています。データ量が限られているため、教師あり学習を使用してこのデータから学習しようとすると、一般化能力が非常に限られており、暗い領域のごく一部にしか一般化できず、この小さな部分だけが正しく、残りは間違っています。そのため、データを直接使用して学習すると、一般化能力が低下します。

このデータから報酬モデルを学習すると、報酬モデルはモデルにスコアを付けることができます。つまり、報酬が高くなる場所、つまり実際の環境でモデルが適切に機能する場所を判断できます。比較すると、教師あり学習の一般化能力は小さな部分しかカバーしていないのに対し、報酬モデルによって学習された Dynamics 報酬モデルの一般化能力はより広い領域をカバーしていることがわかります。その結果、一般化能力が大幅に向上します。

目に見えないテスト ポリシーの場合、教師あり学習モデルは実際の環境から逸脱する可能性があります。ただし、報酬モデルを使用すると、モデルは実際の環境により適合できるようになります。報酬モデルは、報酬モデルとの価値の整合を修正するために ChatGPT の最後のステップで見た方法と基本的に同じであることに言及する価値があります。そのため、強化学習では、学習転移と計算転移に加えて、逆強化学習を通じて動的報酬モデルを学習し、動的報酬モデルを転移修正に使用することで、オフライン強化学習のパフォーマンスが大幅に向上します。

デフォルトの RL ベンチマークでは、パフォーマンスが大幅に向上していることがわかります。前回のケースではスコアはおよそ 60 ～ 70 点でしたが、オンライン強化学習では 100 点に達することもあります。これまでの研究では、6 つのタスクで 80 点のスコアを達成しましたが、Dynamics 報酬モデルの導入後、パフォーマンスは 83 点に上昇し、パフォーマンスの上限に達し、これ以上向上することはできません。 6 つのタスクを正常に解決しました。これは、オフライン強化学習がオンライン強化学習に匹敵するレベルに達し、タスクの半分を完了したことを意味します。

より難しい新しい強化学習ベンチマークでは、サンプリング ポリシーの平均スコアは 50 ポイントで、以前は基本的に受け入れられませんでした。以前の作業では 60 ポイントにしか達しませんでした。Dynamics 報酬モデルの修正を追加した後、スコアは 76 ポイントに増加し、3 つのタスクのスコアはオンライン強化学習のスコアに匹敵しました。したがって、世界モデルのモデリングを改善すると、強化学習全体のパフォーマンスが大幅に向上します。

CVPR 2023 では、世界モデルに関する研究、特に構築された世界モデルが自動運転に不可欠であると信じていた Tesla の研究を強調したワークショップがいくつか開催されたことに気付きました。もちろん、これらは単なる出発点に過ぎず、より多くの研究者や学者、特に因果モデリングに携わる人々が、自分たちの研究成果を世界モデルと組み合わせることができるようになることを願っています。ご清聴ありがとうございました。

4. 質疑応答

Q1: 世界モデルは現実世界のデジタルツインに似ていますか?それとも、両者の間である程度共有できる技術はあるのでしょうか?

A1: 現時点では、デジタルツインは概念や期待に過ぎません。私たちは、現実世界と同様の実体をデジ​​タル環境内に作り出したいと考えています。したがって、デジタルツインの定義はビジョンが似ています。しかし、デジタルツインは独自の技術システムを形成していません。特に、現在市場に出回っているデジタルツインを見てみると、ほとんどすべてが可視化ツールに変貌しており、デジタルツインの当初のビジョンとはかけ離れています。デジタルツインの方向性には可能性がありますが、実際にはまだまったく新しいテクノロジーは生み出されていません。したがって、私たちは依然として、データから学習すること、特に世界モデルを学習し、因果関係を適用してこれらのタスクを実行することが、真に追求する価値のある方向であると信じています。これはあくまでも私の個人的な意見です。

Q2: あなたのお話の中で、因果推論と世界モデルの相互強化について触れていらっしゃいました。この点について、何か知見を共有していただけますか?

A2: モデリング時に、ワールド モデルは高度に非線形に動作し、線形状況はほとんどありません。特に、非線形因果モデリングと因果推論の技術が十分に開発され、世界モデルにうまく適用されることを期待しています。さらに、強化学習の分野では、因果推論技術を探索モデリングや全体的な学習プロセスに適用したいと考えています。現在、強化学習における探索はほとんどがランダムで非効率的です。しかし、因果推論が導入されれば、システムは探索を行うべき場所を理解できるようになり、効率が向上します。したがって、因果推論と強化学習を組み合わせた研究は比較的少ないものの、私たちは因果推論を強化学習に完全に統合したいと考えています。強化学習の研究は幅広い分野をカバーしていますが、因果推論の応用は比較的限られています。これは、この組み合わせの難しさによるものと考えられます。したがって、この方向への継続には全員の共同の努力が必要になるかもしれません。