機械学習の最大の欠点を解決する？マックス・プランク研究所とグーグルが因果学習を再び研究

野球選手がボールを打つ様子を見ると、さまざまな要素間の因果関係を推測することができます。

たとえば、野球選手のバットと腕が同期して動くのを見ると、バットを動かすのは選手の腕であって、その逆ではないことがわかります。

さらに、バットがボールの方向を突然変えていることを指摘される必要はありません。

こうした推論は人間の直感の一部であり、私たちは幼い頃から、誰からの明確な指導もなく、ただ世界を観察するだけでそれを発達させます。

しかし、囲碁やチェスなどの複雑なタスクで人間を上回ることに成功した機械学習アルゴリズムにとって、因果関係についての推論は依然として大きな課題です。

機械学習アルゴリズム、特にディープ ニューラル ネットワークは、大量のデータから微妙なパターンを見つけるのに特に優れています。リアルタイムで音声を書き起こしたり、1 秒あたり数千枚の画像やビデオ フレームに注釈を付けたり、X 線や MRI スキャンでがんのパターンを調べたりすることができます。

しかし、先ほど述べた野球の例のように、単純な因果推論を行うことは困難です。

「因果表現学習に向けて」と題された記事では、マックスプランク研究所の知能システム研究ユニット、モントリオール研究所の学習アルゴリズム研究所、Google Rsearch の研究者が因果学習を取り巻くさまざまな問題について議論しました。彼らは、機械学習モデルにおける因果表現の欠如によって生じる課題を調査し、因果表現を学習できる人工知能システムを作成するための洞察と方向性を示しました。

この研究は、機械学習における因果表現の分野におけるいくつかの大きな課題を克服する鍵となる可能性があります。

機械学習にはなぜ限界があるのでしょうか?結局、一般的な思い込みが原因だったことが判明した

なぜ機械学習は狭い領域とトレーニングデータの制限を超えることができないのでしょうか?

この問題に対して、著者はこの論文の中で次のように述べています。

「機械学習は、動物が使用する多くの情報、たとえば世界への介入、ドメインシフト、時間構造などを無視することがよくあります。

一般的に、私たちはこれらの要素を「嫌い」、設計から排除しようとします。 「

「これと一致して、機械学習における現在の成功のほとんどは、適切に収集された独立かつ同一に分布した（iid）データに対する大規模なパターン認識によるものです。」

ここで、一般的な機械学習用語「iid」を簡単に紹介します。

この用語は主に、問題空間内のランダムな観測が互いに独立しており、発生確率が一定であると想定しています。最も単純な例は、コインを投げたり、サイコロを振ったりすることです。

コンピューター ビジョンなどのより複雑な分野になると、機械学習エンジニアは、非常に大規模なサンプル セットでモデルをトレーニングすることにより、問題を iid ドメインに変換しようとします。

十分な例が与えられれば、機械学習モデルは問題の一般的な分布をそのパラメータにエンコードできるという前提です。

しかし現実の世界では、トレーニング データでは考慮および制御できない要因により、この分布は頻繁に変化します。

たとえば、何百万もの画像でトレーニングされた畳み込みニューラル ネットワークであっても、新しい照明条件、わずかに異なる角度、または新しい背景でオブジェクトを「見る」と失敗する可能性があります。

トレーニングセット内のオブジェクトと現実世界のオブジェクト

これらの問題に対処するための取り組みは、主に、より多くの例で機械学習モデルをトレーニングすることにありました。ただし、環境が複雑になるにつれて、トレーニング例を追加しても分布全体をカバーすることは不可能になります。これは、ロボット工学や自動運転車など、AI が世界と対話する必要がある分野ではさらに当てはまります。

原因と結果の理解が欠如しているため、予測を立てたり新しい状況に対処したりすることが難しくなります。そのため、何百万マイルものトレーニングを積んだ後でも、自動運転車が奇妙で危険なミスを犯してしまうのです。

研究者らは次のように書いている。

「iid 設定の外で一般化するには、変数間の統計的関連性だけでなく、基礎となる因果モデルも学習する必要があります。」

因果モデルを使用すると、以前に獲得した知識を新しい領域に適用することもできます。

たとえば、Warcraft のようなリアルタイム戦略ゲームを学習すると、その知識を Starcraft や Age of Empires などの他の同様のゲームにすぐに応用できます。

しかし、機械学習アルゴリズムの転移学習は、画像分類器を微調整して新しいタイプのオブジェクトを検出するなど、非常に表面的な用途に限定されていました。

ビデオゲームの学習などのより複雑なタスクでは、機械学習モデルは大規模なトレーニング（数千年のプレイ）を必要とし、環境の小さな変化（新しいマップを開く、ルールの小さな変更など）にうまく対応できません。

「因果モデルを学習する場合、知識の大部分を適合させるために必要な例は少なくなり、追加のトレーニングなしでモデルを再利用できるモジュール性が作成されます。」

外部からの干渉を克服し、因果学習はさまざまな条件下で「安定」したままである

上で述べたように、これらの既知の弱点にもかかわらず、なぜ IID は機械学習の主流の形式であり続けるのでしょうか?

純粋に観察に基づくアプローチはスケーラブルであるためです。

トレーニング データを追加することで精度を継続的に向上させることができ、また、コンピューティング能力を追加することでトレーニング プロセスを高速化することもできます。

実際、ディープラーニングの最近の成功の重要な要因は、より多くのデータとより強力なプロセッサが利用できるようになったことです。

さらに、iid ベースのモデルは評価が容易です。

まず、大規模なデータセットをトレーニング セットとテスト セットに分割します。次に、トレーニング データでモデルを調整し、テスト セットで予測精度を測定してパフォーマンスを検証します。その後、目的の精度が達成されるまでトレーニングを続けます。

現在、ImageNet、CIFAR-10、MNIST など、このようなベンチマークを提供する公開データセットは数多くあります。これは、COVID-19 診断用の COVID-X データセットやウィスコンシン州の乳がん診断データセットなどのタスク固有のデータセットにも当てはまります。

いずれの場合も、課題は同じです。つまり、統計的な規則性に基づいて結果を予測できる機械学習モデルを開発することです。

しかし、論文の著者らが指摘しているように、正確な予測だけでは意思決定に役立たないことが多い。

たとえば、新型コロナウイルス感染症のパンデミックの際には、多くの機械学習システムが因果関係ではなく統計的な規則性に基づいてトレーニングされていたため、機能しなくなり始めました。生活パターンが変化すると、モデルの精度は低下します。

外部介入によって問題の統計分布が変わっても、因果モデルは堅牢なままです。

たとえば、物体を初めて見たとき、脳は無意識のうちにその外観から照明要因を排除します。そのため、新しい照明条件下で物体を見たときにその物体を認識できるのです。

さらに、因果モデルにより、これまで見たことのない状況に対応したり、反事実について考えたりすることが可能になります。何が起こるかを知るために、車を崖から落とす必要はありません。

反事実的仮説は、機械学習モデルに必要なトレーニング例の数を減らす上で重要な役割を果たします。

因果関係は敵対的攻撃に対処する際にも重要です。機械学習システムは、わずかな変更が加えられただけでも予期しない形で機能しなくなる可能性があります。

「これらの攻撃は、統計的機械学習の基礎となる i.i.d. 仮定に明らかに違反している」と著者らは書いている。

さらに、著者らは、敵対的脆弱性は人間の知能と機械学習アルゴリズムの堅牢性メカニズムの違いを示していると付け加えた。

研究者らは、因果モデルは敵対的攻撃に対する防御策となる可能性があると指摘している。

敵対的攻撃は、機械学習の事前知識に対する感度を標的とします。この画像では、知覚できないレベルのノイズが追加されると、畳み込みニューラル ネットワークはそれをテナガザルであると誤判断します。

大まかに言えば、因果関係は機械学習における一般化の欠如に対処できます。 「現在の実践のほとんど（IIDベンチマーク問題の解決）と理論的結果のほとんど（IID設定における一般化について）は、問題全体にわたる一般化という重大な課題に対処できていないと言っても過言ではない」と研究者らは記している。

機械学習モデルに因果関係を追加すると将来どうなるでしょうか?

この論文では、研究者らは因果機械学習モデルを作成するために非常に重要ないくつかの概念と原則もまとめています。

これらの概念のうちの 2 つには、「構造因果モデル」と「独立因果モデル」が含まれます。

一般的に、この原則は、AI システムが表面的な統計的相関関係を探すのではなく、因果変数を識別し、環境への影響を分離できる必要があることを示唆しています。

このメカニズムにより、モデルは視点、背景、照明、その他のノイズなどの要因に関係なく、さまざまなオブジェクトを検出できます。

これらの因果変数を明らかにすることで、予測不可能な変化や外部からの介入に対して AI システムがより堅牢になります。したがって、因果 AI モデルには膨大なトレーニング データセットは必要ありません。

「外部の人間の知識または学習プロセスを通じて因果モデルが利用可能になると、因果推論によって介入、反事実、潜在的な結果についての結論を導き出すことができる」と論文の著者らは述べている。

さらに、著者らは、これらの概念が強化学習を含む機械学習のさまざまな分野にどのように適用できるかを探求しています。強化学習は、インテリジェントエージェントが環境の探索と試行錯誤による解決策の発見に大きく依存する問題にとって非常に重要です。

因果構造により、エージェントはランダムで非合理的なアクションを取るのではなく、トレーニングの最初からインテリジェントな決定を下すことができるため、強化学習トレーニングの効率が向上します。

研究者たちは、機械学習のメカニズムと構造的因果モデルを組み合わせて、人工知能システムに次のようなアイデアを提供しています。

「構造因果モデリングと表現学習を組み合わせることで、入力と出力が高次元で非構造化されている可能性があるが、SCM はこれらの内部システムの少なくとも一部を操作できる、より大規模な機械学習モデルに SCM を埋め込むよう努めるべきです。

その結果、さまざまなモジュールを個別に調整して新しいタスクに使用できるモジュール式アーキテクチャが実現する可能性があります。 「

これらの概念は、脳のさまざまな領域や領域にわたって知識とスキルを結び付け、再利用する人間の心に私たちを近づけます。

ただし、この記事で紹介したアイデアは概念レベルのものであることに注意することが重要です。

しかし興味深いことに、研究者たちはこの分野での多くの並行研究からインスピレーションを得ました。この論文には、因果推論に関する研究で知られるチューリング賞受賞科学者ジューディア・パール氏の研究の引用が含まれている。

パール氏は、純粋なディープラーニングのアプローチを公然と批判してきました。一方、チューリング賞受賞者であり、論文の共著者の一人であるヨシュア・ベンジオ氏は、ディープラーニングの先駆者の一人である。

この論文には、ゲイリー・マーカス氏が提案した、記号システムの推論能力とニューラルネットワークのパターン認識機能を組み合わせたハイブリッド AI モデルに似たアイデアもいくつか含まれています。

これらのアプローチのどれが機械学習における因果関係の問題を解決するのに役立つかはまだ明らかではありませんが、異なる学派のアイデアを組み合わせることで、興味深い結果が得られることは間違いありません。

「本質的に、iid パターン認識は単なる数学的抽象化であるが、因果関係はほとんどの形態の生きた学習にとって不可欠である可能性が高い」と著者らは書いている。

「これまで、機械学習は因果関係の完全な統合を無視してきましたが、この論文では、機械学習は因果関係の概念を統合することで確かに恩恵を受けると主張しています。」