OpenAIを批判した後、ルカン氏はこう答えた。「意識は単なる幻想だと思う」

ヤン・ルカンは演説中に、フランス革命の有名な絵画「民衆を導く自由の女神」を再生し、「革命は監視されない」と書いた。

LeCun 氏は、AI システムが教師あり学習を必要としなくなったときに、次の AI 革命が起こると考えています。これらのシステムは、慎重に注釈が付けられたデータセットに依存しなくなります。 AIシステムは人間の助けをできるだけ受けずに学習する必要がある、と彼は述べた。

IEEE Spectrum との最近のインタビューで、彼は自己教師学習によって常識を備えた強力な AI システムをどのように作成できるかについて語りました。同時に、アンドリュー・ン氏の「データ中心のAI」の提唱や、現在のAIは意識を持っているかもしれないというOpenAIの主任科学者イリヤ・スツケバー氏の推測など、最近のコミュニティのコメントに対する見解も表明した。

以下はインタビューの記録です。

Q: 教師あり学習の限界は、ディープラーニング自体の限界に起因していると誤解されることがある、とおっしゃっていました。自己教師あり学習によって克服できる限界は何でしょうか?

A: 教師あり学習は、境界が明確で、ラベル付けされたデータを大量に収集でき、展開中にモデルが認識する入力の種類がトレーニング時の入力の種類とあまり変わらないドメインに適しています。大量の偏りのないラベル付きデータを収集することは非常に困難です。ここでのバイアスとは、必ずしも社会的バイアスを指すわけではなく、システムが使用すべきでないデータ間の相関関係として理解することができます。たとえば、牛を認識するようにシステムをトレーニングしていて、すべての例が草の上にいる牛である場合、システムは草を文脈上の手がかりとして使用して牛を認識します。したがって、浜辺にいる牛の写真を見せても、おそらく認識できないでしょう。

自己教師学習 (SSL) により、システムはタスクに依存しない方法で入力の適切な表現を学習できます。 SSL トレーニングではラベルなしデータが使用されるため、非常に大規模なトレーニング セットを使用して、システムにより堅牢で完全な入力表現を学習させることができます。そして、少量のラベル付きデータを使用して、教師ありタスクで優れたパフォーマンスを達成できます。これにより、純粋に教師あり学習に必要なラベル付きデータの量が大幅に削減され、システムがより堅牢になり、ラベル付きトレーニング例とは異なる入力をより適切に処理できるようになります。場合によっては、システムがデータの偏りに対して敏感でなくなることもあります。

実用的な AI システムに向けて、私たちは大量のラベルなしデータの事前トレーニングに SSL を使用する、より大規模なアーキテクチャへと移行しています。これらのシステムは、単一のニューラル ネットワークを使用して数百の言語間で翻訳したり、多言語音声認識システムを構築したりするなど、さまざまなタスクに使用できます。これらのシステムは、データの取得が難しい言語も処理できます。

Q: 他のリーダーたちは、AI の前進は、より優れたデータラベリングを通じて教師あり学習を改善することだと言っています。 Andrew Ng 氏は最近、データ中心の AI について講演し、Nvidia の Rev Lebaredian 氏はあらゆるラベルが付いた合成データについて講演しました。 AIの開発の方向性については業界によって違いがあるのでしょうか？

A: 考え方の違いはないと思います。 NLP では、SSL 事前トレーニングは非常に標準的な方法です。音声認識において目覚ましいパフォーマンスの向上が見られ、視覚においてもますます有用になってきています。しかし、「古典的な」教師あり学習には未開拓の応用がまだ多く残っているため、教師あり学習では可能な限り合成データを使用すべきです。それでも、Nvidia は SSL を積極的に開発しています。

2000 年代初頭、Geoff Hinton、Yoshua Bengio、そして私は、より大規模でより深いニューラル ネットワークをトレーニングする唯一の方法は自己教師あり (または教師なし) 学習であると確信しました。 Andrew Ng がディープラーニングに興味を持つようになったのもこの頃からでした。当時の彼の研究は、現在では自己監督法と呼ばれているものにも焦点を当てていました。

Q: 自己教師学習に基づく常識を備えた AI システムを構築するにはどうすればよいでしょうか? 常識は人間レベルの知能の構築にどの程度役立つのでしょうか?

A: 人間や動物と同じように、機械に世界の仕組みを学習させる方法がわかれば、AI は大きく進歩すると思います。したがって、人工知能は世界を観察し、その中で行動を起こすことを学ばなければなりません。人間が世界がどのように機能するかを理解しているのは、世界の内部モデルを学習したからです。このモデルによって、欠けている情報を補い、何が起こるかを予測し、自分の行動の影響を予想することができます。私たちが世界について持つモデルによって、私たちは認識し、解釈し、推論し、計画を立て、行動することができます。

そこで疑問になるのが、機械はどうやって世界モデルを学習するのかということです。

これは 2 つの質問に分けられます。

• まず、世界モデルをトレーニングするにはどのような学習パラダイムを使用すればよいでしょうか?
• 第二に、世界モデルではど​​のようなアーキテクチャを使用すべきでしょうか?

最初の質問に対する私の答えは、自己教師あり学習 (SSL) です。たとえば、機械にビデオを視聴させ、一時停止させて、ビデオで次に何が起こるかの表現を機械に学習させます。その過程で、機械は世界の仕組みに関する豊富な背景知識を学習できるかもしれない。それはおそらく、赤ちゃんや動物が生後数週間または数か月で学習するのと似ているかもしれない。

2 番目の質問に対する私の答えは、新しいタイプのディープ マクロ アーキテクチャであり、これを階層型共同埋め込み予測アーキテクチャ (H-JEPA) と呼んでいます。ここで詳しく説明するのは難しいですが、上記の予測ビデオを例にとると、JEPA はビデオ クリップの将来のフレームを予測するのではなく、ビデオ クリップの抽象的な表現と将来を学習し、前者の理解に基づいて後者を簡単に予測できるようにします。これは、非対照的 SSL 方式の最近の進歩、特に私たちが最近提案した VICReg と呼ばれる方式を使用することで実現できます。

Q: 数週間前、あなたは OpenAI の主任科学者 Ilya Sutskever 氏のツイートに返信しました。彼は、今日の大規模なニューラル ネットワークには何らかの意識があるかもしれないと推測していますが、あなたはその考えをきっぱりと否定しています。では、あなたの意見では、意識のあるニューラル ネットワークを構築するには何が必要でしょうか? 意識のあるシステムはどのようなものになるでしょうか?

A: まず第一に、意識は非常に漠然とした概念です。一部の哲学者、神経科学者、認知科学者は、これは単なる幻想であると信じており、私もこの見解に強く同意します。

私は意識の錯覚について推測を持っています。私の仮説は、人間の前頭前野に世界モデル「エンジン」があるというものです。この世界モデルは、直面する実際の状況に応じて構成できます。たとえば、帆船の操舵手は、世界モデルを使用して船の周りの空気と水の流れをシミュレートします。別の例として、木製のテーブルを作成する場合、世界モデルは木材を切断して組み立てた結果を想像します...私たちの脳には、目標とサブ目標を設定し、その瞬間の実際の状況をシミュレートするように世界モデルを構成し、関連する情報を抽出して残りを破棄するために知覚システムをアクティブ化する、私がコンフィギュレーターと呼んでいるモジュールが必要です。監督コンフィギュレータの存在が、私たちに意識があるという錯覚を与えるのかもしれません。しかし、興味深いのは、ワールド モデル エンジンが 1 つしかないため、このコンフィギュレーターが必要なことです。もし私たちの脳が世界の多くのモデルを収容できるほど大きければ、意識は必要なくなるでしょう。つまり、この意味では、意識は私たちの脳の限界の結果なのです。

Q: メタバースにおいて自己教師あり学習はどのような役割を果たすのでしょうか?

A: メタバースには、モーショントラッキング、VR や AR 向けの体の動きや表情のキャプチャと合成など、ディープラーニングの具体的な応用が数多くあります。

新しい AI 駆動型イノベーション ツールは、幅広い創造空間を提供し、誰もがメタバースと現実世界で新しいものを作成できるようにします。しかし、メタバースには「AI 完全対応」のアプリケーション、つまり仮想 AI アシスタントもあります。私たちの日常生活を支援し、質問に答え、日々遭遇する大量の情報を処理するのを手伝ってくれる仮想 AI アシスタントが必要です。これを実現するには、AI システムは、世界 (物理世界とメタバースの仮想世界の両方) の仕組みに関する一定の理解、一定の推論および計画能力、そしてある程度の常識を備えている必要があります。つまり、人間のように学習できる自律型 AI システムを構築する方法を見つける必要があるのです。これには時間がかかりますが、Meta は長い間この準備をしてきました。

オリジナルリンク: https://spectrum.ieee.org/yann-lecun-ai