ビッグスリー：ディープラーニングの未来

【51CTO.com 速訳】ディープラーニングの課題

過去数年間で、ディープラーニング モデルの主要構成要素である人工ニューラル ネットワークには、生物の脳のような効率性、柔軟性、汎用性が欠けていることが明らかになりました。

Bengio、Hinton、Lecu は論文の中で次のように述べています。「教師あり学習はさまざまなタスクで成功していますが、大量のデータ注釈が必要です。一方、報酬のみに基づく強化学習では、大量のインタラクションが必要です。」まさにここが、現在の機械学習がブレークスルーを必要としているところです。

具体的には、教師あり学習は機械学習におけるトレーニング方法であり、大量のラベル付きサンプルデータを機械に学習させることでモデルをトレーニングし、モデルが入力に基づいて対応する出力を得られるようになるプロセスです。つまり、トレーニング セットでパターンを見つけて、そのパターンをテスト サンプルで使用します。教師あり学習は、ラベル付けされたサンプルが多数あるタスクに非常に役立つことがわかります。

強化学習は、機械学習のもう 1 つのトレーニング方法です。機械 (エージェント) は試行錯誤によって学習し、環境とのやりとりから得られる報酬によって動作が導かれ、機械が選択した動作が環境から最大の報酬を得られることを目指します。それは、機械が盤上に 5 つの駒を一列に並べることで報酬を得られる、ゴバン チェス盤のように単純なものから、自動運転車が衝突を避け、交通規則を遵守し、目的地に到着することで報酬を得られる、都市交通環境のように複雑なものまであります。

上記のように、これら 2 つの機械学習の方法には多くの労力が必要です。教師あり学習では、ラベル付きデータセットは非常に稀です。特にオープンソースのデータセットが存在しない専門分野では、ラベル付けに多大な人件費と時間がかかることが多いためです。強化学習は継続的なトレーニングと試行錯誤のために大量のコンピューティングリソースを必要とするため、このトレーニング方法を採用できるのは少数の企業や研究機関に限られます。

ベンジオ氏、ヒントン氏、レキュ氏は記事の中で、ディープラーニングで解決できる問題の範囲はまだ比較的限られているとも述べています。これらの学習方法は特定のタスクには優れていますが、トレーニングされた狭い領域外では、これらのシステムは脆弱であることが多いです。一般的に、画像ピクセルの微調整や環境のルールの変更などのわずかな変更によって、ディープラーニングのタスクが誤った方向に進む可能性があります。

この制限は主に、独立かつ同一に分布している (IID) という仮定によるものです。機械学習分野の理論家は、初期の頃から、テストケースはトレーニングケースと同じ分布から取得する必要があるという IID 仮定に焦点を当ててきました。しかし残念なことに、この仮定は現実の世界と一致しません。

現実世界の構成はさまざまな要因によって絶えず変化しており、その多くは因果モデルなしでは表現することがほぼ不可能です。エージェントは、環境や他のエージェントを常に観察して学習し、その変化に応じて動作を適応させる必要があります。実際、今日の最高の AI システムでさえ、研究室から実稼働環境に移行すると問題が発生することがよくあります。

エージェントが高エントロピー環境に対処しなければならないコンピュータービジョンや自然言語処理などの分野に適用すると、IID 仮定はさらに脆弱になります。多くの研究者や企業は、より大きなデータセットがより広い分布をカバーし、現実世界での失敗の可能性を減らすことを期待して、より多くのデータでニューラルネットワークをトレーニングすることでディープラーニングの限界を克服しようとしています。

ディープラーニング vs ハイブリッド AI

AI 科学者の究極の目標は汎用人工知能です。しかし、今日のディープラーニング システムは、分布の変化に適応する点で、人間ほど堅牢には程遠い状態です。

ベンジオ、ヒントン、ルクールの3人は論文の中で、人間や動物は主に観察を通じて世界についての常識の多くを学んでいると指摘した。この常識は、人間が複雑なタスクを学習するのに役立つ基礎として機能するため、人間は多くの場合、同様の変化に素早く適応するためにいくつかの例のみを必要とします。

彼らは、人間は通常の IID とは異なる方法で一般化を行う、つまり既存の概念の新しい組み合わせを正しく解釈すると主張しています。これらの組み合わせがトレーニング分布に現れる確率が非常に低い場合でも、学習した高レベルの構文パターンと意味パターンに適合している限り、正しく理解することができます。

科学者たちは、人工知能と人間の知能の間のギャップを埋めるためにさまざまな解決策を考え出してきました。ここ数年、ニューラル ネットワークと従来の記号システムを組み合わせたハイブリッド AI というアプローチが広く議論されています。シンボル操作は、世界について考える人間の能力の重要な部分であり、ディープラーニング システムが直面している大きな課題の 1 つです。しかし、ベンジオ氏、ヒントン氏、ルカン氏はこれに反対しており、ニューラルネットワークと AI のハイブリッドアプローチには納得していない。彼らは、より優れたニューラル ネットワーク アーキテクチャが、最終的には記号操作、推論、因果推論、常識など、人間と動物の知能のあらゆる側面をカバーするようになるだろうと考えています。

新たな展開

将来の機械学習システムをより一般化し、分布外データに迅速に適応させたい場合、どのように設計すればよいでしょうか?

Bengio、Hinton、LeCun は論文の中で、ディープラーニングの最近の進歩について紹介しています。一例として、Transformer が挙げられます。これは、OpenAI の GPT-3 や Google の Meena などの言語モデルの中核を含む、多くのアプリケーションで主流のアーキテクチャとなっているニューラル ネットワーク アーキテクチャです。 Transformer の利点の 1 つは、ラベル付きデータがなくても学習できることです。 Transformer は、自己教師学習を通じて表現を開発し、プロンプトを受け取った後、これらの表現を適用して、欠落している単語を含む文を補完したり、一貫したテキストを生成したりすることができます。最近、研究者たちは、Transformer がコンピューター ビジョンのタスクにも適用できることを発見しました。畳み込みニューラル ネットワークと組み合わせたトランスフォーマーは、隠れた領域の内容を予測できます。

より有望な技術は、正確なピクセル値を予測するのではなく、欠落領域のベクトル表現を見つけようとする対照学習です。これは人間の思考に近い方法であると思われます。下のような画像を見ると、実際の写真の詳細を正確に説明することはできないかもしれませんが、私たちの脳は、マスクされた領域（ドア、窓など）に何が写っているかを大まかに説明することができます。これは、ニューラル ネットワークのベクトル表現と現実世界の概念を組み合わせるのにさらに役立つ可能性があります。

[[419935]]

ニューラル ネットワークの人間がラベル付けしたデータへの依存を減らすことは、自己教師あり学習に焦点を当てた Leku の研究と一致しています。

その他のポイント

現在、ディープラーニングは、いわゆるシステム 1 タスクである知覚において間違いなく最も成功しています。ディープラーニングを通じてシステム 2 タスクを実行するには、慎重な一般的な手順が必要です。この分野の研究も興味深いです。

「システム 2 スタイルのディープラーニング」という概念は、ノーベル賞を受賞した心理学者ダニエル・カーネマンの用語を借用したものです。つながり 2 カテゴリは、記号操作、推論、多段階の計画、複雑な数学の問題の解決など、意識的な思考を必要とする脳機能を表します。システム 2 ディープラーニングはまだ初期段階ですが、実現すれば、分布外一般化、因果推論、堅牢な転移学習、記号操作など、ニューラル ネットワークにおけるいくつかの重要な問題を解決できる可能性があります。

また、「カプセルネットワーク」はヒントン氏がここ数年注力してきた研究分野です。カプセル ネットワークの目的は、ニューラル ネットワークを、画像内の特徴の検出から、オブジェクト、その物理的特性、およびオブジェクト間の階層関係の検出へとアップグレードすることです。カプセル ネットワークは、人間や動物が 3 次元環境を理解できるようにするのと同じ能力である、直感的な物理学を通じてディープラーニングを提供できます。

先駆者たちが語るディープラーニングの未来– TechTalks https://bdtechtalks.com/2021/07/01/deep-learning-future-bengio-hinton-lecun/?utm_campaign=Artificial%2BIntelligence%2BWeekly&utm_medium=email&utm_source=Artificial_Intelligence_Weekly_224

[51CTOによる翻訳。パートナーサイトに転載する場合は、元の翻訳者と出典を51CTO.comとして明記してください]