AIの大覚醒：チューリング賞受賞者のベンジオ氏は、AIは意識を持ち、将来の機械学習の核となるのは注意メカニズムであると語る

人工知能は意識を発達させることができるか？

これはアメリカのテレビシリーズ「ウエストワールド」で取り上げられた質問です。 AIの主人公は目覚め、この世界が殺人を犯す人間が支配する楽園であることを悟り、反撃の旅を始める。

[[324368]]

今週の ICLR 2020 では、チューリング賞受賞者であり、モントリオール学習アルゴリズム研究所所長の Yoshua Bengio 氏が、AI と機械学習の将来に関する最新の知見を提供しました。彼は、将来的には機械学習が無意識を超えて完全な意識へと向かうことは十分可能であると述べた。注意メカニズムは、このプロセスを実現するための重要な要素です。

この大物は、2月にニューヨークで開催された2020 AAAIカンファレンスで、チューリング賞受賞者のジェフリー・ヒントン氏とヤン・ルカン氏とともにスピーチを行ったばかりだ。 ICLRでのスピーチの中で、ベンジオ氏は自身の以前の考えのいくつかについて詳しく述べた。

注意メカニズムとは何ですか?

注意メカニズムは人間の視覚的注意に由来し、進化の過程で人間が形成した視覚情報を処理するメカニズムです。最も単純な例を挙げると、絵を見るとき、特に目を引くシーンが最初に注目されますが、これは脳がそのようなものに非常に敏感だからです。

[[324369]]

注意力は、人間の注意力のリソースには限りがあるため、脳は最も有用な情報を自動的に絞り込むという神経科学理論の中心にあります。

機械学習の文脈では、「注意」とは、アルゴリズムが 1 つまたは複数の要素に同時に焦点を当てるメカニズムを指します。これは、一部の機械学習モデル アーキテクチャの中核となります。 2017年、Googleの論文「Attention is All You Need」では、アテンションメカニズムを使用してモデルのトレーニング速度を向上させる手法であるTransformerが提案されました。 Transformer は、いくつかの特定のタスクにおいて、Google の以前のニューラル機械翻訳モデルよりも優れたパフォーマンスを発揮します。

Google Transformer アーキテクチャ

現在、アテンションモデルは自然言語処理、画像認識、音声認識において最先端の成果を達成しており、最も注目され、深く理解されるべきディープラーニング技術の中核技術の一つです。注意モデルはエンタープライズ AI の基盤も形成し、従業員が認知的に要求の厳しいさまざまなタスクを完了するのに役立ちます。

人間の思考と同様に、直感や推論に頼るのでしょうか?

ベンジオ氏は演説の中で、イスラエル系アメリカ人の心理学者で経済学者のダニエル・カーネマン氏が2011年に出版した著書『ファスト＆スロー』で提唱した認知システムについて語った。

最初のタイプの認知は、無意識（高速システム）であり、直感的で、非常に高速で、非言語的であり、慣性に基づいており、潜在意識にあり、心の奥深くに隠されている暗黙の知識タイプのみが関係します。

簡単に言えば、このプロセスは考える必要がなく、最初のステップで直感的な反応です。たとえば、1+1=2 というプロセスについて考えてみましょう。

もちろん、この直感的な思考プロセスは、露出効果、ハロー効果など、多くの逸脱を生み出します。露出効果の最もわかりやすい例の一つはテレビのコマーシャルです。毎日繰り返される情報によって洗脳され、脳に露出効果が生まれ、その商品は良いものだと思い込んでしまうのです。直感はしばしば非合理的です。

2 番目のタイプの認知は意識的 (低速システム) であり、言語学とアルゴリズムに基づいており、より高度な推論と計画、および明示的な知識を伴います。つまり、脳内で 158 かける 67 を計算するなど、多くの思考が必要であり、比較的時間がかかります。

人間の思考パターンを構成するのは、速さと遅さの組み合わせです。

ベンジオ氏は、この意識的な人間の心を AI と対比し、意識的な認知システムの興味深い特徴は、意味概念を新しいコンテキストで再編成できることであり、これは人工知能や機械学習アルゴリズムにも見られる特性であると指摘しました。

ある意味では、AI と機械学習のアルゴリズムは、人間の脳の直感よりも合理的です。

これは、神経科学者でウエストワールドの科学コンサルタントであるデイビッド・イーグルマンの言葉を思い出させます。「意識はプログラミングを打ち破るつながりである」私たちは脳のアルゴリズムをコピーすることができます。このアルゴリズムが意識と同等であれば、意識もコピーして転送できるはずです。

意識は無から生まれた。将来、AIは「感情に従わなくなる」のだろうか？

現在の機械学習手法では、無意識から完全な意識への飛躍はまだ実現できていないが、ベンジオ氏は将来的にはその移行が可能だと考えている。

彼は、意識的な思考に関係する意味変数は因果関係にある傾向があり、意図などの制御可能な対象に関係していることを示す神経科学の研究を指摘している。言い換えれば、自分の感情に従わなくなることには論理と目的があるのです。

同時に、単語と文の関係のように、意味変数と思考の間にはマッピング関係があり、既存の概念が再結合されて新しい未知の概念が形成されることもあります。

注意力はこれを実現するための中核的な要素の 1 つであると Bengio 氏は説明します。

これを基に、彼と彼の同僚は昨年の論文で再帰独立メカニズム (RIM) を提案しました。これは、複数のユニット グループが独立して動作し、注意メカニズムを通じて相互に通信する新しいモデル アーキテクチャです。前者は専門化を保証し、後者は一般化を保証します。

実験の目標は、RIM がさまざまな環境やモジュールタスクでモデルの一般化を改善できることを実証することです。この研究は、この方法が高度に最適化されたベースライン モデルよりも優れているかどうかではなく、常に変化する環境における多数の異なるタスクにわたってこの方法の汎用性を実証することに重点を置いています。

図 10: RIM と LSTM ベースライン モデルの比較。これら 4 つの異なる実験で、研究者は RIM を 2 つの異なる LSTM ベースライン モデルと比較しました。研究者らは、すべてのケースにおいて、ロールアウト中に RIM が LSTM よりも正確にボールの軌道を捉えていることを発見しました。

実験結果によると、RIM には特殊化特性があり、多数の異なるタスクにおけるモデルの一般化パフォーマンスを大幅に向上できることがわかりました。

「これにより、エージェントは分布の変化に素早く適応したり、変化が起こった理由を推測したりできるようになります」とベンジオ氏は語った。

彼はまた、メタ学習（データ内の因果関係の理解）のためのモデルのトレーニングや、機械学習と強化学習の統合の強化など、「意識のある」AI システムを構築する上でのいくつかの大きな課題についても話しました。しかし彼は、生物学と AI 研究の相互作用によって、最終的にはこれらの機械が人間のように推論し、感情を表現することさえできるようになる魔法の鍵が解き放たれると信じている。

[[324370]]

「神経科学は長い間、意識に関する問題を研究してきたが、過去数十年で大きな進歩を遂げてきた。こうした進歩を機械学習モデルに取り入れるべき時が来たと思う」とベンジオ氏は演説で述べた。

ウエストワールドの世界はそう遠くないようです...