馬懿、沈向陽、曹英の最新AIレビューが人気に！作成に3か月かかりました。ネットユーザー必読の論文です

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

長い間待ち望まれていましたが、ついに馬易教授のAIレビュー論文が発表されました！

このプロジェクトは神経科学者の曹英氏とコンピューター科学者の沈向陽氏との共同作業で完成し、完成までに3か月以上を要した。

彼はこの論文を「過去 5 年間の研究と 70 年間の知能の発展を組み合わせたもの」と表現し、次のようにも述べています。

人生でこれほど多くのエネルギーと時間を記事に費やしたことはありません。

具体的には、「知能の起源と計算原理の基本的な概要と枠組みを整理し、理論と実践を結びつける可能性を誰もが認識できるようにした」という。

予告編がソーシャルネットワーク上で公開されると、多くのネットユーザーが期待を寄せた。

その結果、今日それを公開した直後に、ある学者が新しい生成モデルを設計していると言って、それが私にインスピレーションを与えました。

これは何の紙か見てみましょうか？

2つの主要な原則：シンプルさと一貫性

過去 10 年間、人工知能の進歩は主に均質なブラック ボックス モデルのトレーニングに依存しており、意思決定プロセスや特徴表現などの側面を説明することはほとんど困難です。

このエンドツーエンドの大まかなトレーニングは、モデルのサイズ、トレーニング データ、コンピューティング コストの継続的な増加につながるだけでなく、実際には多くの問題も伴います。

学習した表現は豊かさに欠け、トレーニング中の安定性に欠け、適応性に欠け、壊滅的な忘却に陥りやすい…

このような背景に基づいて、研究者は、実際のところこれらの問題の根本的な原因の 1 つは、インテリジェント システムの機能と組織原理に関する体系的かつ包括的な理解が欠如していることであると仮説を立てています。

これを説明する統一された方法はありますか?

この目的のために、この記事では、学習に関する 2 つの基本的な質問に答える、単純さと自己一貫性という 2 つの基本原則を提案します。

1. 何を学ぶか: データから学ぶことの目標は何ですか、そしてそれをどのように測定しますか?

2. 学習方法: 効率的かつ効果的なコンピューティングを通じて、このような目標を達成するにはどうすればよいでしょうか?

彼らは、これら 2 つの原則があらゆるインテリジェント システムの機能と設計を制約し、測定可能かつ計算可能な方法で言い換えることができると考えています。

たとえば、シンプルさを考えてみましょう。知能の基礎は環境内の低次元構造であり、これによって予測と一般化が可能になり、それが簡素化の原理となります。しかし、どのように測定すればよいのでしょうか?この論文では、単純さを測定するための幾何学的公式を提案します。

これら 2 つの原則に基づいて、コンプレッサーとジェネレーター間の閉ループ転写という、知覚/インテリジェンスの一般的なアーキテクチャが導き出されます。

これは、2 つの間のやり取りが追跡と逃走のゲームになるはずだということを示唆しています。このゲームでは、オートエンコーダの代わりに、共同目的関数の反対側をプレイします。

これはこのフレームワークの主な利点の 1 つでもあり、自己監視と自己批判による自己学習が最も自然で効果的です。

基本的に、このフレームワークは、各新しいサンプルとその増分が単純に新しい累積として扱われる、完全に教師なしの設定に拡張できます。

自己監督型+自己批判ゲームメカニズム、このような閉ループ転写は簡単に学習できます。

この学習された特徴の構造は、霊長類の脳で観察されるカテゴリー選択領域の構造に似ていることは注目に値します。

著者の一人であるCao Ying氏は、このフレームワークは予測コーディング、対照学習、生成モデル、Transformerなど、これまでの多くのアイデアに似ていると述べています。

さらに、CVとグラフィックスの閉ループ関係など、いくつかの新しい方向性も提案されました。

最後に、これらすべてをまとめると、タスクに最適な戦略を学習する自律型インテリジェントエージェントは、認識(フィードバック) 、学習、最適化、アクションを閉ループに統合します。

現代のディープ ネットワークと多くの AI 実践の進化を統合して説明します。記事全体では、主に視覚データのモデリングを例として使用します。

しかし研究者たちは、これら2つの原理が広範囲にわたる自律的知能システムに対する理解を統一し、脳を理解するための枠組みを提供すると信じている。

最後に、熱力学の父の言葉で終わります。

一般的な考え方は、自分が話していることを測定して数値で表現できる場合にのみ、それを理解しているということです。そうでなければ、それは知識の始まりかもしれませんが、思考においては科学の段階にはほとんど進んでいません。

もう一つ

興味深いことに、arXivに投稿する際に、Ma Yi教授はオンラインでも助けを求めました。

誰かがインターフェースを書くことはできないのでしょうか?ワンクリックで論文を提出できるタイプです。論文の修正に多くの時間を費やす代わりに。

ネットユーザーからは、PdfLaTeX の代わりに LaTeX コンパイラを使用するようにというアドバイスも寄せられました。

中には写真を直接投稿する人もいました。

興味のある方は、下のリンクをクリックして詳細をご覧ください。

論文リンク:

https://arxiv.org/abs/2207.04630