今年の機械学習研究で最もホットな分野は何ですか?幾何学的ディープラーニングの最大の勝者、Redditは混乱に陥っている

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

今年の機械学習の注目研究は何でしょうか?

最近、あるネットユーザーがRedditでそのようなディスクを公開し、すぐに多数のMLerの注目を集めました。

自己教師ありモデルを推奨する人もいれば、表現学習がますます注目を集めていると考える人もいれば、物理ベースの機械学習が将来の方向性であると考える人もいます...

しかし、コメント欄の「いいね！」数の高さから判断すると、上記の方向性はどれも「勝者」ではないようです。

これまでのところ、最も多くの「いいね！」を獲得している出場者は、Geometric Deep Learning です。

この技術が世間の注目を集めるようになったのは、Twitterの主任科学者でグラフ機械学習の専門家であるマイケル・ブロンスタイン氏が昨年発表した論文によるものだ。

（ちなみに、その論文は160ページあります）

そこで質問です:

Top の人気はどこから来るのでしょうか?

幾何学的ディープラーニングの正式名称は Geometric Deep Learning で、2016 年に Michael Bronstein 氏が論文で初めて紹介しました。

簡単に言えば、CNN、GNN、LSTM、Transformer などの代表的なアーキテクチャを対称性と不変性の観点から幾何学的に統一しようとするアプローチです。

高く評価されたコメントの下に、誰かがこの「対称性」を簡単な例で説明していました。

従来のネットワークでは、「E」と「3」は異なるものとみなされますが、鏡映対称性 (またはπ結合回転) を備えたネットワークでは、それらは一貫しているものとみなされます。

これが CNN が行うことです。不変性が変換可能 (または変換可能) になると、右上隅の 3 つと中央の 3 つは当然同じになります。私たちは、CNN のこの特性を他のアーキテクチャに「拡張」したいと考えています。

これが対称性によってもたらされる安定性です。視覚的に見ると、多くのオブジェクトは実際には同じオブジェクトです。それらは「これは同じオブジェクトですが、反転しているだけです」という 3D 幾何学的類似性を持っています。したがって、対称性に基づいて多くの問題を解決できます。

従来の畳み込みネットワークでは、この目的を補うために、回転、平行移動、反転などのより多くのデータ拡張を使用します。

そのため、幾何学的ディープラーニングでは、幾何学における「不変群」の概念の範囲を拡大し、従来の回転対称性や並進対称性の操作に加えて、「不変性」などの操作をネットワークに含めることができるようにしたいと考えています。

たとえば、ビデオでは 2 台の車が互いに向かって走っています。速度や障害物の有無に関係なく、ビデオの意味論では 2 台の車が互いに向かって走っていることになります。

一般的に、幾何学的ディープラーニングは、畳み込みネットワークをより安定させるだけでなく、爆発的に複雑化するフィッティング関数にもより適切に対処できます。

その他の人気ノミネート

人気の幾何学的ディープラーニングに加え、私たちがよく知る手法も数多くノミネートされています。

たとえば、コメント欄で最も多く言及された「人気のある選択肢」は、自己教師学習です。

教師あり学習は現在、機械学習の分野で主流の手法ですが、新しい学習手法である自己教師あり学習は、入力データ自体を教師信号として使用し、ラベルなしデータから情報表現を学習します。これは、ほぼすべての異なるタイプの下流タスクに役立ちます。

これは、画像分類や言語翻訳など、多くの CV および NLP 分野のいたるところで見られ、LeCun は常にこの研究の方向性を強く支持してきました。

△ルカン2018スピーチ

また、表現学習と解釈可能性が  （解釈可能性）はますます注目を集めています。

彼はまず、理論的なディープラーニングの分野が「標準的な」問題（深さと幅、近似理論、ダイナミクスなど）からより抽象的な問題へと移行しつつあるように見えるため、表現学習を指名したと説明した。

たとえば、良い表現とは何でしょうか?表現のどのプロパティが重要ですか?この概念を数学的に定義するにはどうすればよいでしょうか?どのように施行するのでしょうか?

解釈可能性は表現学習にも関連しています。つまり、優れた表現とは何かを理解し、それにプロパティを課すことができれば、より解釈しやすくなります。

指名検索、強化学習に適用される転移学習、大規模言語モデルにおけるマルチモーダルおよび嗜好学習もあります。

ここでの「検索」とは、DeepMind による最近の実験のように、外部データセットから情報を取得することを指します。

ポスターでは、検索はロングテール問題の解決にも使用できるとも述べられています。

興味深いことに、コメント欄で誰かが「量子機械学習」を挙げ、物理学者がAI研究者に真摯な質問を投げかけました。

これは本当に役に立つものでしょうか、それとも単なる民間科学なのでしょうか?

実際、2017年にチューリング賞を受賞した姚其志氏はスピーチの中で「量子コンピューティングとAIを組み合わせることができれば、自然界でさえ考えつかなかったことが可能になるかもしれない」と述べた。

これは、量子コンピューティングと機械学習が交差する学際的な技術分野です。量子の特性を利用して高性能な量子機械学習アルゴリズムを開発し、人工知能の応用シナリオを加速または拡大します。

しかし、まだ広く使用されているアプリケーションはないため、投稿者は慎重に返信しました。「わかりませんが、これは機械学習の最新のトレンドだと多くの人が言っています...」

コメント欄では、おなじみの拡散モデル、連合学習、微分アルゴリズム、メタ学習についても言及されていました。

今年の終わりには、過去をもう一度掘り起こして、本当に賞を受賞した候補者がいるかどうかを確認できるでしょう。