なぜ一部の数学研究者はディープラーニングを嫌ったり軽蔑したりするのでしょうか?

[[190844]]

DL の難しさは、問題をどのような視点から見るかによって決まります。数学を勉強するなら、理論的な方向に目を向けるべきです。

DL は線形関数と非線形関数を積み重ねて関数を構築し、確率的勾配降下法を使用してトレーニングすることができ、非常に優れた一般化機能を備えています。私の意見では、このようなものに原理がないということはまったく想像できません。しかし、DL は難しく、あまりに難しいので、どこから始めればよいのか、どのような数学的ツールを使えばよいのか、誰もわかりません。そのため、凝縮系物理学 (スピングラス)、量子物理学 (繰り込み群)、常微分方程式 (力学系)、各種最適化理論 (例が多すぎる)、各種計算量理論など、あらゆる種類の理論論文がありますが、真に本質を抽出したものは見たことがありません。数学には非常に多くの理論がありますが、効果的な予測を行うことができる理論は言うまでもなく、DL に完璧に適用できる理論はありません。これは問題の複雑さを説明するのに十分です。DL はそれほど単純ではありません。

DLを深く進めるためには、様々な基礎知識が欠かせません。しかし、基礎知識は見せびらかすものではありません。たくさん学んだとしても、どれも役に立たない可能性があるからです。たとえば、VC 次元や Rademacher Complexity は DL に役立ちますか? どちらもそれ自体は非常に素晴らしいのですが、仮定が強すぎて得られる結論が現実からかけ離れていたり、仮定が広すぎて得られる結論が弱すぎて DL の動作範囲内になかったりします。したがって、理論をやる人は、理論を一つずつ学び、考え、試してみて、そしてそれを手放して次の理論に進まなければなりません。問題を解決することが究極の目標であり、他の人よりも多くを学び、そこに座って自分がいかに素晴らしいかを自慢することではありません。あらゆる武術を身につけていても、一撃で敵を倒せる達人には勝てません。この方法を見つける方法については、理論的な分析から始めても、実験から始めても、それらはすべて同等に価値があり、平等であり、誰が誰を軽蔑するかという問題は存在しません。軽蔑とは、不合理な先入観を持ち、問題の解決に役立たない別の考え方の役割を無視することを意味します。

数学を勉強していたとき、私はまるでさまざまな美術作品が展示された美術館に足を踏み入れ、整然とした環境の中であらゆる種類の絶妙な美を鑑賞しているような気分でした。 DL はボイラー室に積み上げられた汚れた機械の束のようなもので、エンジニアはそれをいじって動作させます。乱雑ではありますが、動作します。先人たちが舗装した素晴らしい道に沿ってレンガやタイルを積み上げることはほとんどの人ができますが、本当にすごいのは、ボイラー室に駆け込み、汚れや混乱をものともせずに機械を分解し、腐敗を魔法に変えて、最も重要な原理を見つけ出す人たちです。何かを作るのは、修正するよりも難しいです。DL にはフレームワークとして高度な数学がないと文句を言うよりも、自分で試してみて、何か面白いものができるかどうか試してみる方が良いでしょう。そこにこんなに大きな金鉱があるのだから、みんなで協力して一生懸命採掘すべきだ。 ウェーブレットは非常に美しいものですが、問題はその基底関数が固定形式であり、特定の問題に適応できないことです。さらに、ウェーブレットを開発するには数学者の一生がかかります。それに比べて、ディープモデルは数日でトレーニングでき、特定の問題（画像分類など）に対してより効果的です。どちらを選びますか？そこで、考え方を変える必要があります。モデルを一つずつ研究するのは非効率的すぎます。データを自動的にモデル化するモデルを作る方が戦略的に興味深いのではないでしょうか？

私は、現在統計学部の終身教授となっている同級生と話をしました。彼は非常に有名な数学者を何人か挙げ、AIは彼らよりも優れている可能性があるかどうか私に尋ねました。私は直接答えませんでした。人間がアリを見るとき、普通のアリとより賢いアリの違いについて考えるだろうかと思いました。ここで数学者を軽視するつもりはありません。なぜなら、人間は皆同じであり、私は取るに足らない普通のアリに過ぎないからです。小さな都市に匹敵するエネルギーを消費し、数か月ごとに更新されるクラスターと比較すると、人間の脳は数十ワットの電力しかなく、ニューロン間の伝達速度はミリ秒単位と遅いです。敗北するのは時間の問題です。今日、人間の脳はクラスターよりもさらに優れた方法でほとんどのタスクを処理でき、これは人工知能の大きな可能性を示しています。時々、星がいくつか見えて突破口が開いたような気がしますが、実際にはまだ太陽も昇っておらず、暗闇の中で手探りしている状態です。

敷居の低さの問題についてもお話ししましょう。数百年前、微積分学の出現後、広範囲の問題が統一された方法で解決できるようになり、技術進歩の敷居が下がりました。かつてはハイエンドだったさまざまな技術が一般化し、すぐに関連分野に驚異的な進歩をもたらしました。この歴史的プロセスは、現在私たちが目にしているディープラーニングのプロセスとまったく同じです。オープンソース化され、誰もが使用できるようになると、人類全体の進歩はより速くなります。現時点では、誰も一人で何かをすることはできず、人々こそが技術進歩の原動力です。

時代の流れに直面して、流れに身を任せている他人を嘲笑するよりも、どのように流れに身を任せるかを考える方が建設的かもしれない。