勾配降下法はAI専門家やネットユーザーの間で白熱した議論を巻き起こす：全員の答えは読む価値がある

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

最近、DeepMind の AI 研究者が Twitter で次のような疑問を提起しました。

機械学習における最も美しい/エレガントなアイデアは何ですか?

この質問をした理由は、数学者や物理学者は美学についてよく話すのに、機械学習の分野ではそうしたことはほとんどないことに気づき、その理由を知りたいと思ったからです。

すぐに、全員が自分の答えを出した。

しかし、返信の1つが大きな議論を巻き起こし、LeCunのような大物でさえも参加せざるを得なくなった。

その答えは、Google Brain の元研究者であるChris Olah氏が提唱した「最善の勾配降下法理論」です。

それで何が起こっているのでしょうか?

「勾配降下法は機械学習における最もエレガントなアイデアです」

いわゆる勾配降下法は、最小の目的関数を見つけるための方法です。勾配情報を使用し、継続的な反復を通じてパラメータを調整し、適切な目標値を見つけます。

この考えをより鮮明に説明するのは、山を下りることです。

あなたが山の上に立っていて、濃い霧が出ているとします。できるだけ早く山を下りたいのですが、下山ルートがはっきり見えません。その場合、周囲の環境情報を利用して一歩ずつ進むしかありません。つまり、現在の位置に基づいて、最も急な場所を見つけて歩いて下るのです。この計算プロセスを繰り返して谷に到達します。

機械学習アルゴリズムのモデルパラメータを解決する際、結果として得られるモデルがデータに含まれるパターンをより適切に捉え、より正確な予測を行えるようにするために、通常は損失関数を最小化してパラメータ推定値を取得します。

勾配降下法は現在最も一般的に使用されている最適化アルゴリズムであり、複雑なモデルにも適しています。

クリス・オラー氏は、勾配降下法が機械学習における最もエレガントな理論であると確信しており、人工ニューラルネットワークのリバースエンジニアリングに尽力している。同氏はOpenAIやGoogle Brainで勤務し、現在は大規模モデルのセキュリティに重点を置くスタートアップ企業の共同創設者である。

彼がこのように答えた理由は次のとおりです。

シンプルな勾配降下法で、驚くべき構造とパフォーマンスを実現できます。

この返信には約1,700件のいいね！が付きました。

LeCun 氏もこれを再投稿し、40 年間にわたって周囲の理論上の同僚たちに勾配降下法の驚くべき力を信じるよう説得してきたと述べています。

ルカンさんは運命の人を見つけたようで、話し始め、 20年以上前に起こった興味深い話を聞かせてくれました。

彼によると、2000 年の NeurIPS カンファレンスのディナーで、非常に著名な ML 科学者が同様の質問をしたそうです。

「機械学習で学んだ最も重要なことは何ですか？」

その時彼は「最急降下法」と答えました。

意外にも、先輩はそれを聞いて困惑したようで、特に「自分」という答えがバカみたいに思える表情をしていた……。

たぶんこんな感じ

しかし、結局、ルカン氏は完全に正しかったことが判明した。

彼はまた、「私の友人は、凸問題を解くための複雑な従来の方法(SVM、CRF) の代わりに、3 行の確率的勾配降下法を使用できる」という証拠も挙げました。

当然のことですが、この友人(Léon Bottou)のブログへのリンクも削除されました。

一般的に、「勾配降下法は最もエレガントな理論である」という見解には基本的に異論はありません。

本当に議論を巻き起こしたのは、クリス・オラー氏の「機械学習の美しさは、数学や物理学の美しさではなく、生物学の美しさである」という発言でした。

インタールード: 機械学習の美しさは生物学の美しさですか?

彼は、最初は機械学習の素晴らしさは複雑な数学と巧妙な証明に反映されていると思っていたが、後にそうではないことに徐々に気付いたと説明しました。彼は自分の見解を裏付けるために、以下の理由と具体的な例を挙げました。

まず第一に、彼の意見では、機械学習の多くの理論をニューラル ネットワークに適用して、勾配降下法で得られるグループ化された畳み込みグラフなど、非常に美しい画像を「発見」することができます。

「まるで幼い頃の人生に似ていると思いませんか？」

その若者は、自然科学者が感じたのと同じ美しさを感じたと叫び、機械学習の美しさは生物学の美しさでもあると感じた。

さらに彼は次のように感じている。

大規模なモデルをトレーニングすることは、遠く離れた島を訪れてそこの生物を観察するようなものです。

したがって、「各モデルの構造には独自の魅力的な世界があり、私たちが観察して発見するのを待っています。」

（つまり、どうして突然崇高になったのか？）

当然のことながら、彼は勾配降下法を生物学における進化論と比較し、どちらも単純なプロセスを通じて非常に複雑なものを生み出すことができると主張した。

熟考の末、彼は生物学が類推の最良の例であり、機械学習も生物学からヒントを得ることができると感じました。

若者がこれらの発言をするや否や、それぞれの発言には数十から数百の「いいね！」が付けられたが、少し信じられない、同意できないという人のほうが多かった。その中には有名な「マウスキャノン」マーカスもいます。

彼は、勾配降下法が素晴らしいというあなたの意見は正しいが、生物学とはほとんど関係がないと率直に言った。

同時に、一部のネットユーザーは、バックプロパゲーションのメカニズムを例にとると、これは私たちの脳にはまったく存在しないのに、機械学習が生物学と非常に似ていると言えるのかと反論した。

「勾配降下法は依然として数学の問題であり、進化とは何の関係もないと私は思います。そして、数学の美しさは進化や生物学の美しさをはるかに超えていると言わざるを得ません。勾配降下法は進化よりも数桁も賢いことは言うまでもありません。」誰かがさらに反論した。

反対の声も多数…

状況がどんどん悪化し、山がどんどん高くなっていくのを見て、若者は説明するために出てきて仕方がなかった。

彼は、自分の例えは確かに不完全であり、不正確な表現が原因かもしれないと述べた。しかし、いずれにせよ、これらの結論は人工ニューラルネットワークの生物学的妥当性を説明するものではありません。それ以外はすべて彼の直感に過ぎず、誰もが好きなように受け入れたり反論したりすることができます。

まあ、これは未解決の問題であり、精査に耐えられるかどうかは分かりません。

彼が提案した勾配学習は最もエレガントであり、確かに現時点で最も多くのいいねを獲得している答えであるとしか言えません。

さて、質問自体に戻って、勾配降下法以外に「最良」と見なされている機械学習理論は何かを見てみましょう。

他にはどんなエレガントなアイデアがありますか?

ワシントン大学の博士課程に入学しようとしている学生は、それが「ガウス過程」 （GP）だと考えています。彼にとって、これはモデルを構築するプロセスにおける最も重要な「本質」です。

Zoom で働く AI 実践者は、ディープラーニングのフレームワークとシステムには優れた点が多すぎると述べています。

控えめに言っても、GPU アクセラレーション操作は 1 つとしてカウントされます。

もっと高いレベルで言えば、微分可能プログラミング/Pytorch の自動微分(autograd) /バックプロパゲーションはすべてこの範囲で考えることができます。

ヨシュア・ベンジオ氏のMILA研究室の研究者は、もちろんそれは機械学習のスケーリング法則であり、「人々がびっくりするほどシンプルな美しさ」だと語った。

博士号を持つネットユーザーはこう言った。「私も答えが多すぎると思う。あえて言えば、活性化関数とConNetアーキテクチャを選ぶだろう。結局のところ、それらは行列や微積分と非常に似ているからだ。」

他の人は、信念伝播アルゴリズム、多様体学習、ボトルネックオートエンコーダ、ニューラルネットワークにおける不変性と等変コーディング、などと答えました。

もちろん、シンプルで一般的なTransformerにも投票権が必要です。

ここですべてを列挙することはしません。

しかし、機械学習には優雅さなど存在しないと考える人もいます。

「結局、最終結果を得るまでには、あらゆる種類のエラーやバグを経なければなりません。私に言わせれば、物理学におけるネーターの定理は、今でも最もエレガントなものだと私は思います。」

では、機械学習の素晴らしさについてあまり語られないのは、このためでしょうか?

それだけでなく、次のように言う人もいました。

たとえ機械学習が 2022 年に登場し、興味深い結果が得られることを保証せずに貴重な GPU をいじることはできないとしても、機械学習がエレガントであるかどうかなど誰が気にするでしょうか?

うーん、それは本当のようです...

しかし全体として、DeepMind の研究者が提起した質問は非常に良いものであり、全員のコメントは非常に興味深く、読む価値があると多くの人が言っていました。

最後に、機械学習には美しさがあると思いますか?

もしそうなら、どれを選びますか?