Alibaba Damo AcademyのJin Rong氏：テクノロジーから科学へ、中国のAIはどこへ向かうのか？

ダートマス会議から数えると、AIは65年の歴史を歩んできました。特に近年のディープラーニングの台頭により、AIはかつてないほどの繁栄をもたらしました。しかし、中国のAIブームは過去2年間で衰退したようで、理論上の躍進と実用化の両方で課題に直面している。外部からの批判や疑念は尽きず、AI実践者の中にも多少の不満を感じている人がいる。

1990年代に米国のカーネギーメロン大学で博士課程を開始して以来、私はAI研究者になるという栄誉に恵まれ、この分野の浮き沈みを目の当たりにしてきました。この記事を通じて、私は個人的な視点から AI の発展を振り返り、現在私たちがいる歴史的段階を検討し、AI の未来がどこにあるのかを探ってみたいと思います。

この記事の見解の一部は次のとおりです。

1. AI時代はまだ始まったばかりで、ファラデーの交流電流の発見がまだ技術から科学へと昇華されていないのと同じように、AIもまだ初期段階にあります。
2. ディープラーニングに代表されるAI研究は近年驚くべき進歩を遂げていますが、これは運によるところもあり、真の原理はいまだに不明です。
3. ボトルネックに遭遇した後、ディープラーニングには、ディープラーニングの根本的な理解、自己教師学習と小サンプル学習、知識とデータの有機的な統合という 3 つの突破口となる方向性が考えられます。
4. 今日の AI にとって最大のチャンス: AI を使用して重要な科学的問題を解決すること (AI for Science)。

1. AIの歴史的段階：手作りワークショップ

現在の状況をAIの第3波、あるいは第4波と分類し、AI時代が到来したと楽観的に考える人もいますが、私はより慎重な意見を持っています。AIには間違いなく大きな可能性がありますが、現在の能力を考えると、AIはまだ比較的初期段階にあり、科学というよりは技術です。これは中国の AI だけの問題ではなく、世界中の AI が直面している共通の課題でもあります。

近年のディープラーニングの急速な発展は、AI業界の様相を大きく変え、AIは一般の人々が日常生活で利用する技術となりました。人々を驚かせるAIの応用事例もいくつかあり、SF映画が現実になりつつあると誤解させるほどです。しかし、実際には技術の発展には長期的な蓄積が必要です。現在、AIはまだ初期段階にあり、AI時代は始まったばかりです。

AI時代を電気の時代と比較すると、今日のAI技術は依然としてファラデーの時代の電気です。ファラデーは電磁誘導現象を発見し、交流発電機の最初の試作品を開発しました。これは本当に偉大な業績です。ファラデーと彼の先駆者たちは豊富な実践経験を持っていました。彼らは広範囲にわたる観察と度重なる実験を通じて、さまざまな新製品を手作業で作り出しましたが、それは電気時代への序章に過ぎませんでした。電気時代の真の偉大な発展は、電磁場理論の導入によって大きく恩恵を受けました。マクスウェルは実践的な経験を科学理論に変換し、画期的な意義を持つマクスウェル方程式を提唱し証明しました。

もし人々の電磁気学に対する理解がファラデーのレベルにとどまっていたなら、電気革命は不可能だっただろう。想像してみてください。風、雨、雷、さらには気温の変化によって停電が発生するのであれば、電気はどうして普遍的な製品、社会基盤になることができるのでしょうか?さまざまな電化製品、電子製品、通信製品が登場し、私たちの生活を一変させることはどうして可能だったのでしょうか。

これは、特定のシナリオと特定のデータに限定されるという、AI が現在直面している問題でもあります。 AI モデルが研究室を離れると、現実世界からの干渉や課題により失敗することが多く、堅牢性に欠けます。新しいシナリオが設定されると、それを適応させるためにアルゴリズムを徹底的にカスタマイズする必要があり、これには時間と労力がかかり、スケールアップが難しく、一般化能力も限られています。

これは、今日の AI が主に経験に基づいているためです。 AI エンジニアは当時のファラデーのようなものです。AI 製品をいくつか作成することはできますが、結果しか知らず、理由を知らず、核となる原理をまだ理解していません。

では、なぜ AI はこれまで科学として確立できなかったのでしょうか?

その答えは、テクノロジーの発展は私たちが想像するよりもはるかに遅いということです。 1990 年代以降の過去 20 年間を振り返ると、AI アプリケーション エンジニアリングは急速に進歩しましたが、コア技術とコア課題におけるブレークスルーは比較的限られていました。いくつかの技術は近年登場したように見えますが、実際には古くから存在していました。

自動運転を例に挙げると、米国カーネギーメロン大学の研究者らが実施したアルヴィンプロジェクトは、1980年代後半にニューラルネットワークを使用して自動運転を実現し始めました。1995年には、7日間をかけて約3,000マイルを走行し、米国を東から西に横断することに成功しました。チェスに関して言えば、1992年にIBMの研究者が開発したTD-GammonはAlphaZeroに似ており、自己学習と強化が可能で、バックギャモンの分野でマスターレベルに達しています。

[[419231]]

1995 年のトランスアメリカ プロジェクト開始前のチーム写真。

しかし、データや計算能力の限界により、これらの研究は点ごとに行われるのみで、大規模なものにはならず、当然ながら国民の間で幅広い議論を呼ぶこともありませんでした。今日、ビジネスの普及、コンピューティング能力の向上、データへの便利なアクセス、アプリケーションの障壁の低下により、AI はよりアクセスしやすくなっています。

しかし、中核となる考え方は根本的に変わっていません。私たちは皆、有限のサンプルを使用して関数近似を達成し、世界を記述しようとしています。入力と出力があります。私たちは、勾配降下法や勾配逆伝播法などのアルゴリズムとトレーニングプロセス全体を含む、AI の学習プロセスを関数近似プロセスとして想像しています。

同様に、中核的な問題も効果的に解決されていません。 1990 年代から学術界が問い続けてきた中核的な疑問は今日まで答えが出されておらず、それらはすべてニューラル ネットワークとディープラーニングに密接に関連しています。例えば、非凸関数の最適化問題では、得られる解は大域的最適解ではなく局所的最適解になる可能性が高く、学習中に収束しない可能性があり、データが限られているために汎化が不十分になる問題も発生する可能性があります。私たちはこの解決策に惑わされて、さらなる可能性を無視してしまうのでしょうか?

2. ディープラーニング：大ブーム後の開発ボトルネック

言うまでもなく、ディープラーニングに代表される AI 研究は近年、多くの驚くべき進歩を遂げています。たとえば、複雑なネットワークのトレーニングでは、CNN とトランスフォーマーという 2 つの特に成功したネットワーク構造が生み出されました。 AI研究者は、ディープラーニングを基盤として、音声、意味論、視覚などさまざまな分野で急速な発展を遂げ、多くの実用的な問題を解決し、大きな社会的価値を実現してきました。

しかし、ディープラーニングの発展を振り返ると、AI実践者は非常に幸運だったとため息をつくしかない。

1 つ目は、ディープラーニングの発展を大きく促進した確率的勾配降下法 (SGD) です。確率的勾配降下法は、実際には大きな制限がある非常に単純な方法です。最適化では収束が遅い方法ですが、深いネットワークでは非常に優れたパフォーマンスを発揮し、驚くほど優れています。なぜそんなに良いのでしょうか？今のところ、研究者たちは完璧な答えを見つけていない。同様の不可解な幸運には、残差ネットワーク、知識蒸留、バッチ正規化、ウォームアップ、ラベルスムージング、グラデーションクリップ、レイヤースケーリングなどがあります。特に、それらのいくつかは超一般化機能を備えており、複数のシナリオで使用できます。

さらに、機械学習においては、研究者は常に過剰適合の問題を警戒してきました。パラメータが多すぎると、すべての点に非常によく適合する曲線に問題が生じる可能性が高くなりますが、ディープラーニングではこれはもはや問題ではないようです...多くの研究者がこれについて議論してきましたが、まだ明確な答えはありません。さらに驚くべきことは、データにランダムなラベルを付けても、完全に適合し (下の図の赤い曲線を参照)、最終的に適合誤差が 0 になることです。標準理論によれば、これはモデルに偏りがなく、あらゆる結果を説明するのに役立つことを意味します。考えてみてください。すべてを説明できるモデルは本当に信頼できるのでしょうか。すべての病気を治せる万能薬は信頼できるのでしょうか。

ディープラーニングを理解するには、一般化を再考する必要があります。ICLR、2017。

ここで、現在のディープラーニングをより深く理解するために、機械学習全体の発展の歴史を振り返ってみましょう。

機械学習にはいくつかの発展の波がありました。1980 年代と 1990 年代の最初の波はルールベースでした。 1990 年代から 2000 年代にかけては、ニューラル ネットワークが主な焦点でした。ニューラル ネットワークには優れた機能があることがわかっていましたが、多くの基本的な疑問は未解決のままでした。そこで 2000 年代以降、あるグループがこれらの基本的な問題を解決しようとしました。最も有名なのは SVM (サポート ベクター マシン) です。数学的背景を持つ研究者グループは、機械学習のプロセスを理解し、関数をより適切に近似する方法、高速収束を確実にする方法、その一般化を確実にする方法など、最も基本的な数学の問題を学習することに焦点を当てました。

当時、研究者は理解することに大きな重点を置いており、良い結果は理解を深めることから生まれるはずでした。研究者は、優れた理論的基礎があるかどうかを非常に気にします。アルゴリズムの優れた分析を行うには、まず関数解析と最適化理論を深く理解する必要があり、次に一般化理論を行う必要があるからです。おそらく、機械学習の分野で発言権を持つには、これらの項目が非常に優れている必要があります。そうでなければ、論文を理解することさえできません。研究者が大規模な実験システム、特に分散型システムを自ら構築したい場合、豊富なエンジニアリング経験も必要であり、そうでなければ到底実現できません。当時は既製品があまりなく、エンジニアリング実装のほとんどを自ら行う必要がありました。

しかし、ディープラーニングの時代になって、すべての研究者にとって便利で敷居を下げる非常に優れたフレームワークを誰かが作り上げました。これは本当に注目すべきことであり、業界の急速な発展を促進しました。今日、ディープラーニングをやりたいと思ったら、良いアイデアがあれば実行できます。数十行、場合によっては数十行のコードを書くだけで実行できます。何千人もの人々があらゆる種類の新しいプロジェクトを実験し、あらゆる種類の新しいアイデアをテストしており、非常に驚​​くべき結果が出てくることがよくあります。

しかし、ディープラーニングは現在、大きなボトルネックに直面していることを認識する必要があるかもしれません。かつてディープラーニングの成功を助けた幸運と不可解なブラックボックス効果は、今ではディープラーニングのさらなる発展の足かせとなっている。

3. 次世代AIの3つの方向性

AIの未来はどこにあるのでしょうか?次世代の AI はどうなるのでしょうか?現時点では明確な答えを出すのは難しいですが、探求して突破する価値のある方向性が少なくとも 3 つあると考えています。

最初の方向性は、ディープラーニングの根本的な理解を追求し、現在のブラックボックス状態を打破することです。この方法でのみ、AIは科学になることができます。具体的には、以下の重要な問題における突破口となるものを含める必要があります。

• DNN ベースの関数空間のより包括的な特性評価。
• SGD（またはより一般的には一次最適化アルゴリズム）の理解。
• 一般化理論の基礎を再考する。

2つ目の方向性は、知識とデータの有機的な統合です。

人間は多くの意思決定を行う際に、データだけでなく多くの知識も活用します。 AI が知識構造を有機的に統合し、それを重要な要素にすることができれば、AI は必ず画期的な発展を遂げるでしょう。研究者たちはすでにナレッジグラフやその他のプロジェクトに取り組んでいますが、知識とデータの有機的な組み合わせをさらに解決し、使用可能なフレームワークを探求する必要があります。これまでにも、論理と基本理論を組み合わせて興味深い構造を形成するマルコフ論理などの革新的な試みがいくつかありました。

3 番目の重要な方向性は、自己教師学習と小サンプル学習です。

これを3番目に挙げましたが、AIと人間の知能のギャップを埋めることができるため、現時点では注目すべき方向性です。

今日、音声認識や画像認識などの一部の機能において、AI が人間を上回ることができるという話をよく耳にします。最近では、DAMO Academy の AliceMind も、視覚的な質問応答のスコアで初めて人間を上回りましたが、これは AI が人間よりも賢いことを意味するものではありません。 Google は 2019 年に、知能の尺度に関する非常に洞察に富んだ論文を発表しました。その中心となる考え方は、真の知能には優れたスキルだけでなく、より重要なのは、素早く学習し、素早く適応し、素早く一般化する能力が必要であるということです。

この見解によれば、AI は現時点では人間よりはるかに劣っており、いくつかの面では精度において人間を上回るかもしれませんが、その適用範囲は非常に限られています。ここでの根本的な理由は、人間、特に賢い人間は、結果を素早く得るためにわずかな学習コストしか必要としないということです。これは、AI と人間の主な違いの 1 つでもあると私は考えています。

AI が人間ほど賢くないことを証明する非常に単純な事実があります。翻訳を例に挙げてみましょう。現在、優れた翻訳モデルには少なくとも数十億のデータが必要です。本が数十万語程度であれば、AI はおそらく数万冊の本を読まなければならないでしょう。言語を学ぶために何万冊もの本を読む必要があるとは想像しにくいでしょう。

もう一つの興味深い比較は、ニューラルネットワークと人間の脳の構造の比較です。現在、AIは深度を重視しており、ニューラルネットワークは数十、数百の層を持つことが多いです。しかし、人間、特に視覚を例にとると、視覚ニューラルネットワークは合計4層のみで、非常に効率的です。さらに、人間の脳の消費電力はわずか 20 ワット程度と非常に低いのですが、今日の GPU は基本的に数百ワットであり、桁違いの差があります。有名な GPT-3 は、747 機による米国東海岸から西海岸への 3 往復に相当する二酸化炭素排出量を生み出します。情報のエンコードについて見てみると、人間の脳は時系列でエンコードしますが、AIはテンソルとベクトルを使って表現します。

AIの発展は必ずしも人間の脳の知能の方向に発展する必要はないと言う人もいるかもしれません。私もこの見解は理にかなっていると思いますが、AI がボトルネックに遭遇し、他の参照先が見つからない場合、人間の脳の知能を参考にすると、何らかのインスピレーションが得られるかもしれません。例えば、人間の脳の知能と比較すると、今日のディープニューラルネットワークは最も合理的な方向性なのでしょうか?今日のコーディング方法は最も合理的でしょうか?これらは今日の AI の基盤ですが、本当に良い基盤なのでしょうか?

GPT-3 に代表される大規模モデルは、ディープラーニングにとって画期的な方向性でもあり、ある程度の自己学習を実現できるとも言えるでしょう。大きなモデルは、これまでに見たすべてのものに追いつくようなものなので、新しいシナリオに遭遇したときに、それほど多くの新しいデータは必要ありません。しかし、これが最善の解決策なのでしょうか?まだ分​​かりません。翻訳を例にとると、外国語を習得するためにこれほど多くのものをインストールする必要があるとは想像しにくいでしょう。現在、大規模なモデルは数百億、数千億のパラメータから始まり、人間がこれほど大量のデータを持ち運ぶことは不可能です。

だから、私たちは探求を続ける必要があるのか​​もしれません。

4. AIの機会：科学のためのAI

そうは言っても、がっかりする人もいるかもしれません。私たちの AI はまだ上記の 3 つの問題を解決しておらず、AI はまだ科学になっていないので、AI の価値は何でしょうか?

テクノロジー自体には計り知れない価値があります。インターネットは私たちの仕事と生活を完全に変えました。テクノロジーとして、AI にとって現在最も大きなチャンスの 1 つは、重要な科学的問題の解決を支援することです (AI for Science)。 AlphaFold は、半世紀にわたって生物学を悩ませてきたタンパク質折り畳みの問題を AI が解決したことをうまく実証しました。

AlphaFold から学ぶ必要はありますが、それを崇拝する必要はありません。 AlphaFold の実証的な意義は、DeepMind がテーマの選択に非常に優れていることです。彼らは、現在十分な基礎とデータの蓄積があり、突破できそうないくつかの難しい問題を選択し、その時点で最高のチームを編成して、それを克服することを決意しました。

自然科学の分野には重要な未解決の問題が多く、AI には新素材の発見、結晶構造の発見、さらには定理の証明や発見など、より大きなチャンスがあるため、AlphaFold よりも重要な成果を生み出すことができるかもしれません。AI は従来の研究方法を覆し、歴史を書き換えることさえできるのです。

たとえば、物理学者の中には、AI を使って物理法則を再発見できるかどうか考えている人もいます。過去数百年にわたり、物理法則の発見は天才に頼ってきました。アインシュタインは一般相対性理論と特殊相対性理論を発見し、ハイゼンベルク、シュレーディンガーらは量子力学の先駆者となりました。これらはすべて個人の行為です。これらの天才がいなければ、多くの分野の発展は数十年、あるいは数百年も遅れることになるだろう。しかし、今日では、データが増え、科学法則がますます複雑化しており、1人か2人の天才に頼るのではなく、AIに頼って物理法則を推測できるのでしょうか?

量子力学を例にとると、その核心は天才物理学者によって導き出されたシュレーディンガー方程式です。しかし現在、物理学者たちはAIを使って、収集した大量のデータの背後にある法則を自動的に推論し、シュレーディンガー方程式を記述する別の方法さえ発見した。これは物理学、さらには人類の未来を変える可能性を秘めた、本当に素晴らしいことです。

私たちが推進しているAI EARTHプロジェクトは、気象分野にAIを導入しようというものです。天気予報には数百年の歴史があります。これは非常に重要かつ複雑な科学的問題であり、複雑な計算を実行するにはスーパーコンピューターが必要です。多くのリソースを消費するだけでなく、特に正確というわけでもありません。 AI を使って今日この問題を解決し、天気予報を効率的かつ正確にすることはできるでしょうか?成功すれば、とても興奮するでしょう。もちろん、これは時間と決意を必要とする非常に困難なプロセスとなることは間違いありません。

5. AI実践者：関心は増し、功利主義は減る

AIの現状は、私たちAI研究者全員にとっての試練です。 AI の基礎理論における画期的な進歩であれ、AI を使って科学的問題を解決することであれ、それは一夜にして達成できるものではなく、研究者には賢さと決意の両方が求められます。賢くなければ、不確実な未来でチャンスをつかむことは不可能であり、決意がなければ、おそらく怖くなるでしょう。

しかし、より重要なのは利益主導ではなく興味主導であり、短期間での成功を熱望しすぎないことです。近年のディープラーニングの隆盛により、中国のAI分野には大量の人材と資金が流入し、業界の発展が急速に促進されましたが、同時に非現実的な期待も生じています。 DeepMindがAlphaGoを開発した後、中国の一部の人々がそれに倣ってそれを模倣しましたが、その中核となる基本的な革新と進歩の点では、その重要性は比較的限られていました。

AIはまだ科学ではないため、これまで誰もやったことのないことを探求しようとしており、失敗する可能性が高いです。つまり、無数の失敗を乗り越えるためには、本当の興味を持ち、興味と好奇心に頼って自分自身を前進させなければならないということです。 DeepMind が AlphaGo と AlphaFold プロジェクトで成功を収めたのを見たことがあるかもしれませんが、失敗したプロジェクトや聞いたことのないプロジェクトは他にもたくさんあるかもしれません。

興味に基づいた研究という点では、海外の研究者から学ぶことができます。チューリング賞を受賞した一流の科学者の中には、今も日々第一線で研究を行い、自ら理論を導き出している人もいます。私がCMUで勉強していた頃、学校にはチューリング賞受賞者が大勢いて、彼らはたいていさまざまなセミナーに出席していたことを今でも覚えています。私が知っている人の一人は、暗号研究でチューリング賞を受賞したマヌエル・ブルムです。あるとき、セミナーに出席したところ、マヌエル・ブルムは席がなく、教室の階段に座っていました。彼はどこに座るか気にしません。興味があるときにだけ来て、空席がなければ押し込んで座ります。私はかつてノーベル経済学賞受賞者のトーマス・サージェント氏にお会いする機会に恵まれました。彼は経済学者としてすでに大きな成功を収めていましたが、60歳で一般相対性理論の研究を始め、70歳でディープラーニングの研究を始め、76歳になってもまだ私たち若い世代とディープラーニングの進歩について議論していました...これが研究に対する真の愛情なのかもしれません。

中国に話を戻しますが、私たちは自らを卑下する必要はありません。中国の AI エンジニアリングは世界をリードしています。AI がまだ比較的初歩的であると認めることは、実践者の努力を否定するものではなく、むしろ、急がず、より断固とした長期的な努力をする必要があることを思い出させてくれます。もし電気時代にファラデーのような先駆者がいなかったら、そして次から次へと点のような発見がなかったら、理論をまとめ、人類が電気時代に入ることは不可能だったでしょう。

同様に、AI 開発は、私たちが大きな革新を目指し、日々懸命に努力し、常に新しいアイデアを試すことにかかっており、そうすれば小さなブレークスルーがいくつか生まれるでしょう。賢い人たちがこれらの点状のブレークスルーを結び付けて理論にまとめることができたときのみ、AI は大きなブレークスルーを達成し、最終的には科学となるでしょう。

私たちはすでに、電気の時代よりも輝かしく刺激的な時代となるであろう AI 時代の扉に半歩踏み出しています。しかし、そのすべての前提は、すべての研究者の揺るぎない努力にかかっています。