MuskxAIの創設メンバーが中国で最初の声明を発表: ChatGPTの時代では「困難な時代に英雄が現れる」、次のステップはより多くの数理科学データトレーニングを使用することです

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

マスク氏は「宇宙の本質を深める」ためにxAIを設立したが、その創設メンバーは洗練されていて神秘的だ。

これらのメンバーのほとんどは、AI そのものの分野に焦点を当てているのではなく、基礎分野のバックグラウンドを持ち、AI に触れる前には基礎的な数学や物理学を学んでいました。

この会社は一体何をしたいのでしょうか？

ちょうどこの2日間で、邱成同氏の弟子であるグレッグ・ヤン氏が「xAIの創設メンバー」として国内のカンファレンスで講演する初めての人物となった。

国際基礎科学会議の「基礎科学と人工知能」フォーラムでは、これまで行ってきた数学的AI研究と今後取り組む予定の研究、そして大規模モデルの現在の開発状況についての見解を語りました。

そして彼の個人的な経験が再び表面化し、より多くの人々の注目を集めました。

次はどんな研究でしょうか？

国際基礎科学会議で、ヤング氏は自身の現在の研究の方向性について講演した。

講演のテーマは主にAIと数学の交差点に関するものです——

数学的な観点から、ニューラル ネットワーク アーキテクチャを記述するための統一プログラミング言語Tensor Programsを確立します。

これは、彼が Microsoft Research に入社して以来研究してきた分野です。2019 年に 2 つの独立した論文が発表された後、これまでにこのプロジェクトに関する 7 つの関連論文が発表されています。

具体的には、Tensor Programs プロジェクトには「短期目標」と「長期目標」があります。

短期的には、このプログラミング言語は、新しいニューラル ネットワーク アーキテクチャを設計するときに初期化条件を自動的に分析し、最適なハイパーパラメータ初期化条件を提供して、モデルのトレーニングをスムーズにすることができます。結局、これまでこの領域の初期設定は、ほぼ「完全に経験に基づいたもの」でした。

長期的には、Tensor Programs プロジェクトの目標は、大規模なディープラーニングのための「万物の理論」を開発することです。

これは、Young 氏が xAI で実施する研究の方向性について Twitter で述べた内容とも一致しています。

現時点では、大規模モデルであれ、他のAI研究方向であれ、AIの「ブラックボックス」の問題は真に解決されていません。つまり、どのAI研究方向（より大きなパラメータ量を持つモデル、つまりMoEを積み重ねること）がより高いリターンをもたらすかについては、明確な結論が出ていません。

したがって、テンソル プログラムの最終的な目標は、大規模な AI モデルの動作を真に理解できる理論的なルールを見つけることです。

Tensor Programs の最新のプロジェクト進捗は、Microsoft と OpenAI が発表した論文「µTransfer」です。Young は共同筆頭著者としてこの研究を完了しました。

この研究の核心は、大規模なモデルが最適なハイパーパラメータ構成を見つけられるように支援し、より多くのモデルの時間と計算能力のコストを節約することです。そうでなければ、大規模なモデルの場合、「再トレーニング」はパラメータの非常に無駄な動作になります。

この研究はオープンソース化されています。Young 氏はスピーチの中で、µTransfer を例に挙げて Tensor Programs プロジェクトの進捗状況も紹介しました。

これらの研究論文で焦点が当てられている AI モデルから判断すると、大規模モデルは現在、ヤングの主要な研究方向の 1 つになっています。

注目すべき点の 1 つは、μTransfer が GPT-4 で使用されていることです。

公開アカウント「Andy's Writing Room」の著者は、スピーチの後にグレッグ・ヤンとチャットしました。

ステージを降りた後、 GPT-4 は μTransfer を使用しているかどうかを尋ねたところ、彼は肯定的な答えを返しました。

それで、彼は大型モデルの将来を具体的にどのように見ているのでしょうか?

このフォーラムの円卓討論会で、楊歌氏は大型モデルの開発方向についての見解も述べた。

彼は、大きなモデルパラメータを積み重ね続けることでモデルはますます効果的になると考えていますが、これにはデータセットの質と量を増やすという前提条件があります。

以前は、ネットワーク データを収集するだけで十分でしたが、現在では、モデルの科学的および数学的推論能力を向上させるために、トレーニング セットをより数学的、科学的、論理的なものにする必要があります。

同時に、ヤング氏は科学研究とクロスイノベーションの最前線で活躍するAI研究者に「自分の夢を追いかけなさい」とアドバイスした。

この段階でAIに携わっていた優秀なエンジニアや研究者の多くは、私のように博士号を持っていなかった。彼らはただやりたいと思って、少し努力して結果を出しただけだった。例えば、アレック・ラドフォードはGPT-1とGPT-2を自ら作成し、後にOpenAIが資金を投入し始めた。

曹操は「英雄は乱世に現れる」と言いました。これは新しい世界です。外部環境を考えるのではなく、ただ実行してください。火花が散る可能性は高いです。そのためには情熱が必要です。

そうです、ヤング氏は「博士課程の学生のみを採用する」というマイクロソフトリサーチの伝統を破り、学部卒業後すぐに同機関に加わったのです。

彼の学業経験の何がそんなに特別なのでしょうか?

つまり、なぜ彼はマスク氏に選ばれた「12人」の1人だったのか？

ヤングって誰？

楊歌は湖南省で生まれ、北京で小学校を卒業した後、アメリカに渡り、ハーバード大学数学科に入学して学部課程を修了した。

ハーバード大学での最初の 2 年間、ヤングはドラム グループやコンサルティング グループなど、さまざまな活動に参加しました。

2年生の終わりに、彼は学校を中退して音楽のキャリアに専念することを決意し、エレクトロニックダンスミュージックのプロデューサー兼DJとなり、「ゼータ」という芸名を名乗った。

ヤングが人工知能に触れたのもこの時期でした。

1年半後、ヤングは自分の「本当の愛」はやはり数学であることに気づき、ハーバード大学に戻った。

春学期を終えた後、彼はさらに2年間休学しました。このとき、彼は音楽に集中する代わりに、数学と理論計算機科学、そして人工知能の最先端の進歩を素早く学びました。また、物理学、生物学、神経科学についても幅広い知識を身につけました。

さらに、彼はニューラルチューリングマシンの研究も行い、微分可能位相幾何学の考え方と組み合わせて「リーアクセスニューラルチューリングマシン」を提案し、ICLR に発表しました。

ハーバード大学に戻ったヤングは、シン・トン・ヤウ教授の下で学びました。

△ ヤングとシン・トン・ヤウ、出典：ヤングのツイッター

ヤング氏は2017年にハーバード大学を卒業し、数学の学士号とコンピューターサイエンスの修士号を取得しました。彼はまた、学部生による数学の優れた研究に対して2018年のフランク・アンド・ブレニー・モーガン賞の佳作も受賞しました。

卒業後、教師のシン・トン・ヤウがヤングに「卒業後はどこに行くの？」と尋ねたところ、ヤングは「グーグルに行きます」と答えた。

邱成同氏は「グーグルのような悪い会社には行かないでください。私には沈興洋という友人がいます。すぐに電話します」と語った。

その後、シャムはフィールズ賞受賞者のマイケル・フリードマンにヤングへのインタビューを依頼した。

面接の後、マイケルは「この子はすごい」と言いました。当時、彼は大学を卒業したばかりでしたが、ハーバード大学では少なくともトップ5には入っていました。

当時、私（沈向陽）は楊歌に、もしグーグルからのオファーを見せてくれたら、追加で1ドルあげるから、マイクロソフトに来てもいいよ、と言いました。

結局、ヤング氏はマイクロソフトを選んだ。マイクロソフトに入社後、楊歌氏は沈向陽氏からも高い評価を受けた。

Microsoft Research は通常、博士課程の学生のみを採用しています。Yang Ge は学部卒業生として Microsoft Research に入社しました。彼は Microsoft Research に入社しただけでなく、過去 5 年間で特に GPT の開発において素晴らしい仕事をし、多大な貢献を果たしました。

マイクロソフトに入社後、ヤング氏の重要な業績の 1 つは、前述の「Tensor Programs」フレームワークの開発を継続し、GPT-3 を使用して提案されたハイパーパラメータ移行方法を検証したことです。関連する論文は、NeurIPS や ICML などのトップ カンファレンスで取り上げられています。

さらに、Google Scholarのデータによると、ヤング氏は2015年以降34本の論文を発表している。

最も引用数が多かった論文は 415 件で、これも彼がマイクロソフトで発表した論文であり、ヤング氏はこのプロジェクトの主要な指導者を務めました。

現在、Young氏の個人ホームページとTwitterホームページが更新されています。同氏はMicrosoft Researchを離れ、xAIに入社し、引き続き数学の仕事に従事する予定です。

ヤングは新たな選択をしましたが、最初の中退後も数学への愛を決して捨てませんでした。

このフォーラムで、ヤング氏はどのようにして音楽の追求を貫き、その後数学の研究に転向したのかについても質問された。

ヤング氏はこう答えた。

あくまで個人的な趣味です。大学2年生で中退する前は、数学が得意だったので、一生これ（数学の研究）をやろうと思っていました。その後、私は音楽を勉強し始めましたが、しばらく考えてみて、私はまだ数学が大好きだということに気づきました。

外発的動機と内発的動機があるかもしれません。先生が数学のテストで100点をくれたとき、とても嬉しい気持ちになるのと同じです。これは外的なものです。こうした外的要因と内的要因の混合により、自分の本当の興味を感じることが難しくなるかもしれませんが、しばらく休んだ後、自分の（数学への）情熱が心の底から湧き上がってきたと感じ、その後、私は大きく前進しました。

もう一つ

以前ヤングが皆さんに勧めた 300 冊以上の本(主に数学の本)を覚えていますか?

読んだ後、多くのネットユーザーは「本のリストが長すぎて、普通の人が読み終えられるものではない」と言い、一部のネットユーザーは「GPTを使用して要約を手伝ってくれませんか？」と冗談を言った。

フォーラムの後、私たちはYang Ge氏ともチャットし、ChatGPTのような大規模モデルに関する彼の見解を聞きました。

質問：以前、300冊以上の本を推薦されていましたが、その多くは数学の本でした。AIがそれらを核心に直接要約することは可能だと思いますか？日常生活でも、基本的な数学研究に役立てるために GPT-4 のようなモデルを使用していますか?

楊歌：AIの要約能力は現在かなり優れているはずなので、簡単な要約を作るのに問題はないと思います。しかし、数学的な原理など、その背後にある原理をより深く理解したい場合、現時点では AI はあまり役に立たないかもしれません。

日常生活では、 （大型モデル）を頻繁に使用します。

質問：主にどのような分野で使用されているか教えてください。

Yang Ge : 最も有用な方法はプログラムを書くことだと考えます。たとえば、確かに自分でプログラムを書くこともできますが、そうすると、まず数時間かかる可能性があり、次に、この種の作業に特に興味がないかもしれません。そのため、このような作業では ChatGPT を使用すると、作業がしやすくなります。

質問: 核となる思考を完了することと同等であり、その後 ChatGPT がコードの実装を支援します。

Yang Ge : 実際、インターネットで何度も見たことがあるプログラムを実装するだけなので、非常にうまく書けます。

しかし、論理プログラムなどの複雑なプログラムを今すぐに書きたい場合、ChatGPT ではうまくできない可能性があります。しかし、何百回も書いたことがあるようなプログラムで、もう一度書きたくない場合は、ChatGPT を使用して完成させることができます。