沈向陽、周明、楊歌はビッグモデルについて議論した。パラメータを積み重ね続けると、ビッグモデルは新たな「知能の出現」につながるのか？

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

ビッグモデルは AI 分野で熱狂の波を引き起こし、学術研究と産業界の起業の両方で今も注目を集めています。

しかし、注目が高まるにつれて、 AIの専門家の間でも「今後ビッグモデルがどのような方向に向かうのか」についてさまざまな意見が出てきました。

• パラメータ数が増えると、AIモデルに新たな「知能の出現」が現れるのでしょうか？
• より多くのモーダルでより高品質なデータが、AI モデルの将来の開発の鍵となるでしょうか?
• ChatGPT が中国で利用できないのはなぜですか?
• …

「基礎科学と人工知能」と題されたフォーラムでは、さまざまな分野のAI専門家数名が、これらの問題について非常に熱烈で異なる見解を表明した。

フォーラムは清華大学の孫茂松教授が主催し、米国国立工学アカデミーの外国人会員であるハリー・シャム氏、ドイツ国立工学科学アカデミー会員である張建偉氏、蘭州科技の創設者兼CEOである周明氏、xAI創設メンバーである楊歌氏が円卓討論会に参加した。

写真

会話の中で、彼らは大規模モデルや汎用人工知能など、今日の AI 分野における最も差し迫った問題のいくつかに焦点を当てました。

本来の意味を変えずに円卓討論会を開催し、皆様にインスピレーションを与えていただければ幸いです。

大規模モデルとAGIの問題点と課題

「ビッグモデルで価値を創造する方法」「数学理論と知能の出現」「基礎科学と具現化された知能」などのテーマで講演した後、5人のAI専門家が「ビッグモデルと汎用人工知能：問題と課題」をテーマに円卓討論会を開催しました。

「ビッグ」はモデルの未来か？

Sun Maosong (司会) : まずは GPT-3 の論文から始めましょう。当時、私はそのタイトル「言語モデルは少数の学習者」に気づき、すぐにこの視点に魅了されました。少数の学習者は、知性と同じくらい人工性があるというこれまでの見方を覆しました。これは実際には質的な変化であり、機械が 1 つの例から推論を導き出す能力を持っているかのようです。

しかし、我々はこのチャンスを逃し、前進しませんでした。当時の国内の判断では、中国における自然言語処理や人工知能の分野は、2012年から現在まで、学校、マイクロソフトリサーチ、大企業などを含めて非常に接近しており、基本的には国際最先端の分野で活動していると言えます。例えば、周明氏はACLの元会長です。私の推計では、ACLで中国の学者が発表した論文の数は、アメリカ人とほぼ同じです。しかし、我々はこのチャンスを逃してしまいました（GPT-3） 。

当時、私たちは、この大規模モデルについて、数ショットの結果しか見られなかったものの、その性能は限界に達するだろうと無意識に信じていました。しかし、OpenAI は明らかに異なります。同社は、この(パフォーマンス)が向上すると確信しており、ChatGPT もあります。

過去は過去。このモデルは今後どんどん大きくなっていくことが想像できます。テキストだけでなく、画像、動画、立体、具現化も含まれるでしょう。例えば、モデルのスケールが10倍、100倍になるとしたら、100倍というのは人間の脳のパラメータスケールと同じくらいでしょう。その頃には何か新しいものが生まれているでしょうか？

△孫茂松

飽和するでしょうか？あるいは、どの時点で再び上向きに「ジャンプ」するのでしょうか?

私たちはこれについて判断を下すべきです。それを理解できなければ、再び遅れをとることになるかもしれません。この質問についてはあなた自身で判断し、その理由を教えてください。まずはヤングから始めましょう。

沈向陽：もしよろしければ、まず楊歌を紹介させてください。教師にとって最も幸せなことは、生徒を紹介することです。私は何年も前に、Qiu 先生のおかげで楊歌に会うことができ、とても幸運でした。楊歌は北京で育ち、幼い頃にアメリカに渡りました。彼はハーバード大学の数学の学部課程に入学し、とても優秀な成績を修めました。彼は音楽の夢を追いかけるために学校を休学し、1、2 年 DJ になりました。その後、彼は自分の本当の愛はやはり数学であることに気づき、ハーバード大学に戻って数学に夢中になり、とても優秀な成績を修めました。

卒業したとき、邱さんは彼に「卒業後はどこに行くの？」と尋ねました。彼は「グーグルに行きます」と答えました。邱さんは「グーグルのような悪い会社には行かないで。沈向陽という友達がいます。すぐに電話します」と言いました。

その後、邱先生から電話があり、私は電話でヤングに面接しましたが、私の数学の知識が足りず、邱先生の推薦を完全に信頼することはできなかったので、フィールズ賞を受賞したマイケル・フリードマンに面接を依頼しました。面接後、 （マイケル・フリードマンは）この子はすごいと言いました。当時、彼は大学を卒業したばかりでしたが、ハーバード大学では少なくともトップ5には入っていました。

その時私はヤン・ゲに、もしグーグルからのオファーを見せてくれたら、追加で1ドルあげるから、マイクロソフトに来てもいいよ、と言いました。そこで彼はマイクロソフトに来ました。マイクロソフト リサーチでは通常、博士課程の学生のみを採用しています。ヤン・ゲは学部卒業生としてマイクロソフト リサーチに入社しました。彼はマイクロソフト リサーチに入社しただけでなく、過去 5 年間で素晴らしい仕事をし、特に GPT の開発に大きく貢献しました。

最近、マスク氏はxAIという新しいユニコーン企業のスタートアップに取り組んでおり、ヤング氏はマスク氏からパートナーとして招待された最初の人物だ。まず楊歌について簡単に紹介し、その後楊歌が孫先生の難しい質問に答えます。

楊歌：孫先生の質問に答えてみようと思います。ご質問は、将来モデルが大きくなり、データセットが大きくなった場合、 （パフォーマンスは）向上し続けるのでしょうか？

状況によりますが、少なくともこのようになります。モデルが大きくなって、トレーニング セットが固定されている場合、またはトレーニング セットが同じである場合、トレーニング損失は確実に 0 まで下がり続けます。

ただし、トレーニング セットと望ましい一般的な知能との間のギャップの大きさは、収集したデータ セットの品質によって異なります。

したがって、モデルが大きくなるにつれて、より多くの、より質の高いデータセットを収集する必要があり、データセットはより豊富になるはずです。

これまでは、オンライン世論に傾倒したデータセットを使用していました。今後は、数学、科学、論理に傾倒したトレーニング セットを使用します。この方法でのみ、モデルの科学的および数学的推論能力を向上させることができます。まだ道のりは長いです。

孫茂松（司会） ：モデルのパフォーマンスは確実に向上しますので、問題ありません。もっと率直に質問すると、例えば画像の分野では、将来的に創発が起こる可能性はあるのでしょうか?

なぜなら、現在の画像モデルは比較的小さいからです。画像モデルはテキストモデルの 10 分の 1 のサイズしかないと思いますが、まだ実現には遠いです。では、画像モデルを大きくすると、特に三次元性の話はせずに、ビデオを時系列空間に配置すると、ビデオ分野で創発を生み出すことは可能でしょうか?テキストの分野だけではありません。

ヤング：確かにそうですね。データセットがより豊富であると言ったのは、ビデオ、テキスト、画像などのデータをすべて追加できると考えているという意味です。将来的には、より豊富なトレーニング セットを収集するために使用できる他のシグナルや特殊なシグナルが登場します。それらは間違いなく役立つと思いますが、それは品質次第です。

シュム：ヤン・ゲさんのおっしゃったことに私も同感です。私個人としては、この（大型モデル）の能力はまだ限界に達していないと思っています。

これは、周教授がスピーチで述べたことに反対しているわけではありません。大きなモデルに加えて、産業モデルやシナリオモデルも必要であり、それらを実行する必要があります。

しかし、知能の観点から見ると、GPT-3 はまだ始まったばかりだと私は個人的に考えています。現時点では、GPT-4 は皆を驚かせており、GPT-5 はまだ研究中です。1、2 年後に GPT-5 がリリースされた後でも、まだ底に到達することはないと思います。

科学研究に携わる私たちにとって、非常に重要な疑問は、 （大規模モデルのパフォーマンスが）今後も急激に向上し続けるかどうかです。少なくとも、GPT-5 に取り組んでいる人々は、それがまだ急成長すると信じています。個人的には、まだ決心して、大きなモデルを作るために一生懸命働く人々のグループを作る必要があると強く信じています。これに疑いの余地はありません。

先ほど、マルチモーダル性とコンピューター ビジョンについてお話ししました。また、現在の大きな視覚モデルはまだ十分に大きくないと私は確信しています。マルチモーダルをどのようにトレーニングするのでしょうか?実際、GPT-4 はまだあまり良い成果を上げておらず、まだ想像の余地がたくさんあります。ご存知のとおり、IDEA 研究所でも、このようなことをさらに進めようとしています。

ここ数年、衝撃を受けた記事がいくつかありましたが、その一つがGoogleのViT （Vision Transformer）です。

コンピュータービジョンに（知能の出現）があるかどうかと質問されましたね？私たちがコンピューターに取り組んでいたとき、周教授は自然言語処理に取り組んでおり、私はコンピュータービジョンに取り組んでいました。分野が異なっていたため、お互いにコミュニケーションを取ることはほとんどありませんでした。

大型モデルの登場により、障壁は完全に打ち破られました。今日、周教授はコンピューター ビジョンについて延々と語ることができます。彼の話を聞くと、彼は本当にコンピューター ビジョンについてよく知っていると思います。その理由は、Transformer (ViT 内)などのこれらのテクノロジは、実際には自然言語の分野から来ているからです。ViT は非常にシンプルです。写真をグリッドに分割し、各グリッドが単語です。

これは想像力にあふれており、コンピューター ビジョン モデルはさらに大きく、より優れたものになると思います。

張建偉：また、将来的に学習曲線がどの程度急になるかについても付け加えておきたいと思います。それは一方では、データの質と多様性に依存すると思います。データがすべて均質であれば、学習はそれ以上成長しません。この点で、データの多様性は非常に重要です。

一方、言語の多様性、文化の多様性、マルチモデルの充実があります。

現在、ユニモーダル純粋言語モデルで発生している問題は、将来的にはマルチモーダル形式で検証され、非常に愚かな問題が発生する可能性が減り、信頼性が向上すると思います。

将来的には、画像モダリティ、さらには力覚、触覚、具現化された知能の完全なインタラクティブなモダリティ情報は、ロボットに役立つだけでなく、大規模モデル全体の品質と信頼性にも非常に良い影響を与えるでしょう。

周明：先ほどの先生方の講義はどれもとてもよかったと付け加えておきます。私の意見としては、データを追加していくだけであれば間違いなく増えていくと思いますが、個人的には増加の急峻さがだんだんと横ばいになっていくのではないかと思っています。ただ、いつ横ばいになり始めるかはわかりません。ChatGPT、GPT-4、GPT-5以降で横ばいになり始めるのか、それともまた増加するのかはわかりませんが、それでも増えていくのではないかと思います。これが私の第一の意見です。

2 点目は、（大型モデルは）ある程度、技が尽きるのではないかということです。しかし、私の意見は多くの人から批判され、あなたは大型モデルに反対している、あなたの家族にはお金がないので、そのような大型モデルにアップグレードすることはできないと言われました。

Jianwei が先ほど言ったように、異種または異種の情報は大規模モデルの成長に役立つ可能性があると思います。

たとえば、ナレッジ グラフはビッグ モデルの時代には「無意味」であると信じ、ナレッジ グラフに反対する人は多くいます。しかし、個人的には、ナレッジグラフは「何もない」というよりは、確実にうまく活用されていないし、今後うまく活用される可能性もあると思っています。

ナレッジグラフをテキストに変換して大規模モデルをトレーニングするという現在の方法は、歴史的な流れに逆行しており、最後の手段であると思います。将来的には、ナレッジグラフを大規模モデルで使用するためのより良い方法が必ず登場するでしょう。これが1つ目のポイントです。

第二に、論理的推論と呼ばれるものがあります。大規模なモデルを使用して米国司法試験の問題を解く場合、それがどのような大規模なモデルであっても、能力は少しずつ、しかし非常にゆっくりと向上します。

これは、邱氏が提唱する学際研究に非常に関連していると思います。数学的および論理的推論をビッグモデルにうまく統合できれば、ビッグモデルがさらに大きく成長する日が来るかもしれません。

ChatGPT が中国で利用できないのはなぜですか?

孫茂松（司会） ：もう一つ質問させてください。 ChatGPT が発表された後、誰もが胸を叩き、足を踏み鳴らし、なぜ中国はこれを開発しなかったのかと自問していました。将来を見据えると、確かに多くの重大な問題が関わってきます。高等教育に関して、例えば、学生を教育する際や学生が私たちから何らかの教育を受ける際に注意すべき点など、何か提案をいただけますか。

あるいは、非常に分野横断的で革新的な取り組みがある場合、教師と生徒は何に注意を払うべきでしょうか?

ヤン・ゲ：とてもシンプルです。ただ「自分の夢を追いかけてください」。なぜなら、エンジニアや研究者など、現段階でAIに取り組んでいる多くの優秀な人々を見ると、中には私のように博士号は取得していないが、ただやりたいと思って、少しの努力で成果を出した人もいるからです。例えば、アレック・ラドフォードはGPT-1とGPT-2を自ら作成し、後にOpenAIがこれに資金を投入し始めました。

曹操は「英雄は乱世に現れる」と言いました。これは新しい世界です。外部環境を考えるのではなく、ただ実行してください。火花が散る可能性は高いです。そのためには情熱が必要です。

孫茂松：夢と情熱を持つべきだということには全く同感です。

張建偉：先ほどおっしゃった興味のタイプは、今後の人材育成にとって重要な指標になると思います。現在、中国では大学入試の成績が最も重要な指標としてよく使われています。実際、大学でいくつかの方法を変えれば、より多くの学生が興味に基づいて入学し、より少ない実利的な学生を入学させることができます。

探求する意欲のある学生には失敗を許すべきです。若者には失敗して探求する時間がまだたくさんあります。この傾向は今後も奨励されるべきです。

科学研究の面でも、現在の厳格な KPI アプローチを減らし、科学者が研究室に座り、10 年間スキルを磨き、失敗を許容できるようにして、GPT のような大きなブレークスルーが実現できるようにする必要があります。

周明：私は、貧しい生活からスタートした学生たちに代わって、一言申し上げたいと思います。多くの学生は有名な学校や有名な専攻の出身ではなく、数学もあまり得意ではなく、プログラミングスキルも平均的です。そのような人々が明るい未来を実現するにはどうすればよいでしょうか?もうひとつ言いたいのは、まず、落胆しないでください。

他の人が自分より劣っている点は常に存在します。例えば、劉備。劉備、関羽、張羽の中で、彼は実は最も武術が弱いのですが、関羽と張羽を騙して協力させることができました。

私たち学生はそれぞれに得意分野を持っています。自分の得意分野から始めて、船のチケットを買い、船に乗れば、大きな夢を実現するために一緒に航海する仲間がたくさんいるはずです。これが私のアドバイスです。

沈向陽：これは難しい質問です。あなたは清華大学の教授でもあります。私も清華大学で何人かの学生を教えたことがあります。私は長年マイクロソフト研究所で働いてきました。現在は深センのデジタル経済研究所で働いています。最近は香港科技大学の理事長を務め、高等教育と科学研究に関する問題について考える機会を得ています。

今、国全体が一つの問題について考えていると思います。新たな技術開発の状況下で、一方では、学校は子供たちの教育のためにリラックスした環境と革新の機会を提供する必要があります。

周明さんが今言ったことが特に気に入りました。誰にでもチャンスがあります。特に、何らかの機関や部署で勉強する機会があればなおさらです。そのようなチャンスをつかめば、必ず何か素晴らしいことを成し遂げることができます。

私たちの観点からすると、組織的な科学的研究を実行するための何らかの方法があるかどうかについて、もっと考える必要があります。 GPTについて質問されたので、GPTが出た後に皆が不安になりました。ChatGPTはアメリカで起こった非常に偶然の出来事だったことをご存知でしょう。

ChatGPTが起こる1年前、私たちが反応しなかっただけでなく、ゲイツ氏自身も反応しませんでした。ゲイツ氏は、昨年の6月までは、これが実現可能だとは信じていなかったと語った。8月にデモを受けて、60問中59問正解して初めて、これが本当に可能だと信じるようになったという。

あらゆる業界の問題は、科学研究をどのように組織化するかという独自の道を見つける必要があると私は思います。

OpenAI のアプローチは、Microsoft Research のアプローチとは大きく異なります。OpenAI の成功は、将来も成功し続けることを意味するものではありません。

結果は時間が経てばわかるので、私たちは勤勉な精神を持ち、現状で全員が科学研究を行えるよう常に組織化に努めなければなりません。

具体的な例を挙げると、先ほど周明さんがおっしゃったように、私も先ほどのスピーチでコンピューティング能力の問題についてお話ししました。現在、これほど強力なコンピューティングパワーは存在しません。楊歌がマスクのところへ行き、マスクが彼に 10,000 枚のカードを購入したとしても、楊歌は役に立たないでしょう。

そういう意味では、あらゆる方面からの協力も非常に重要だと思います。これは非常に難しい問題であり、私は表面的な見解しかお伝えできません。

AI専門家による基調講演や円卓フォーラムにご興味がございましたら、ライブ放送のリプレイをクリックしてご覧ください。

「基礎科学と人工知能」フォーラムライブリプレイ: https://live.huiyiguanjia.com/PcLivePro/index.html?istest=true&rid=1162369611