ザッカーバーグはオープンソースのAGIを攻撃するために数百億ドルを投資します！ 600,000 個の H100 を消​​費して GPT-4 の計算能力を 50 倍に増加

Llama2とCode Llamaのリリース後、長い間姿を見せていなかったザッカーバーグ氏は、本日公式発表を行った。

「オープンソースAGI」に全力で取り組みます！

わずか 1 分 45 秒のビデオで、ザッカーバーグ氏は AGI の構築からチームワーク、インフラストラクチャ、その他の取り組みに至るまで、Meta の戦略的アップグレードを共有しました。

次に、重要なポイントを強調していきましょう。 ！ ！

今後、人工知能研究所のFAIRチームは「GenAI」に統合され、緊密に連携しながらAGIの構築と完全オープンソース化に注力していきます。

現在、Meta は次世代モデルである Llama 3 をトレーニングしています。今年末までに、H100 で構築されたインフラストラクチャは 35 万近くになる予定です。

ネットユーザーはラマ3の大きさを想像できない！

Omdiaの調査データによると、MetaのH100の2023年の出荷台数は15万台となり、これはMicrosoftと同等で、他社の出荷台の3倍となる。

ザッカーバーグ氏は「Nvidia A100やその他のAIチップが組み込まれれば、Metaは2024年末までにGPU約60万個に相当する計算能力を持つことになる」と述べた。

さらに、ザッカーバーグ氏は「メタバース」への信念を捨ててはいない。彼は、AI は最終的にはレイバンのスマートグラスなどのスマートデバイスと統合されるだろうと述べました。

GPT-4の30倍の計算能力、GPT-5のレベルに近い

ザッカーバーグ氏がMetaのコンピューティングパワーを明らかにした後、Pytorchの創設者であるSoumith Chintala氏は、ついにGPUデータについて公に話すことが可能になったと語った。今年末までに、Meta は H100 相当の GPU を 60 個搭載する予定です。

また、Meta がどの GPU を導入して使用しているかを誰もが推測できるように、運任せにしていました。

CAISの責任者は、35万個のH100はGPT-4の約30倍の計算能力であり、GPT-5のレベルにほぼ達していると称賛した。

別の誰かがMetaのために計算し、「H100は1台あたり約3万ドルかかる。つまり、ザッカーバーグ氏の会社は電気代は言うまでもなく、計算能力を購入するだけで約105億ドルを支払わなければならないことになる」と言った。

これはラマ3のトレーニング用ですか？

さらに、一部のネットユーザーは、推奨システムを提供するLlama 3のトレーニングには150〜200億ドルの計算能力が使用されると推定している。

チューリング賞の巨匠ヤン・ルカン氏はさらに感銘を受け、本日いくつかのツイートを投稿した。

FAIR の使命は、人間レベルの AI アシスタント、つまり世界を理解し、知覚し、記憶し、推論し、計画し、行動できるシステムを開発することです。

それほど遠くない将来、デジタル世界とのやり取りはすべて、スマートグラスやその他のデバイスを介した AI アシスタントによって処理されるようになるでしょう。これらのシステムには、世界、人々、そして日常生活に役立つツールを理解できる人間レベルの知能が必要です。

進歩を加速させるために、FAIR は現在、人工知能製品部門である GenAI の姉妹組織となっています。同時に、Meta は AI の研究、開発、生産をサポートする大規模なコンピューティング インフラストラクチャを構築しています。

もちろん、私たちはオープンリサーチとオープンソース AI プラットフォームにも取り組んでいます (そうです、Llama 3 が登場します!)。 FAIR は AI 研究を次のレベルに進める世界最高の研究機関であり、Meta は AI を何十億もの人々に届ける最高の企業です。

オープンソース AI がなければ、AI スタートアップ エコシステムは存在しなかったでしょう。

Meta は常に正しいことをしようとしています。

MetaはAI分野でオープンな研究を行っています。

Meta はオープンソースの AI プラットフォームを推進してきました。

過去 1 年間にわたる多くの (そして時には論争を呼ぶ) 議論を経て、オープンソース AI プラットフォームは不可避であり、必要であり、そして良いものであるというコンセンサスが形成されつつあります。

ザッカーバーグ氏：誰もが「オープンソース AGI」を構築している

最近、サム・アルトマンは世界経済フォーラムで、人間レベルの AGI が登場し、GPT-5 がトレーニング中であることを明らかにしました。

2023年、人工知能分野はOpenAIとMicrosoftの主戦場となり、GPT-4やCopilotなどのモデル・製品が次々とリリースされ、多くの大企業が手の届かない存在となりました。

Google、Meta、Apple などのテクノロジー大手は、すでに AI イノベーションの第 2 層に入っています。

早朝、ザッカーバーグ氏はビデオで公式発表を行いました。これは、Meta の全従業員が再編成され、オープンソース AGI の構築に向けて動いていることを意味しています。

インスタグラム動画のキャプションでザッカーバーグ氏はこう書いている。

私たちの長期的なビジョンは、AGI を構築し、責任を持ってオープンソース化し、誰もがその恩恵を受けられるように広く利用できるようにすることです。この目標をサポートするために、私たちは 2 つの主要な AI 研究グループである FAIR と GenAI を統合しています。

Metaは現在、次世代モデルLlama 3のトレーニングと、今年末までに35万台のH100を構築するという将来のロードマップをサポートする大規模なコンピューティングインフラストラクチャの構築に取り組んでいます。他のGPUも含めると、Metaの総コンピューティング能力はH100の約60万台に相当します。また、Ray Ban Meta スマートグラスのような、AI 中心の新しいコンピューティング デバイスの構築における進歩にも期待しています。

Llama 3はGPT-4に匹敵する、無料オープンソース

Metaの次世代モデルに関しては、Llama 3がGPT-4と同じくらい強力で、無料のオープンソースであるという噂があります。

OpenAI のエンジニアであり、元 Google Brain のエンジニアでもある Jason Wei 氏は、昨年 8 月に Meta が主催した Generative AI Group のイベントで次のように語っています。

Meta には、Llama 3 と Llama 4 をトレーニングするのに十分な計算能力があります。 Llama 3はGPT-4のパフォーマンスレベルに到達する予定ですが、引き続き無料でご利用いただけます。

今回、Meta社はLlama 3がトレーニング中であることを正式に発表し、LeCun氏も最新モデルがまもなくオンラインになると発表しました。

2023 年 2 月の Llama 1 の最初のリリースから 7 月の Llama 2 へのアップグレードまで、Meta には約 5 か月かかりました。

当時、Llama 2 はいくつかのアプリケーションで GPT-3.5 に匹敵し、オープンソース コミュニティによって微調整や追加機能を通じて最適化されていました。

Llama モデルのオープン ソース化により、モデル エコシステムが爆発的に増加しました。

Metaの統計によると、Llamaモデルは世界最大のオープンソースコミュニティプラットフォームであるHugging Faceで3,000万回以上ダウンロードされています。そのうち、過去30日間（9月）だけで1,000万回以上視聴されています。

さらに、Hugging Face には 7,000 を超える Llama の微調整モデルが公開されています。

現在、AI コミュニティの人々は、Llama 3 がトレーニング中であることを知って興奮しています。

AIチームの再編: 10年目のFAIRチーム + GenAI

AGIの開発に注力することに加え、Metaの公式発表で最も注目を集めたニュースは、ザッカーバーグ氏が自身の人工知能研究チームFAIRを製品部門に組み込むことを決定したことだ。

Vergeとの独占インタビューによると、10年前に設立されたFAIRチームはGenAIチームに統合される予定だという。ザッカーバーグ氏はビデオの中では説明しなかったが、両チームが緊密に協力していくことだけを明らかにした。

Meta の動きは、Google が 2 つの主要な AI チームを統合したことと何ら変わりません。

AI界におけるOpenAIとマイクロソフトの知名度の高まりは、Googleを一瞬にして不安にさせた。昨年4月、同社はDeepMindとGoogle Brainのチームを統合し、総称してGoogle DeepMindと名付けることを正式に発表した。

2013年12月、FacebookはLeCun氏のリーダーシップの下、FAIR人工知能研究所を設立しました。

FAIR は設立以来、技術研究を担当する部門として位置付けられており、その研究は主に推論、予測、計画、教師なし学習などの根本的な技術的問題の解決に重点を置いています。

この数年間、この研究室は何開明氏、SVMの考案者であるウラジミール・ヴァプニク氏、確率的勾配降下法を提唱したレオン・ボットー氏など、AI分野の学者や専門家を含む多くの優秀な人材を輩出してきました。

同時に、研究成果も軽量でモジュール化されたディープラーニングフレームワークCaffe2、PyTorchアーキテクチャなど、“世界クラス”のAIとなっています。

現在、Meta は社内戦略を調整し、AGI に重点を置く必要があります。

ちなみに、GenAIチームの設立は正式に発表されていません。初めて登場したのは、Llama 2 が発表されたときで、論文の全著者の下の列にありました。

GenAIがチーム名として初めて登場

今後、FAIRの副社長ジョエル・ピノー氏と主任AI科学者ヤン・ルカン氏は、Metaの最高製品責任者クリス・コックス氏に報告することになる。

これに先立ち、彼らは Reality Labs の CTO である Andrew 'Boz' Bosworth に報告していました。

これに対してコックス氏は、今回の変更はMetaとその製品の長期的な成功におけるAI研究の中核的な役割を強調するものだと述べた。

「より緊密に連携することで、FAIR と GenAI はより統一された AI 研究プログラムとロードマップを持つことができます。Llama は AGI に向けた私たちの取り組みのバックボーンとなり、同時に新しいテクノロジーや革新的な AI 研究の開発プロセスを合理化し、ますます厳しく監視される分野における法律、ポリシー、ブランド イメージの一貫性を確保します。」

マーク・ザッカーバーグ氏へのインタビュー

Q: FAIR を Boz の部門から Chris の部門に移動しました。これは Reality Labs にどのような影響を与えますか? RL は失敗するだろうと考える人もいるかもしれない。

ザッカーバーグ：それは絶対に私の意見ではありません。この決定がどのようにして下されたのか詳しく説明しましょう。これは実はボズの提案でした。

クリス、ボズ、そして私は、研究計画とプロセスをどのように統合するかについて話し合いながら会話をしました。ボズ氏はAIに多くの時間を費やしてきたと語った。しかし彼は、これらの問題をクリスとボズに絶えずエスカレートさせるのではなく、彼らに調整作業に直接関与してもらう方が良いと考えました。そのため、彼は FAIR を Chris に移行することを提案しました。

以前のモデルでは、FAIR は比較的独立して運営されており、Boz が担当していた部門の一部ではあったものの、FAIR が Reality Labs の一部であると本当に考えていたかどうかはわかりません。私たちは、AI 分野での仕事と Reality Labs での仕事は 2 つの異なる分野であると常に考えています。 Reality Labs は独立した組織として独立して運営できますが、AI は会社のあらゆる側面に浸透しています。

これは、すべての作業が以前 1 か所に集中していた、または今後集中することを意味するものではありません。具体的には、この再編により、当社の 2 つの主要な研究室が同じ場所に配置され、長年の研究分野でさらなる進歩を遂げることができるようになります。 Reality Labs の以前のモデルでは、FAIR のリーダーが Boz のスタッフ会議に出席することはなく、独立したプロジェクトとして管理されていたと思います。

この組織調整によって大きな変化はもたらされないと思います。また、同社にとって AI が重要であることを考えると、Boz はいずれにしてもこの分野に多くの時間を投資し、Reality Labs は今後も多くの AI 関連プロジェクトを担当していくことになるでしょう。

Q: 生成 AI の台頭により、個人的な焦点が変化したことに気づいていますか? Reality Labs と比べて AI に費やす時間の方が長いと感じますか、それとも週ごとに変わりますか?

ザッカーバーグ氏：単に2つのうちどちらかを選ぶという問題ではありません。 2023年に私が最も時間を費やしたのは、いかに効率性を高めるかということに注力することでした。会社の運営方法を変えて、より効率的で洗練されたものにしました。これは、物事が以前の状態に戻るという意味ではありません。しかし、新たな運用手順を確立し、比較的スムーズに進めることができるようになったと思います。ある程度の労力はかかりますが、おそらく昨年費やした時間の 10 分の 1 程度でしょう。

今年はその作業量が減り、製品開発に集中できる時間が増えました。他に注目すべき点としては、今年は世界中で重要な選挙の年となるだろう。もちろん、米国の選挙も含まれますが、歴史的な観点から見ると、今年は世界中で最も選挙が集中する年になるのではないかと思います。私たちの仕事すべてにおいて誠実さをしっかり維持することが同様に重要だと私は考えています。したがって、今年はこの点がこれまで以上に注目を集めることになるだろう。

何かを切り捨てるのではなく、新しいものを作ることに集中できるモードにいるのは興味深いです。これは快い状態です。