Meta社が来年、新たな大型モデル「GPT-4レベルのオープンソース版」をリリースすることが明らかになりました！パラメータ数はLlama 2より数倍多く、商用利用も無料です。

海外メディアのウォール・ストリート・ジャーナルによると、MetaはGPT-4と完全に同等の機能を持つ新しい大規模言語モデルの開発を強化しており、来年発売される予定だという。

このニュースではまた、Meta の新しい大規模言語モデルは Llama 2 よりも数倍大きくなり、オープンソースとなり、無料の商用利用をサポートする可能性が高いことも強調されました。

Meta は今年初めに LlaMA を「偶然」漏洩し、その後 7 月に Llama 2 がオープンソース化されて以来、この AI の波の中で徐々に独自の地位、つまり AI オープンソース コミュニティの旗印を確立してきました。

スタッフは絶えず変化し、モデルの能力には欠陥があり、メインテーブルに座るためにオープンソースに依存しています

今年初め、OpenAIがGPT-4でテクノロジー業界に衝撃を与えた後、GoogleとMicrosoftも独自のAI製品を発表しました。

米国の規制当局は5月、AI業界に関連があるとみられる大手企業のCEOらを招き、AI技術の発展について議論する円卓会議を開催した。

OpenAI、Google、Microsoftはすべて招待され、スタートアップのAnthropicも含まれていましたが、Metaは参加していませんでした。当時のMetaの欠席に対する公式の回答は、「AI業界のトップ企業のみを招待します」というものでした。

メタは幸運に恵まれず、トラブルが次々と起こりました。

まず、6月初旬に、議会からザッカーバーグ氏に直接質問状が送られ、3月のLlaMA漏洩の原因と結果を説明するよう厳しく要求した。

その後数か月間、Llama 2 のリリース後も、Meta の以前は高価だった AI チームは崩壊し続けました。

Llama 2 の謝辞によると、この研究チームを最初に立ち上げた 4 人のうち 3 人が退職し、現在は Edouard Grave だけが Meta に残っています。

業界の巨人である何開明氏もMetaを離れ、学界に戻る予定だ。

The Information の最近の報道によると、Meta の AI チームは社内の計算能力をめぐる競争により絶えず摩擦が生じており、次々と人材が退職しているという。

この文脈では、ザッカーバーグ自身も、Meta 独自の大規模言語モデルが業界最先端の GPT-4 に匹敵するものではないことを十分に認識しているはずです。

さまざまな方向からのベンチマークテストでも、ユーザーからのフィードバックでも、Llama 2 と GPT-4 のギャップは依然として比較的大きいです。

さまざまなベンチマークテストでは、オープンソースのLlama 2とGPT-4の間にはまだ大きなギャップがある。

ネットユーザーの実際の経験からも、GPT-4は依然としてラマ2よりはるかに優れていることが常に強調されている。

そこでザッカーバーグは、Meta がモデル オープン ソースの道を歩み続けることを決定しました。

おそらくザッカーバーグの論理はこうだ。Meta モデルの機能は平均的で、クローズドソースの巨人に勝つことはできないので、それを隠す意味はない。次に、それをオープンソース化し、AI コミュニティが独自のモデルに基づいて継続的に反復して、業界における製品の影響力を拡大できるようにします。

さらに、ザッカーバーグ氏は、オープンソース コミュニティが独自のモデルを反復することで、彼の技術チームが将来、より競争力のある製品を開発するきっかけになるだろうと何度も公に述べています。

ザッカーバーグ氏はフリッドマン氏のポッドキャストで、オープンソースによってMetaはコミュニティからインスピレーションを得ることができ、将来的にはMetaがクローズドソースモデルを立ち上げる可能性もあると強調した。

参照: https://lexfridman.com/mark-zuckerberg-2/

そして事実は、Meta の選択が確かに正しいことを証明しました。

Meta はコンピューティング リソースと技術力の点で Google や OpenAI に匹敵することはできませんが、Meta の Llama 2 などのオープン ソース モデルは、オープン ソース コミュニティに対する魅力において依然として比類のないものです。 Llama 2が徐々にAIオープンソースコミュニティの「技術的基盤」となるにつれて、Metaも業界で独自のニッチを見つけました。

最も明白な兆候は、9月に開催される非公開の議会AI会議で、ザッカーバーグ氏がついに規制当局の主賓となり、GoogleやOpenAIなど業界最先端の企業のCEOとともに、AI業界の規制に関して自らの意見を表明するだろうということだ。

来年Metaがリリースする新モデルが引き続き進歩し、GPT-4と同等の機能を獲得できれば、オープンソースコミュニティはクローズドソースの大手企業との差を縮め続けることができ、「オープンソースコミュニティと業界の最先端レベルとの差は約1年」という発言を裏付けることになるだろう。

一方、ザッカーバーグ氏はインタビューの中で、今後大規模モデルの機能がさらに向上すれば、Metaが独自のクローズドソースモデルを立ち上げる可能性もあると明かした。新しいモデルが業界の SOTA に近づくことができれば、Meta が独自のクローズドソース モデルを立ち上げるのもそう遠くないかもしれません。

Meta は一時的にこの AI の波に遅れをとっているように見えるが、ザッカーバーグ氏は単なる追随者でいるつもりはない。

「AIの三大巨頭」の一人であるヤン・ルカン氏の指導の下、Metaも業界全体に混乱をもたらす準備を進めている。

メタの未来

では、GPT-4に匹敵すると言われるこの謎のビッグモデルの後に、Meta AIの未来はどのようになるのでしょうか？

まだ具体的な情報がないので、Meta AIの主任科学者LeCun氏の態度などから推測することしかできません。

人気のGPTは、常にLeCun氏が批判し軽蔑してきた人工知能の開発経路でした。

今年2月4日、ルカン氏は「大規模言語モデルは人間レベルのAIへの道として完全に間違った道である」と率直に述べた。

彼は、確率に基づいて自己回帰を生成するこの種の大規模モデルは、人工知能が大量のテキストでのみトレーニングされており、現実世界を理解できないため、5年以上存続しないと考えています。

したがって、これらのモデルは計画も推論もできず、コンテキスト学習機能のみを備えています。

真面目な話、LLM でトレーニングされたこれらの AI には「知性」がほとんどありません。

LeCun氏が期待しているのは、AGIにつながる「世界モデル」だ。

世界モデルにより、世界がどのように機能するかを学び、より速く学習し、複雑なタスクを計画し、新しい未知の状況に対応することが可能になります。

これは、事前のトレーニングを大量に必要とする LLM とは異なります。世界モデルは、人間と同じように、観察からパターンを見つけ、新しい環境に適応し、新しいスキルを習得することができます。

OpenAI の LLM 分野における継続的な改善と深化の戦略と比較して、Meta は多様なモデルの開発に努めています。

今年6月14日、Metaは「人間のような」人工知能モデルI-JEPAをリリースしました。これは、LeCunの世界モデルビジョンの重要な部分に基づいた史上初のAIモデルでもあります。

論文アドレス: https://arxiv.org/abs/2301.08243

I-JEPAは、教師あり学習を通じて画像内の抽象的な表現を理解し、常識を獲得することができます。

さらに、I-JEPA は補助として追加の人工知識を必要としません。

その後、Meta は、Meta AI が提案した新しい手法であるストリーム マッチングに基づいた画期的な音声生成システムである Voicebox をリリースしました。

6 つの言語で音声を合成し、ノイズを除去し、コンテンツを編集し、オーディオ スタイルを変換するなどの機能があります。

Meta は、汎用の具現化された AI エージェントもリリースしました。

言語誘導スキルコーディネーション (LSC) により、ロボットは部分的に事前にマッピングされた環境内で自由に移動したり拾ったりすることができます。

Meta は、マルチモーダル モデルの開発においても独自の存在です。

ImageBind は、6 つの異なるモダリティからの情報を結合できる初の AI モデルです。

写真に写っている物体とその音、三次元形状、温度、動きを結び付け、機械に総合的な理解力を与えます。

Meta AI と CMU_Robotics が共同開発した RoboAgent により、ロボットは多種多様な重要なスキルを習得し、それを何百もの生活シナリオに一般化できるようになります。

同時に、これらすべてのシナリオのデータは、この分野におけるこれまでの研究よりも桁違いに少ないです。

流出したモデルに関して、一部のネットユーザーはソースコードの公開が継続されることへの期待を表明した。

しかし、一部のネットユーザーは、メタは2024年初頭までトレーニングを開始しないだろうと述べている。

しかし、喜ばしいのは、Meta が依然として当初の戦略を堅持し続けるというシグナルを送っていることです。