LLaMA のコアオリジナルクリエイターのほとんどが辞職し、Meta AI の内部事情が暴露されました!計算能力をめぐる争いが勃発し、大規模モデルチームのメンバーは3度も入れ替わった

過去 6 か月間、ChatGPT の爆発的な人気により、Meta は完全に黙っていられなくなっていました。

2月のオープンソースの大型モデルシリーズLLaMAのリリースから、Llama 2のアップグレード、そしてコーディングモデルCode Llamaまで、MetaはALL IN AIにすべてを賭けたと言えるでしょう。

オープンソース コミュニティでは、Llama シリーズのモデルの自由な研究と商用利用が、代替モデルの分裂の火を直接的に引き起こしました。

しかし、Meta が成功を収めている一方で、同社の AI チームは辞職の波に直面している。

The Information は、内部の計算能力をめぐる争いにより、LLaMA および OPT プロジェクトのチームメンバーのほとんどが辞任したと独占的に報じました。

写真

Meta 社は PaLM と競合できる開発中のモデルを放棄し、Meta AI の 2 つの研究チームを再編成して Llama 2 の開発に注力しました。

Meta の研究者のほとんどが退職したことで、コンピューティング能力の不足が生成 AI の導入における主な困難であることが明らかになりました。

LLaMA論文には14人の著者がおり、その半数が辞任した。

外部から見ると、テクノロジー大手はほとんどの企業よりも多くのコンピューティング リソースを持っているように見えます。 Meta を含む一部の企業は、AI 研究者を採用する際に一貫して「GPU が豊富」であることを強調しています。

しかし、実際のところ、Meta のコンピューティング リソースの供給も限られていることはよくわかっています。

その結果、社内チーム内でコンピューティング能力をめぐる論争が始まり、多くの人が Meta を放棄することになった。

具体的には、今年2月に公開された第1世代LLaMAモデルの著者14人のうち半数以上が辞任した。

AIスタートアップに転向した人もいれば、テクノロジー大手に入社した人もいました。

写真

論文アドレス: https://arxiv.org/pdf/2302.13971.pdf

Meta を去る研究科学者やエンジニアには、LLaMA のオリジナル論文の著者の 1 人である Timothée Lacroix、Guillaume Lample、Marie-Anne Lachaux が含まれます。

2人は現在、ラクロワ氏とランプル氏が6月に共同設立したフランスのスタートアップ企業ミストラルAIで働いている。

写真

著者の一人、Meta AI の研究ディレクターである Armand Joulin 氏は 5 月に Meta を退社し、Apple に入社した。

写真

メタ人工知能研究所の「基礎AI研究」責任者ジョエル・ピノー氏はインタビューでこう語った。

優秀な人材の確保と誘致は、おそらく私が最も多くの時間を費やす分野です。優秀な研究者がいなければ、何もできないからです。

Metaが直面している人材流出は、人工知能の人材に対する需要の急増に対処する上で大手テクノロジー企業が直面している課題を浮き彫りにしている。

現在のビッグモデルの波の中で、大手テクノロジー企業は遅れをとることを恐れ、自社の製品やサービスに AI を統合することに熱心です。

リビエラ・パートナーズの幹部カイル・ラングワーシー氏は、「才能に飢えた」企業がメタの人工知能研究者を引き抜こうと列をなしていると語った。

2月にLLaMAのリリースがコミュニティの熱狂に火をつけたあと、ザッカーバーグは一夜にして同社の大きな動き、AIGCに重点を置いたトッププロダクトチームの設立を発表しました。

つまり、ザッカーバーグ氏は、Google、Microsoft、OpenAIなどの競合他社に追いつくために、Metaの将来の中核を生成型人工知能に置いたのです。

2021年にオールインした「メタバース」も、二次的な位置に置かれています。

写真

その後すぐに、Meta は汎用ビジュアルモデル SAM「Segment Everything」、マルチモーダル AI モデル ImageBind、Llama2、Code Llama など、人工知能分野における最新の研究成果を随時公開し、オープンソース化しました。

これらの研究が発表されると、オープンソース コミュニティで大きな反響を呼び、満場一致で賞賛されました。

現在、経験豊富な研究者を失ったことで、Meta は競合他社に追いつくための取り組みにおいて新たな障害に直面しています。

では、上級研究者たちが怒って去っていくことになったのは、いったい何だったのでしょうか?

LLaMA と OPT の計算能力をめぐる戦い

2013年、ヤン・ルカンはMetaに入社し、AI研究のディレクターを務めた後、人工知能研究機関Meta AI（旧FAIR）を設立しました。

Meta AI は、カリフォルニア州メンロパークとニューヨーク (LeCun の本拠地) にある主要ラボに加え、モントリオール (Pineau の本拠地)、パリ、ロンドン、シアトルにも拠点を置いています。

Meta AI 研究所は、AI 研究に重点を置き、翻訳や MRI スキャンなどのさまざまなシナリオに人工知能を適用するために設立されました。

しかし、ChatGPT が突然登場して以来、同社の幹部は AI を自社製品にさらに深く統合することに熱心になりました。

実際、ChatGPT がリリースされる前から、Meta は独自の LLM も開発していました。

2022年5月、Meta AIの北米チームが大型モデルOPT-175Bを発表し、オープンソース化しました。

Meta は、2 つのモデルがトレーニング中に同じ量のコンテンツを学習するにもかかわらず、このモデルは GPT-3 よりもエネルギー消費量が少ないと主張しています。

数か月後、チームは Google の PaLM に対抗するために設計された 2 番目の大型モデルの開発に着手しました。

一方、パリに拠点を置くMeta AIの別のチームは、LLaMAと呼ばれる別の大規模言語モデルの開発を開始した。

関係者によると、このモデルはOPTよりも小型だという。研究チームは、モデルが小さいほど推論時の効率が高くなると考えています。

その後、問題が発生しました。北米とパリの 2 つの研究所のチームがコンピューティング リソースをめぐって競争を開始し、その結果、チーム内の争いが激化しました。

特に、LLaMA チームは、モデルが小さいにもかかわらず、北米の OPT チームよりもはるかに少ないコンピューティング リソースしか提供されなかったため、無視されていると感じていました。

「基礎AI研究」の責任者ジョエル・ピノー氏は次のように語った。

Meta でのコンピューティング リソースの割り当て方法に関する決定は、ほぼ毎月、事業のさまざまな部門のリーダーのグループによって行われます。

最終的にどれだけの金額が割り当てられ、誰に割り当てられるかは、組織の優先順位とプロジェクトのリリースまでの期間によって異なります。

Meta AI の従業員が割り当てに関して紛争を抱えている場合は、上司である Pineau に提出して処理してもらいます。

インタビューの中で、ピノー氏はハッシュレートの分配をめぐって LLaMA チームと OPT チームの間に緊張関係があることを認め、「たとえ全員のニーズを満たすことができなくても、全員の意見を聞く方法を見つけようとしている」と付け加えた。

一部の研究者にとっては、それは競争のように感じられます。

Meta AIの幹部の中には、なぜ2つのチームが似たようなプロジェクトに取り組んでいるにもかかわらず、限られたリソースをめぐって競争しているのか疑問視する者もいる。

2月の大きな変化

両チーム間の緊張は今年2月に最高潮に達した。

今月、Meta AI は競合他社に追いつくために、研究目的でライセンスされた LLaMA を初めてオープンソース モデルとしてリリースしました。

実際、立ち上げの1週間前に、Meta AIの共同ディレクターでパリ支社の責任者であるアントワーヌ・ボルデスがMetaを去りました。その理由は、勤務時間がカリフォルニアと同じくらい過酷だったからでした。

現在、ボルデス氏は人工知能企業ヘルシングに入社した。

写真

関係者によると、彼の退任により、LLaMAチームは北米の幹部からさらに孤立することになる。さらにピノー監督は、ボルデスの退団がチームに「不確実性をもたらした」ことも認めた。

これは、LLaMA チームの研究意欲の低下という問題だけではありません。OPT チームも、過去数か月間、スタッフの離職に直面しています。

OPT チームが開発していた大型モデルは、Meta によって直接放棄されたと言われています。 OPT 要員の喪失がこの決定に直接関係していることは理解しにくいことではありません。

研究著者のLinkedInプロフィールによると、OPT論文の著者19人のうち半数がMetaを去った。

写真

論文アドレス: https://arxiv.org/pdf/2205.01068.pdf

「基礎AI研究」の責任者であるピノー氏は、なすすべもなくこう語った。「現時点ですべてのチームがモデルをアップグレードしたい場合、そのうちの1つを選択するか、協力させるかのどちらかです。」

チーム再編、不明確な位置づけ

こうしたことすべてが起こっている間、Meta AI も会社の頻繁な変更に圧倒されていました。

昨年11月以来、ザッカーバーグ氏は全社規模で数回の人員削減を実施してきた。その中で、Meta AI も例外ではありませんでした。

今年 2 月、Meta AI のリーダーたちは、競合する LLaMA チームと OPT チームの一部のメンバーを集めて正式に「Generative AI」チーム (元 Apple 幹部の Ahmad Al-Dahle 氏が率いる) を結成し、Meta AI からも多数の人員を引き抜くことを決定しました。

実際、Llama 2 の論文には LLaMA と OPT の著者が多数登場しています。

たとえば、OPT チームでは、Moya Chen、Todor Mihaylov、Punit Singh Koura が「Generative AI」チームに加わりました。

第 1 世代の LLaMA チームからは、Hugo Touvron、Thibaut Lavril、Xavier Martinet、Marie-Anne Lachaux、Naman Goyal、Aurelien Rodriguez が「Generative AI」チームに加わりました。

興味深いことに、ラマ 2 の謝辞には、この研究チームを最初に立ち上げた 4 人のうち 3 人が去っており、エドゥアール グラーヴだけがまだ残っていると記されています。

写真

高く評価されているオープンソースモデル LLaMA がささやかな成功を収めているにもかかわらず、Meta の AI 研究に対する姿勢が変化し続けているため、研究者間の緊張は高まり続けています。

伝統的に、Meta AI は研究者主導のボトムアップ文化を持ち、チームが AI 分野に注力して画期的な進歩を遂げることを可能にしてきました。

しかし、ザッカーバーグ氏がMetaのアプリケーションにAIを組み込む動きを強めるにつれ、Meta AIの焦点は狭まり、タンパク質の折り畳みなど、製品指向ではない研究は廃止された。

写真

同時に、新しいプロジェクトが生成 AI チームと Meta AI の間で「行き来」しています。

たとえば、Meta が 7 月にリリースした Llama 2 と、コード生成に重点を置き 8 月にリリースされた Code Llama は、それぞれ 2 つの異なるチームによって開発されました。

写真

写真

この点について、ピノー氏は「この分野は急速に発展しています。どのプロジェクトがMeta AIを担当し、どのプロジェクトがGenerative AIチームを担当すべきか、まだ検討中です」と語った。

オープンソース モデルは、表舞台では華やかで美しいものの、舞台裏では AI 研究者の辞職の波、コンピューティング能力をめぐる争い、チームの再編などが相次ぎ、Meta が AI 分野で競合他社に追いつこうとする取り組みに多くの不確実性をもたらしています。

参考文献:

https://www.theinformation.com/articles/inside-metas-ai-drama-internal-feuds-over-compute-power?rc=epv9gi