オープンソースのビッグモデルが OpenAI に大打撃を与える!ザッカーバーグはテクノロジー界に衝撃を与えたLLaMA2をリリースし、マイクロソフトやクアルコムと手を組んで市場構造に影響を与えた。

発表では「大型モデル市場の状況は変化した」と述べられた。

写真

Meta と Microsoft は協力して、無料で商用利用可能な LLaMA2 をリリースしました。優先パートナーとして、Microsoft Windows はこのバージョンをネイティブに実行できます。

さらにAWSやHugging Faceでも入手可能で、Qualcommもパートナーになったことを正式に発表している。

OpenAIを裏切るこの作戦は、多くのネットユーザーから「興奮する」という評価をもらった。

写真

このレベルのオープン性に驚いた人もいました。結局のところ、以前のオープンソース バージョンは業界、学界、研究界で広く使用されており、LLaMA は 10 万件を超えるアクセス リクエストを受け取っており、一部のパートナーはすでに誰でも無料でテストできるアプリケーションを開発しています。

写真

しかし同時に、次のような疑問も生じました。

• 中心著者は Meta を離れており、論文には記載されていません。
• 安全性を重視しすぎると、結局役に立たなくなる可能性があります。
• 商用利用も可能ですが、実は追加の制限があります。

…

誰かがザッカーバーグはこう言っていたと冗談を言った。

中心著者は去った

LLaMA2 のリリースにより、著者リストから始まる多くの謎が明らかになりました。

写真

まず、規模が大きく、チームが GenAI 部門に統合されています。これはザッカーバーグ氏がこの時代に合わせて特別に設立した生成AI製品部門です。

写真

第二に、過去の中心的な著者の一部が姿を消しました。たとえば、アルマン・ジュラン、エドゥアール・グラーヴ、ギヨーム・ランプル、ティモシー・ラクロワなど。

彼らのうちの1人はオンラインで不満を述べた。

中心著者が会社を辞めたため、論文から削除されました。これが、私が Meta を辞めてよかったと思う理由の 1 つです。

写真

実際、彼らの名前は論文の付録に記載されています。しかし、この人物は本文にはもう登場しません。

写真

ザッカーバーグ氏とGPT-4によれば、LLaMA2は70億、130億、340億、700億のパラメータを持つ事前トレーニング済みで微調整されたモデルをリリースしており、研究および商用目的で無料で提供される予定だ。

事前トレーニング プロセスでは、前世代と比較してデータが 40% 増加し、コンテキストの長さが 2 倍になり、グループ クエリ アテンション メカニズム (GQA) を使用してパフォーマンスが向上しました。

写真

微調整フェーズ（そのバージョンは Llama 2-Chat と呼ばれます）では、SFT（教師あり微調整）と RLHF について 100 万件を超える手動注釈が収集されました。

写真

今回、各事前トレーニング モデルに必要な合計 GPU 時間も公開されたことは注目に値します。

写真

熱心なネットユーザーは総コストを計算した。1A100あたり1.5ドルで計算すると、700億パラメータモデルのコストは260万ドルになる。

写真

興味のある方はぜひ新聞をチェックしてみてくださいね〜（記事の最後にリンクを貼っています）

Microsoft が LLaMA2 の優先パートナーに

しかし、LLaMA2 自体が注目に値するだけでなく、そのオープンな協力メカニズムも多くの白熱した議論を巻き起こしました。

発表では「研究および商用目的では無料」と強調されているが、依然として多くの制限がある。

そのため、率直にこう言う人もいました。「今回の LLaMA2 の話題は理解できない!」

写真

たとえば、商用利用契約では、実際には追加の制限が暗示される場合があります。

一部のネットユーザーは、GitHub のライセンス ファイルで、ユーザーが LLaMA2 を使用して製品やサービスを提供し、月間アクティブ ユーザー数が 7 億人を超える場合は、Meta にライセンスを申請する必要があることを発見しました。

Meta は独自の裁量でライセンスを付与する場合があります。

写真

また、利用規約は非常に制限的です。これは「結局役に立たないかもしれない退屈な答え」につながる可能性がある。

写真

このポリシーを見るとわかるように、それは主に4つの部分に分かれています。法律に違反したり他人の権利を侵害したりすること、個人の死亡や身体的危害のリスクをもたらす活動の計画や実施に参加、促進、煽動、推進、または支援すること、故意に他人を欺いたり誤解させたりすること、人工知能システムの既知の危険性をエンドユーザーに適切に開示しないことです。

そのため、LLaMA2 は ChatGPT よりも柔軟性が低いと考える人もいます。これがオープンソースとクローズドソースの違いかもしれません。

しかし、Meta がオープンソースの道をしっかりと選択したことは否定できません。

今回は、産業界、学界、研究機関のパートナーも招き、注目を集める支持声明を発表しました。

写真

これらには、NVIDIA、AMD、HuggingFace、YC、GitHub、Databricks、Shopify、Zoomなどの企業の幹部や、CMU教授でMBZUAI大学学長のXing Bo氏など、カリフォルニア大学バークレー校とMITの教授が含まれます。

また、Qualcomm などの他のパートナーも、Meta と協力して LLaMA2 を自社製品に統合することを正式に発表しました。

写真

LLaMA2の爆発についてどう思いますか?

大規模モデルの時代において、オープンソースとクローズドソースのどちらが優れたソリューションなのでしょうか?

論文リンク:
https://scontent-sjc3-1.xx.fbcdn.net/v/t39.2365-6/10000000_663429262362723_1696968207443577320_n.pdf?_nc_cat=101&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=5ol-jUSglG4AX_QM_ym&_nc_ht=scontent-sjc3-1.xx&oh=00_AfAjtvFkEIu8MPpfQykAZosxwZrew4g_n0D_DKkTOuyIVA&oe=64BBB691
参考リンク:
[1] https://about.fb.com/news/2023/07/llama-2-statement-of-support/
[2] https://about.fb.com/news/2023/07/llama-2/
[3]https://twitter.com/ylecun/status/1681336284453781505
[4]https://github.com/facebookresearch/llama/blob/main/LICENSE
[5] https://arxiv.org/abs/2302.13971
[6] https://twitter.com/moinnadeem/status/1681393075367841792
[7] https://twitter.com/GuillaumeLample/status/1681346701766934543?s=20
[8] https://chat.openai.com/share/c9868736-934f-40ce-a470-c0bb4359c260
[9] https://www.facebook.com/zuck/posts/pfbid02j7TCKZHRe1X4K3DA7EdA96q6Cx7DS3ZixKyrqsyx7NvUwx9X88V18nnqLF3BAsXjl