大手モデルサークルは「GPU が貧弱」について熱く議論している。Google の計算能力は他のすべての企業を合わせたよりも高いことが明らかになり、スタートアップに打撃を与えている。

ある夜、目が覚めると、大手モデルサークルが「GPU-Poor」という言葉について熱く議論しているのに気づきました。

業界分析機関 SemiAnalysis のレポートによると、Google のコンピューティング リソースは OpenAI、Meta、Amazon、Oracle、CoreWeave を合わせたよりも多くなっていることが明らかになりました。

アナリストのディラン・パテル氏は、グーグルとディープマインドが共同開発する次世代の大規模モデル「ジェミニ」が、年末までにトレーニング量でGPT-4の5倍を上回ると予測している。

この報告書は、このような圧倒的な優位性に直面して、ほとんどのスタートアップ企業やオープンソース勢力が「GPU 貧乏人」となり、限られたリソースに苦しんでいることを示唆している。

この目を引く悲痛な発言はすぐに新しいミームとなり、業界全体に広まりました。

写真

最後にとても人気があったミームは「no moat」でした。偶然にも、これも同じ作者によって作成されており、GPT-4 の内部アーキテクチャの詳細を公開したのも彼です。

名前が挙がったオープンソースリーダーで、HuggingFaceの共同設立者ジュリアン・ショーモンド氏は「私たち貧しい人々を過小評価しないでください」と語った。

写真

学生を代表してネット上で不満を訴える人もいた。「私たちはお金もコンピューターの処理能力も貧しく、まさにそれが私たち博士課程の学生の現状です。」

写真

携帯電話で大規模なモデルを実行できるようにする研究を行っている著名な学者の陳天奇氏は、将来的には誰もが独自のAIアシスタントを持つようになるが、そのほとんどは「GPUが貧弱」なものになるが、その総量を過小評価してはならないと述べた。

写真

物議を醸す内容や、ほとんどの内容が有料であるという事実を除けば、このレポートの無料の序文は、大型模型業界の現状に対する良い批判と要約であると考える人も多い。

GPU の貧弱な人々は無駄な仕事をしている

このレポートは非​​常に容赦のない内容で、多くのスタートアップ企業が GPU 不足のせいで役に立たないことに多くの時間と労力を費やしていると述べていました。

たとえば、多くの人は、大規模モデルの出力を使用して小規模モデルを微調整し、ランキングをブラッシュアップすることに熱心ですが、評価方法は不完全であり、正確性や実用性よりもスタイルに重点を置いています。

また、報告書では、不完全な測定基準によるさまざまなランキング自体が中小企業に誤解を招き、結果として非実用的なモデルが多数生まれ、オープンソース運動にも悪影響を及ぼしていると考えています。

一方、GPU が貧弱な人はリソースを非効率的に使用し、主にオープンソースの Alpaca エコシステムに基づいた高密度モデルを使用することがほとんどです。

しかし、OpenAI や Google などの大手企業はすでに MoE アーキテクチャなどのスパース モデルを扱っており、小規模モデルの投機的デコードを使用して推論の効率を向上させています。これらはまったく異なる 2 つのゲームです。

著者は、GPU が貧弱な人々が、モデル品質の低下を無視して、モデル サイズを過度に制限したり、過剰に量子化したりしないことを願っています。エッジ コンピューティングのニーズを満たすために、共有インフラストラクチャ上で微調整されたモデルを効率的に提供し、レイテンシとメモリ帯域幅の要件を削減することに重点を置く必要があります。

これを見て、創造的なブレークスルーはしばしば制限された環境から生まれ、実はそれが一種の利点であると信じて、異なる意見を表明する人もいます。

写真

しかし、Perplexity.AI の共同設立者である Aravind Srinivas 氏は、GPU を豊富に持つ組織は実際には制約のある研究に投資するだろうと考えています。

そして、Transformer のような次のブレークスルーを見つけるには、何千もの実験が必要であり、必要なリソースは決して少なくありません。

写真

GPUの大物のためのゲームの遊び方

では、「GPU 王」である Google は、GPU 一般人の反対側で何をしているのでしょうか? 。

厳密に言えば、Google の計算能力は GPU ではなく、独自の TPU です。レポートでは、TPUv5 のパフォーマンスは NVIDIA H100 ほど優れていないものの、Google が最も効率的なインフラストラクチャ アーキテクチャを備えていると考えています。

Google BrainとDeepMindが合併した後、両社はGPT-4に匹敵するGemini大規模モデルを共同でトレーニングしました。

100人からなるこのチームは、元DeepMind研究副社長のKoray Kavukcuoglu氏とOriol Vinyals氏、そして元Google Brainの責任者であるJeff Dean氏が率いています。

複数の情報筋によると、ジェミニは今年、より正確には米国の秋（9月23日～12月21日）に公開される予定だ。

Gemini は、YouTube の 93.6 億分のビデオキャプションをトレーニングに使用して、大規模なモデルを AI 画像生成機能と統合します。データセットの合計サイズは GPT-4 の 2 倍になると推定されます。

ディープマインドの元創設者ハサビス氏はかつて、ジェミニはアルファ碁の型システムの機能と「他の非常に興味深い革新」を組み合わせるだろうと明かしたことがある。

さらに、Googleの創設者セルゲイ・ブリン氏も、モデルの評価やトレーニングの支援など、ジェミニの開発に個人的に関わってきました。

Gemini についてはそれ以上の具体的な情報はあまりありませんが、MoE アーキテクチャと GPT-4 のような投機的サンプリング技術が使用されるのではないかと推測する人もいます。

Google DeepMindが8月初旬に発表した新しい論文「From Sparse to Soft Mixtures of Experts」は、Geminiに関連していると考えられています。

写真

投機的サンプリングは、生成品質を犠牲にすることなく、大規模な Transformer モデルの推論を 2 ～ 3 倍高速化できます。

具体的には、小さいモデルが事前にいくつかのトークンを生成し、大きいモデルが判断を下します。それが受け入れられた場合、大きいモデルは次のトークンを生成し、最初のステップを繰り返します。小さいモデルによって生成された品質が高くない場合は、代わりに大きいモデルが使用されます。

Googleの推測的サンプリング論文は2022年11月まで公開されなかったが、以前の報告ではGPT-4も同様の技術を使用していることが示唆されていた。

写真

実際、投機的サンプリング技術の前身である Blockwise Parallel Decoding も Google が開発したものであり、その作者には Transformer の作者の 1 人である Noam Shazeer が含まれています。

Noam Shazeer は、Google 在籍中に、今日の大規模モデルにとって不可欠な Transformer、MoE、および推測的サンプリングの研究に携わりました。また、T5、LaMDA、PaLM などの複数の大規模モデルの研究にも参加しました。

SemiAnalysis のレポートでは、彼に関する噂も伝えられています。

GPT-2の時代にはすでに、Noam Shazeer氏がGoogleの社内メモを書き、将来的にはビッグモデルがさまざまな形で人々の生活に取り入れられるようになると予測していましたが、当時Googleはこの見解を真剣に受け止めませんでした。

今では、彼が予測したことの多くが、ChatGPT のリリース後に実際に起こったようです。

しかし、Noam Shazeer氏は2021年にGoogleを退社し、Character.aiを設立した。この報道によると、彼も今では「GPU貧乏人」の一員となっている。

参考リンク: [1] https://www.semianalysis.com/p/google-gemini-eats-the-world-gemini

[2] https://x.com/dylan522p/status/1695956854344749234

[3] https://x.com/AravSrinivas/status/1696182301934395486

[4] https://arxiv.org/abs/2211.17192