LIama2を運営して8400万元稼ごう！最速のAI推論チップのコスト見積もりが白熱した議論を巻き起こす

史上最速の大規模モデル推論を実現するには、1171万ドル（8410万元）の費用がかかりますか？ ? ?

同じプロジェクトの場合、Nvidia GPU を使用するコストはわずか 30 万ドルです...

最も強力な AI チップが Groq に移るかどうかについては、待って見守る必要があるかもしれない。

過去 2 日間で、Groq は驚くべき登場を果たしました。「Nvidia より 100 倍コスト効率が高い」と言われるチップを使用して、目立った遅延なく 1 秒あたり 500 トークンの速度で大規模なモデルを生成します。 Google TPU チームの優秀な人材である Buff と相まって、多くの人がこう言っていました。「Nvidia は打ち負かされるだろう...」

騒動の後、主にGroqの費用対効果に焦点を当てた合理的な議論がいくつか出始めました。

ネットユーザーは、現在のデモには568個のチップが必要で、コストは1171万ドルになると概算した。

その結果、業界内外のあらゆる分野の人々が自発的に計算を始めました。

テーブルを持って現れ、自分の経験を共有するアナリストもいました...

そしてため息をつきました。 「よし、今週はみんな公開数学をやるんだ。」

しかし、Groq 氏もできるだけ早くソーシャルネットワーク上で反応しました。

「みんな数学をやっている」

Groq のコスト問題に関する議論には、コンピューターを学ぶ学生や推論サービスを提供するクラウドベンダー、さらには現従業員と対立する元 Groq 従業員など、さまざまな人が参加し、非常に活発な議論が展開されました。

代表的なものをいくつか取り上げて、みんながどう思うか見てみましょう。

まず、大まかな見積もりですが、カードの価格はおよそ 20,000 ドルで、メモリはわずか 0.23 GB です。

したがって、1 台の LLama 70B モデルをサービスするには、約 320 枚のカード (実際にはそれ以上) を購入する必要があり、サーバーを含めて約 1,000 万ドルの費用がかかります...

Nvidia の H100 と比較するとどうでしょうか?

レプトンの賈洋青氏も参加し、いくつかの計算を行った。基本価格に加え、エネルギー消費量、性能、運用コストの観点からも分析しました。

最後に、次の核心点をまとめます。

LLaMA 70b モデルの場合、572 枚のカードを使用すると、年間の電気代は 254,000 ドルになります。
4 枚の H100 カードを使用すると Groq のパフォーマンスの半分しか得られず、8 枚のカードが入った H100 ボックスのコストは現在約 30 万ドルになります。
3年間運営した場合、Groqのハードウェア調達コストは1,144万ドル、運用コストは76万2,000ドルとなる。それに比べて、H100 は調達コストと運用コストが低くなります。

なお、Groq が実施したベンチマークテストには Lepton も含まれており、推論速度は Lepton の約 3 倍です。

賈陽青氏はまた、自分とGroqの創設者は古くからの知り合いであることを明らかにした。