地球上で最も強力な AI スーパーコンピュータが起動します! 4エクサフロップスの計算能力は驚異的で、6000億のパラメータモデルを10日間でトレーニングできます。

セレブラスがまた大技を繰り出した！

かつて世界最大の AI チップを開発した Cerebras が、今度は世界最大の AI スーパーコンピューター Condor Galaxy1 (CG-1) を開発しました。

写真

CG-1 は、私たちの天の川銀河の 5 倍の大きさを持つコンドル銀河にちなんで名付けられました。この名前に表される野心は明らかです！

それでは、Condar Galaxy と呼ばれるこのスーパーコンピューターの優れた機能について見てみましょう。

Condor Galaxy: AIトレーニング用世界最大のスーパーコンピュータ

CG-1 は現在世界最大級のスーパーコンピュータの 1 つです。

64 個の CS-2 ノード、5,400 万個のコア、4 エクサフロップスの計算能力、および 6,000 億個のパラメータ モデルのサポートにより、最初のトレーニング実行にはわずか 10 日しかかかりません。

CG-1 は、大規模で画期的なモデルのトレーニングをより簡単かつ迅速に行えるようにすることで、イノベーションを加速するように設計されています。

セレブラスは本当にやったね...

より速く、より強く、より優れた AI スーパーコンピューターを作りましょう。

それだけでなく、Cerebas は UAE のテクノロジー ホールディング グループ G42 とも戦略的提携を結び、相互接続された 9 台の CG-1 マシンで構成されるクラウドベースの AI スーパーコンピューティング グローバル ネットワーク、Condor Galaxy を共同で構築する準備を進めています。

現在、CG-1はカリフォルニア州サンタクララに配備されており、残りのCG2、3なども18か月以内に配備される予定です。

セレブラスのCEOアンドリュー・フェルドマン氏もこう語った。

「これはすごい！コンドルギャラクシーが完成すると、36エクサフロップスのトレーニングパワーを提供できるスーパーAIコンピューティングネットワークが完成します。つまり、576台のCS-2、約5億個のコア、3,490TBの内部帯域幅が確保されることになります。データを提供するには、5億個以上のAMD Epycが必要になります。」

Condor Galaxy は、大規模な AI モデルのトレーニングに必要な時間を大幅に短縮します。同時に、Condor Galaxy のクラウドベースのサービスにより、他のユーザーが業界最高の AI コンピューティング パワーに簡単にアクセスできるようになり、世界中の何百もの AI プロジェクトの開発が促進されます。

この前例のない AI スーパーコンピューティング ネットワークは、世界的な人工知能の発展に革命をもたらす可能性があります。

このような規模と能力を持つセレブラスが、Nvidia を脅かす強力な競争相手と見なされるのも不思議ではありません。

アンドロメダからコンドルまで

Cerebrasは、Condor Galaxy1 (CG-1)の詳細なパラメータ情報も公式ウェブサイトで公開しました。

- 4エクサフロップスのAIコンピューティング能力

- 5,400万個のAI最適化コンピューティングコア

- 82 TBのメモリ

- 64 台の Cerebras CS-2 システム

- 基本構成では6000億のパラメータをサポートし、100兆まで拡張可能

- 386 Tbpsの内部帯域幅

- 72,704 個の AMD EPYC 第 3 世代プロセッサ

- ローカルハードウェアは、サードパーティのライブラリを必要とせずに50,000トークンのトレーニングをサポートします。

- 線形パフォーマンススケーリングを備えたデータ並列プログラミングモデル

写真

さらに、このような強力なスーパーコンピューターは合計 9 台あり、2024 年までに完成する予定です。総AI演算能力は36エクサフロップスと、世界最強と言っても過言ではありません。

Cerebras は、7 月 24 日の ICML 2023 カンファレンスで、CG-1 での新しいモデルのトレーニング結果を発表する予定です。

2022年、Cerebrasはすでに世界最大かつ最も強力なAIプロセッサチップになります。

規模を拡大する唯一の方法は、ウェハー規模のエンジンをクラスター規模で実行することです。

この目標を達成するために、Cerebras は次の 2 つのテクノロジーを発明しました。

- セレブラス ウェーハスケール クラスター

これは、最大 192 台の Cerebras CS-2 システムを接続し、単一のロジック アクセラレータとして動作させることができる、まったく新しいシステム アーキテクチャです。この設計により、メモリとコンピューティングが分離され、AI モデルに TB レベルのメモリを展開できるようになります。一方、GPU のみを使用する場合は GB レベルのメモリしか展開できません。

- ウェイトストリーミング

ウェーハスケールのクラスターでデータ並列処理のみを使用して大規模モデルをトレーニングする新しいアプローチ。 Cerebras は、顧客が大規模な GPU モデルのトレーニングにいくつかの困難を抱えていることがわかったと述べています。 Cerebras のソリューションは、ハードウェアの大規模なコンピューティング機能とメモリ機能を活用して、モデルをレイヤーごとに完全にデータ並列方式でストリーミングすることで作業を分散します。

2022 年 11 月、Cerebras は、1 エクサフロップス、16 CS-2 AI スーパーコンピューターである Andromeda を発売し、これら 2 つのテクノロジーを市場に投入しました。

アンドロメダには3つの意味があります:

まず、Cerebras のウェハスケール クラスターの設計リファレンスを提供し、顧客向けの新しい AI スーパーコンピューターをより迅速かつ簡単に構築できるようにします。

2 つ目は、大規模な生成モデルをトレーニングするための世界クラスのプラットフォームを提供することで、Cerebras がわずか数週間で 7 つの Cerebras-GPT モデルをトレーニングし、これらのオープンソース モデルを世界と共有できるようになります。

3 つ目は、Cerebras Cloud の主力製品となり、顧客がハードウェアを調達して管理することなく Cerebras のシステムを使用できるようになりました。

本日の CG-1 の発表は、これらすべての取り組みの集大成です。これは、Cerebras がこれまでに導入した中で最大の AI スーパーコンピューターであり、Andromeda のおかげで、Condor はわずか 2 週間で導入することができました。

現在、アラビア語などの新しいデータセットをカバーするいくつかの大規模な言語モデルをトレーニングしています。 Cerebras CloudとG42 Cloudを通じて世界中の顧客にサービスを提供しています。

コンドルギャラクシー 4ステップ

セレブラスは公式サイトで、コンドルギャラクシーの今後の開発に向けた4段階の計画も公開した。

- フェーズ1:

現在 32 台の CS-2 システムで構成される CG-1 は、サンタクララの Colovore データ センターで稼働しています。

- フェーズ2:

Cerebras は CG-1 のサイズを 2 倍にし、4 エクサフロップスの 64 個の CS-2 システムに拡張します。 64 ノード システムは、完全なスーパーコンピューティング インスタンスを表します。

- フェーズ3:

Cerebras は米国全土にさらに 2 台の完全なスーパーコンピュータを構築し、配備されるコンピューティング センターの総数を 12 エクサフロップスの計算能力を持つ 3 か所に増やす予定です。

- フェーズ4:

さらに 6 つのスーパーコンピューティング センターを構築し、設置センターの総数を 9 にすると、人工知能の計算能力は 36 エクサフロップスに達します。

これら 4 つのステップを完了すると、Cerebras はパブリック AI コンピューティング インフラストラクチャの分野で世界トップ 3 社の 1 つになります。

写真

Condor Galaxy は 2024 年に完全に導入されると、世界最大級のクラウド AI スーパーコンピューターの 1 つになります。計算能力は 36 エクサフロップスに達し、これは Nvidia の Israel-1 スーパーコンピューターの 9 倍、Google がリリースした最大の TPU v4 ポッドの 4 倍に相当します。

写真

セレブラスクラウド

Cerebras は G42 の CG-1 を管理および運用し、モデル開発に不可欠な Cerebras Cloud を通じて AI トレーニング専用のスーパーコンピューティング インスタンスを提供します。

OpenAI の ChatGPT は Microsoft Azure によって構築された専用クラスターの恩恵を受けており、DeepMind と Google Brain のブレークスルーは GCP の事前構成済み TPU ポッドの恩恵を受けていることを知っておく必要があります。

Andromeda のリリース以来、Cerebras は最大 16 個の CS-2 システムを接続して、Cerebras システムへのクラウドベースのアクセスを提供してきました。

CG-1 の発売により、Cerebras は最大 64 システムの完全構成済み AI スーパーコンピューターを含むように Cerebras のクラウド サービスを拡張し、顧客がワンクリックで 4 エクサフロップスの AI パフォーマンスにアクセスできるようにします。

写真

それだけでなく、Cerebras は GPU 拡張の問題も解決します。

GPU は強力な汎用アクセラレータですが、大規模な GPU クラスターのプログラミングは ML 開発者にとって大きな技術的障壁となることが広く考えられています。

ほぼすべての企業は、Microsoft の DeepSpeed、Nvidia の Megatron、Meta の Fairscale、Mosaic の Foundry など、この複雑さを管理するためのプログラミング フレームワークを発明せざるを得ませんでした。

Cerebras はこれらのライブラリを詳細に分析し、GPU クラスターでモデルをトレーニングするには平均で約 38,000 行のコードが必要であることを発見しました。

ほとんどのソフトウェア チームにとって、複雑さは管理するには大きすぎます。

写真

Cerebras のウェーハスケール クラスターは、1 ノードでも 64 ノードでも、基本的に単一のロジック アクセラレータとして設計されています。

CG-1 には 82 TB の統合メモリが搭載されているため、Cerebras のチームは、パーティション分割や追加コードなしで、最大規模のモデルでも直接メモリに収めることができます。

Cerebras では、100B パラメータ モデルは 1B モデルと同じコードを使用し、パイプラインやモデルの並列処理は必要ありません。

Cerebras は、最大 50,000 トークンの長いシーケンスのトレーニングをネイティブにサポートします。

その結果、Cerebras で標準 GPT を実装するには 1,200 行のコードしか必要なくなり、これは業界をリードするフレームワークの平均的なコードよりも 30 倍シンプルになりました。