TPU v4 チップの計算能力が新たな高みに到達しました。 Googleが世界最大の機械学習センターを建設

最近、Google の I/O 開発者会議で、Google は魅力的な新しい携帯電話、AR グラス、ファミリー全体のソフトウェア アップグレードを発表したほか、世界中の機械学習プレイヤーに「大ヒット」をもたらしました。

1 年前に発表された TPU v4 が、Google Cloud の機械学習クラスターに正式に導入されました。この機械学習の「キラーウェポン」は、Google Cloud の最新の機械学習クラスタのプレビュー バージョンで正式に使用されています。

Google は、これが世界最大の公開機械学習センターになると述べている。

現在、Google Cloud の最新プレビュー版に加え、検索エンジン、動画サイト Youtube など、Google のその他の SOTA レベル製品はすべて TPU プロセッサ (テンソル プロセッシング ユニット) を使用しています。

画期的なTPU v4がv3を圧倒

TPU v4 は、昨年の I/O カンファレンスで Google が発表したチップです。

当時の開発者会議で、Google CEO の Sundar Pichai 氏は 1 分 42 秒かけてこのチップを紹介しました。

TPU v4 は Google の第 4 世代カスタム AI チップであり、以前のバージョン v3 の 2 倍の計算能力を備えています。パフォーマンスも前世代に比べて10倍以上向上しました。

TPU v4 チップは、Google の Google Cloud Platform において非常に重要なリンクを埋めていると言えます。機械学習のトレーニング速度が大幅に向上しました。

定量的に言えば、4096 個の v4 TPU、つまりチップ ポッドは、1 エクサフロップス (1000 億回の浮動小数点演算) を超える AI コンピューティング能力を提供できます。

おそらく、上記のデータは直感的にわかりにくいかもしれません。比較すると、100ペタフロップスの計算能力を持つ TPU ポッドは、1,000 万台のラップトップの合計処理能力に相当します。

これまで、1 エクサフロップス (1 秒あたり 10 の 18 乗の浮動小数点演算) の計算能力を実現するには、通常、カスタム スーパーコンピュータを構築する必要がありました。

TPU は Google の最初のカスタム チップの 1 つであり、Microsoft を含む他の企業が機械学習サービスにさらに柔軟な FPGA を採用することを決定したときに、Google は早い段階で TPU に賭けました。

Google はすでにこれらのコンピューターを多数導入しており、自社のデータセンターには数十個の TPU v4 ポッドが設置されています。

また、最も重要なのは、これらの Google データセンターは 90% または 90% 近くのカーボンフリー エネルギーで稼働することです。

TPU v4 は強力なだけでなく、環境にも優しいようです。

Google Cloud 最新プレビュー版！

Google Cloud の最新の機械学習クラスターのプレビューは、最近の Google I/O 開発者会議のハイライトでした。

Google は、「機械学習における容量、パフォーマンス、スケールに対する顧客の需要が急速に高まっています。AI の次世代の根本的な進歩をサポートするために、Google Cloud Machine Learning Clusters をリリースしました。これには、Cloud TPU v4 Pod のプレビュー バージョンが含まれます」と述べています。

Google は、「これは世界最速、最も効率的、そして最も持続可能な機械学習インフラストラクチャ センターです」と明言しました。

Cloud TPU v4 Pod のサポートにより、研究者や開発者はますます複雑化するモデルをトレーニングして、幅広いアルゴリズム システムをサポートできるようになります。

たとえば、NLP（大規模自然言語処理）、推奨システム、コンピュータービジョンアルゴリズムなどです。

Google によると、Cloud TPU v4 Pods クラスターは、最大 9 エクサフロップスのピーク総合パフォーマンスを備え、計算能力の点で世界最大の公開機械学習センターです。

そして、上で述べたことを忘れないでください。強力な計算能力を備えているだけでなく、環境にも優しいのです。

Google データセンターのマット・イーストウッド氏は、「最近、2,000 人の IT 担当者を対象に調査を実施しました。その結果、インフラストラクチャのコンピューティング能力の不足が AI プロジェクトの失敗の根本的な原因であることが多いことがわかりました」と述べています。

「それが、私たちが Cloud TPU v4 Pods をリリースする理由です。さらに、私たちの業務の 90% をカーボンフリー エネルギーで賄えるという事実は、私たちがコンピューティング能力の限界を押し広げているだけでなく、持続可能性にも注力していることを示しています。」

これは実に理解しやすいです。計算能力がどれだけ強力であっても、消費するエネルギーが多すぎると長期的な解決策にはなりません。

持続可能性について話している間に、クラスターのエネルギー効率についてもう少しお話ししましょう。

上記のクリーン エネルギー供給に加えて、Google のデータ センターの電力使用効率 (PUE) 評価は 1.10 です。

さらに、TPU v4 チップの最大電力 1 ワットあたりのピーク フロップは、前世代の 3 倍です。

Google は昨年このチップを発表した際、昨年末までに宣伝することを約束していた。当時、Google は Cohere、LG AI Research Center、Meta、Salesforce など、いくつかの AI 大手に使用ライセンスを付与していました。

Google は、ユーザーは新しいチップのパフォーマンスとスケーラビリティを気に入っており、TPU v4 の高速相互接続と最適化されたソフトウェア スタックがニーズを満たしていると述べています。お客様は、チップの優れたアーキテクチャを通じて、独自のインタラクティブな開発環境を構築できます。

さらに、TPU v4 の柔軟性により、このチップは JAX、Pytorch、TensorFlow など、顧客が使用するフレームワークにも完全に適合します。

これらの機能により、研究者は AI の限界を押し広げ、大規模な SOTA 機械学習モデルをトレーニングし続けることができます。

数年前、Google は機械学習の実践者に非常に強力なコンピューティング パワーのサポートを提供するために、TRC (TPU Research Cloud) プロジェクトも設立しました。

Google が発表したチップ アーキテクチャにより、開発者はさまざまな独自のアイデアを実現できます。

たとえば、AI を使ってペルシャ語の詩を書く人もいれば、コンピューター ビジョンと行動遺伝学を使って睡眠と運動による疲労の違いを研究する人もいます。

AIが書いたペルシャの詩

Google の副社長兼人工知能研究センター所長のジェフ・ディーン氏は、「Cloud TPU v4 は画期的な製品です。今後、この製品によって世界中の機械学習開発者とさらに連携し、AI が全世界に役立つようになると信じています」と述べています。