GPUが急成長を遂げるGenAIの時代において、AMDはNvidiaのCUDAソフトウェアの堀を超えつつある

今日、生成 AI (GenAI) について話すとき、GPU とそれに伴うパフォーマンスおよびアクセシビリティはほぼ避けられません。 NVIDIA は GPU の代名詞であり、国際的な GPU 市場で絶対的な支配的なシェアを占めています。一方、AMDは近年徐々に台頭し、一定の市場シェアを占めるようになりました。

しかし、AMDとNvidiaの間にはまだ大きな差があります。市場調査会社Jon Peddie Researchが発表した2022年のGPU市場データ統計レポートによると、NvidiaのPC GPU出荷台数は3,034万台に達し、AMDの約4.5倍に達したことが以前に示されていました。

Nvidia の場合、GPU と生成 AI の密接な関係は偶然ではありません。 Nvidia は、市場拡大に役立つツールとアプリケーションの必要性を長い間認識してきました。そのため、NVIDIA は、CUDA ツールキットや cuDNN 最適化ライブラリを含む独自のハードウェアを入手するためのハードルを非常に低く設定しています。

NVIDIA はハードウェア企業として知られているが、同社の応用ディープラーニング研究担当副社長であるブライアン・カタンザーロ氏は「多くの人が知らないのは、NVIDIA にはハードウェア エンジニアよりもソフトウェア エンジニアの方が多いということです」と述べている。

Nvidia はハードウェアの周囲に強力なソフトウェアの堀を築いたと言えます。 CUDA はオープンソースではありませんが、無料で提供されており、NVIDIA の厳格な管理下にあります。これはNvidiaにとって利益となるが、代替ハードウェアを開発してHPCや生成AI市場を獲得したいと考えている企業やユーザーにとっては課題も生み出す。

城の基礎にある建物

生成 AI 用に開発される基礎モデルの数は増え続けていますが、その多くはオープンソースであり、Meta の Llama シリーズの大規模モデルのように自由に使用および共有できます。これらのモデルの構築には多くのリソース (人材やマシンなど) が必要であり、AWS、Microsoft Azure、Google Cloud、Meta Platforms など、多数の GPU を備えたハイパースケール企業に限定されます。さらに、他の企業も独自の基本モデルを構築するために大量の GPU を購入しています。

これらのモデルは研究の観点から興味深いものであり、さまざまなタスクに使用できます。ただし、ドメイン固有のデータをベースモデルに追加してユースケースに適合させるモデルの微調整や、微調整後にリソースを実際の使用（質問など）に消費する推論など、より生成的な AI コンピューティング リソースの使用と需要が増加すると予想されています。

これらのタスクには、高速コンピューティング、つまり GPU の参加が必要です。明らかな解決策は、Nvidia GPU をさらに購入することです。しかし、需要が供給を上回っているため、AMD には大きなチャンスがあります。インテルや他の企業もこの市場への参入を準備している。微調整と推論がより一般的になるにつれて、生成 AI は GPU の可用性を圧迫し続け、その時点では GPU (またはアクセラレータ) がないよりは GPU があるほうが良いことになります。

Nvidia ハードウェアから離れるということは、多くのモデルやツールを実行するために、他のベンダーの GPU とアクセラレータが CUDA をサポートする必要があることを意味します。 AMD は、HIP (CUDA のような) 変換ツールを通じてこれを可能にします。

PyTorch がソフトウェアの堀「跳ね橋」を落とす

HPC 分野では、CUDA 対応アプリケーションが GPU アクセラレーションの世界を支配しています。移植されたコードは、通常、GPU と CUDA を使用すると 5 ～ 6 倍の高速化を実現できます。しかし、生成 AI では状況はまったく異なります。

当初、TensorFlow は、CPU と CUDA による高速化の両方で GPU を使用して AI アプリケーションを作成するための最適なツールでした。しかし、この状況は急速に変化しています。

PyTorch は TensorFlow の強力な代替手段となっています。オープンソースの機械学習ライブラリとして、主にニューラル ネットワークに基づくディープラーニング モデルの開発とトレーニングに使用されます。

最近、AssemblyAI の開発者教育者である Ryan O'Connor 氏は、人気の HuggingFace ウェブサイトで利用できるモデルの 92% が PyTorch 独自のものであることをブログ投稿で指摘しました。

また、下の図に示すように、機械学習の論文の比較でも、TensorFlow を放棄して PyTorch に切り替える傾向が顕著に見られます。

もちろん、PyTorch は内部で CUDA を呼び出しますが、PyTorch はユーザーを基盤となる GPU アーキテクチャから分離するため、これは必要ありません。 AMD には、AMD GPU をプログラミングするためのオープンソース ソフトウェア スタックである AMD ROCm を使用する PyTorch のバージョンもあります。

現在、AMD GPU の場合、CUDA の堀を越えるのは PyTorch を使用するのと同じくらい簡単です。

推論本能

HPC および生成 AI では、H100 GPU 共有メモリを搭載した Nvidia の 72 コア ARM ベースの Grace-Hopper スーパーチップ (および 144 コアの Grace-Grace バージョン) が大きな期待を集めています。

Nvidia がこれまでに公開したすべてのベンチマークでは、このチップのパフォーマンスが、PCIe バス経由で GPU に接続してアクセスする従来のサーバーよりもはるかに優れていることが示されています。 Grace-HopperはHPCや生成AI向けに最適化されたハードウェアであり、微調整や推論などで幅広く利用されることが期待されており、需要が高いことが予想されます。

AMD は 2006 年 (グラフィック カード会社 ATI を買収した年) から、共有メモリを備えた CPU-GPU 設計を採用しています。 Fusion ブランドをはじめ、多くの AMD x86_64 プロセッサは、APU (Accelerated Processing Units) と呼ばれる CPU/GPU の組み合わせとして実装されています。

AMD の Instinct MI300A プロセッサ (APU) は、Nvidia の Grace-Hopper スーパー チップと競合します。統合型 MI300A プロセッサは、最大 24 個の Zen4 コア、CDNA 3 GPU アーキテクチャ、最大 192 GB の HBM3 メモリを搭載し、すべての CPU および GPU コアに統合アクセス メモリを提供します。

チップレベルのキャッシュコヒーレントメモリは、CPU と GPU 間のデータ移動を削減し、PCIe バスのボトルネックを解消し、パフォーマンスとエネルギー効率を向上させると言えます。

AMD はモデル推論市場向けに MI300A プロセッサを準備しています。 AMD の CEO である Lisa Su 氏は、「実際、いくつかのアーキテクチャの選択のおかげで、私たちは推論ソリューションの業界リーダーになれると考えています」と述べています。

AMD や他の多くのハードウェア ベンダーにとって、PyTorch は基盤となるモデルの周囲の CUDA の堀にかかる跳ね橋を下ろすものとなりました。 AMD の Instinct MI300A プロセッサが先頭に立つでしょう。

生成 AI 市場におけるハードウェア戦争は、パフォーマンス、移植性、使いやすさなどの要素によって勝敗が決まります。将来誰が勝利するかはまだ不明です。