人工知能がメモリ相互接続の進化を推進

人工知能（AI）や自動車用チップの複雑さが徐々に増し、エッジ処理の割合も増加するにつれて、ストレージの選択、設計、使用モード、構成はより大きな課題に直面することになります。したがって、AI および機械学習アプリケーションのニーズを満たすために、データが保存される場所とメモリに位置情報がますます適用されるようになっています。

処理がチップ、コンポーネント、システム間を移動し、優先順位が不明確なため、設計チームは、コストを削減するためにメモリを統合して共有するか、パフォーマンスを向上させて消費電力を削減するためにメモリの種類を増やすかのバランスを取る必要があります。

しかし、この問題はメモリベンダーだけの課題ではありません。他の AI 関係者も役割を果たしており、解決策の重要な部分はメモリ相互接続、つまりメモリをコンピューティングに近づけることです。 「私たちは皆、AIのさまざまな側面に取り組んでいます」と、AIハードウェアサミットでのメモリ相互接続の課題と解決策に関する円卓討論会でラムバスフェローのスティーブ・ウー氏は述べた。

現在の観点から見ると、内蔵 SRAM および DRAM ストレージは依然として主に推進されているテクノロジです。 DRAM は高密度で、比較的単純なコンデンサ ストレージ構造を使用し、低レイテンシ、高性能、ほぼ無制限のアクセス時間による耐久性を備え、消費電力も比較的低くなっています。 SRAM は非常に高速ですが、高価であり、密度が限られています。これらのさまざまなニーズは、ストレージの種類と量、および内蔵ストレージと外部ストレージの選択に影響します。

SRAM に関する豊富な経験を持つ Marvell の ASIC 事業部門の CTO、Igor Arsovski 氏は、ビールというのはメモリ相互接続の比喩として悪くないと語った。 「SRAM はビールのボトルのようなものです。使いやすく、エネルギー消費量も非常に少なく、必要なものだけを提供します」と彼は言います。「しかし、メモリが足りない場合は、ビールを手に入れるために遠くまで行かなければならないのと同じように、さらに遠くまで行ってより多くのエネルギーを消費する必要があります。」 ”

HBM 対 LPDDR

外部ストレージの競争は基本的に DRAM-GDDR と HBM に基づいています。エンジニアリングと製造の観点から見ると、GDDR は DDR や LPDDR などの他の種類の DRAM に似ており、標準のプリント回路基板に配置して同様のプロセスを使用できます。

HBM は、スタッキングとシリコン インターポーザを使用する比較的新しいテクノロジです。各 HBM スタックには数千の接続があるため、高密度の相互接続が必要となり、PCB の処理能力をはるかに超えてしまいます。 HBM は最高のパフォーマンスと最高の電力効率を追求しますが、コストが高く、より多くのエンジニアリング時間と技術を必要とします。 GDDR には相互接続がそれほど多くありませんが、信号の整合性に影響します。

メモリ面では、高帯域幅メモリ（HBM）が AI にますます採用されつつあると Arsovski 氏は述べています。

「メモリにアクセスするには 60 倍のエネルギーが必要です。容量ははるかに大きいですが、アクセスするための帯域幅も大幅に減少します。」ビールの例えは、SRAM を上回る LPDDR (DDR SDRAM の一種) などのテクノロジにも適用できます。「LPDDR ははるかに多くの電力を消費しますが、はるかに多くの容量を詰め込むことができます。 「まるでお気に入りのバーに向かって歩いているような感じです。 ”

アルソフスキー氏は、次世代のアクセラレータでは、これらの小さなバケットをアクセラレータの真上に配置し、メモリをコンピューティングに近づける方向に進んでいくと予想しています。 MLCommons は、学界と業界のメンバーで構成され、機械学習の標準と推論ベンチマークを提供する組織です。 「これにより、さまざまなワークロードについて非常に幅広い理解が得られました」と、MLCommons のエグゼクティブ ディレクターである David Kanter 氏は語ります。「組織に関して私たちが変更し始めていることの 1 つは、組織を集中させることです。つまり、諮問グループを構築し、特定のアプリケーション領域に深い専門知識を取り入れることです。」MLCommons は、AI モデルをトレーニングするすべての人のために大規模な公開データセットをコンパイルし、他の専門家を引き付けるためにサービスを拡大する予定です。

カンター氏は、記憶に関しては、システム全体のコンテキストが重要だと語った。 「システムで何をしたいのかを考える必要があります。」チップ、パッケージ、ボードはすべて考慮しなければならない要素です。ストレージの配置場所や接続場所、配列構造、セルの種類、最適化できる距離など、さまざまなコーナーケースが存在します。 ”

カンター氏：「帯域幅と不揮発性がどこで必要になるかを理解することも重要な考慮事項であり、それが正しい選択を行うための指針となります。」

これらの考慮事項は、従来メモリ システムの構築プロセス全体に関与してこなかった企業にとって特に重要です。コンパイラやスケーラブルなシステムに長年取り組んできた Google のソフトウェア エンジニア、サミール クマール氏は、大規模なバッチ学習を行う能力を含め、さまざまな機械学習モデルにとってネットワークとメモリの帯域幅が重要であると述べています。 「AIのトレーニングには多くのメモリ最適化が伴いますが、これはコンパイラーが高効率を達成するために最も重要なステップであり、つまりメモリをよりスマートにする必要があることを意味します。」

AI アプリケーションの特定の段階でデータ移動が主流になり始めると、メモリ相互接続がますます重要になります。ウー氏：「パフォーマンスと電力効率の面で、これはますます大きな問題になっています。誰もがデータ速度とエネルギー効率を倍増させたいと考えているため、データレートを上げるのは少し難しいです。私たちが頼りにしている技術の多くは、もはや役に立たないか、速度が低下しています。新しいアーキテクチャについて考え、データを移動する方法に革新をもたらす機会があります。 ”

ウー氏：これには、ストレージデバイス自体の革新だけでなく、パッケージングの革新やスタッキングなどの新技術、そして脳データのセキュリティの確保も含まれており、米国のメモリ技術企業ラムバスは、この点がますます注目されていると考えています。

Rambus はすでに 3D スタッキングを検討していますが、スタッキング容量の増加に伴って帯域幅が増加しなければ、使い勝手は制限されます。

アルソフスキー氏は、マーベルはAIシステムを構築する顧客と多くの時間を費やし、各チップのエッジでどれだけの帯域幅を移動できるか、どれだけの帯域幅がメモリにアクセスできるかといった情報を顧客に提供していると語った。 「現在、顧客はメモリ帯域幅と I/O 帯域幅の拡大を求めています」と同氏は語った。「パッケージ レベルで大規模な相互接続がどのように行われているかを見ると、大きな不一致があります。現在、ボトルネックにぶつかっており、ハイエンドのチップ間接続の限界を押し広げています。」

メモリの観点から見ると、チップに収まらない AI モデルの次のステップは HBM または GDDR ですが、チップ上で移動できる帯域幅には限りがあるため、3D スタッキングに向かう傾向も強くなっています。 「顧客はますます大きな I/O 帯域幅を求めていますが、エッジでどれだけ対応できるでしょうか?」

カンター氏は、機械学習の世界でさえ「多様性が非常に大きい」ため、エコシステムに限界や変化が生じていると述べた。非常に大きなデータ構造のランダム検索は、通常の DRAM を搭載した単一のノードには収まりきらないため、メモリ内に保持したい場合は大規模なクラスターを構築する必要があります。 「これは、従来の視覚重視のパラダイムとは非常に異なる特徴と特性を持っています。記憶に関しては、この多様性を念頭に置くことが非常に重要です。」

大量のメモリとコンピューティングを統合する必要がある場合、相互接続が生まれます。相互接続は、特に巨大企業にとって重要です。 「単一の GPU で小さなネットワークをトレーニングするだけの場合、重要な次元はおそらくメモリ帯域幅です。」

クマール氏は、メモリ帯域幅が広いほどさまざまな種類の最適化が可能になるが、モデルが特にメモリに制約されている場合は、計算量が増える可能性があると述べた。 「利用可能なメモリ スループット、または利用可能な相互接続スループットがさらに高ければ、モデル設計の柔軟性が向上し、新しい機能が有効になり、さまざまな種類のモデルを構築できる可能性があります。」

Woo: Rambus は 3D スタッキングに関心を持っていますが、課題は、上位レイヤーに進むにつれて、スタックを上下に移動するための帯域幅の増加を維持することが難しくなることです。 「スタックの容量は最終的に増加しますが、それに応じて帯域幅が増加しなければ、そのソリューションはどれほど役立つでしょうか。」

彼は、「The Holy Grail」とは、スタッキングフォームファクタの効率を向上させながら充填頻度を維持し、帯域幅、容量、スタッキングの比率を比較的一定にすることができる方法であると紹介しました。

Kumar 氏と Arsovski 氏はどちらも、バランスのとれたスケーラブルなシステムと適切に設計されたソフトウェア スタックを構築する必要性については同意しています。 「私たちは、人間の脳に似た、拡張性に優れたアーキテクチャを考案しています」とアルソフスキー氏は言う。「低エネルギーでありながら、多くの接続性を備えている必要があります。現在、これに最も近いのは 3D スタッキングですが、電力、パッケージング、機械的な課題が残っています。」 「何千ワットもの電力を冷却しなければならないという心配をしなくて済むように、各層で非常に低い電力を使用する並列システムを考え出す必要があります。」

電力消費は依然として解決が難しい問題である

電力消費もストレージの重要な問題であり、ストレージの種類や構成によっても電力消費は影響を受けます。たとえば、7nm プロセス ストレージでデータを移動すると、ワイヤの RC 遅延のためにより高い電力が必要になり、熱エネルギーが発生して信号の整合性が損なわれる可能性があります。

ストレージは AI にとって重要であり、AI はすべての新しいテクノロジーの主役です。しかし、ストレージの使用方法に影響を与えるのは、AI チップだけではなく、チップ内の AI アプリケーションでもあります。超高速と最小限の電力消費を実現する最善の方法は、すべてのコンポーネントを同じチップに配置することですが、スペースが限られている場合があります。

これは、データ センターやトレーニング アプリケーション用の AI チップが、推論アプリケーションを実行するために端末デバイスに導入される他の多くの種類のチップよりも大きい理由も説明しています。もう 1 つのアプローチは、ストレージの一部をチップの外部に移動し、設計によって転送速度を上げ、ストレージまでの距離を短くするか、外部ストレージのデータ フローを制限することです。

メンターのIP部門ディレクターであるファルザド・ザリンファー氏は、電力、性能、面積（PPA）はすべて重要だが、主にアプリケーションに関連していると述べた。ポータブル アプリケーションを例にとると、電力は非常に重要であり、電力は動的と静的の 2 つの部分に分けられます。大量のコンピューティングが必要な場合は、動的電力が非常に重要になります。ウェアラブル設計の場合は、静的/リーク電力がより重要になります。電気自動車ではバッテリー寿命が重要となるため、電力消費も重要な要素となります。

次は、AI システムの次の構成要素に取り組み始めるときです。 「私たちはトランジスタに取り組んできましたが、これまでのところ、トランジスタはかなり良い成果を上げています。しかし、このデバイスをほぼゼロから考え直す必要があります。」

数多くの革新的なテクノロジーと革新的なアーキテクチャがあるにもかかわらず、ストレージは依然としてすべての設計の中心にあります。最適なシステム パフォーマンスを実現するために、既存のストレージをどのように優先順位付け、共有、配置、使用するかというのは、言うほど簡単ではありません。