なぜ記憶はAIの発展を妨げる問題となるのでしょうか？

エッジ コンピューティングのパフォーマンスの向上により、メモリの設計、タイプの選択、構成に課題が生じ、さまざまなアプリケーション市場でのトレードオフがより複雑になります。チップ アーキテクチャは新しい市場とともに進化していますが、チップ、デバイス、システム間でデータがどのように移動するかは必ずしも明確ではありません。自動車や AI アプリケーションからのデータはますます大規模かつ複雑になっていますが、チップ アーキテクチャでは、データを処理する際にデータの優先順位をどのように付けるかが明確でない場合があります。

これにより、チップ設計者は、コストを削減するためにメモリを共有するか、パフォーマンスを向上させて消費電力を削減するために異なるタイプのメモリを追加するかを選択できます。

これらはすべて安全性に基づいており、市場設計が異なれば要件も異なります。たとえば、LIDAR やカメラなど、車に搭載されているさまざまな種類の画像センサーからの大量のデータをローカルで処理する必要があります。 AIチップの性能は100倍向上すると予想されています。

メモリ問題を解決する方法はいくつかあります。その 1 つはオンチップ メモリです。これは、メモリをコンピューティング ユニットの隣に分散して統合し、データの移動を最小限に抑えることを意味します。この方法の目的は、ロードとストレージの数を減らすことでメモリのボトルネックを打破し、消費電力も削減することです。

「インメモリ コンピューティングは、アナログ、デジタル、またはその両方である可能性があります」と、Cadence Digital & Signoff Group のシニア プロダクト マネージャーである Dave Pursley 氏は述べています。「メモリ内でコンピューティングを行うというアイデアは増加傾向にあるかもしれませんが、このコンピューティングで実際に行われることはかなり異なるようです。」

SRAMとDRAMは依然として主流である

市場に新たな変化が起こっているにもかかわらず、オンチップ SRAM とオフチップ DRAM は依然として主流です。一部の専門家は、DRAM は数年以内に「消滅」すると予測していますが、それでも DRAM は最も経済的で信頼性の高い選択肢です。 DRAM は、高密度、シンプルなアーキテクチャ、低レイテンシ、高性能、耐久性、低消費電力などの特性を備えています。

DRAM の密度増加は鈍化していますが、HBM2 などの新しいアーキテクチャでは、DIMM を使用するのではなくモジュールを積み重ねることで垂直密度の増加が可能になり、DRAM を処理ユニットに近づけるアプローチも採用されています。

さらに、SRAM は高価で密度も限られていますが、その高速性能は長年にわたって実証されています。オンチップ メモリの課題は、分散アプローチを使用するか共有アプローチを使用するかであり、場合によっては、安全性のために冗長性を追加する必要があります。

Arm のシニア IoT アーキテクトであるライアン・リム氏は、「これらの要件はすべて、メモリの種類と量の選択、オンチップ メモリとオフチップ メモリのトレードオフ、各メモリにアクセスするための相互接続の複雑さに影響を与えます」と述べています。

低消費電力メモリが鍵

メモリに関する重要な問題は電力消費であり、これはメモリの種類や構成など多くの要因によって影響を受けます。たとえば、7nm メモリ内のデータにアクセスすると、配線の RC 遅延により、より多くの電力が消費される可能性があります。もちろん、これによって熱も発生し、メモリ内外の信号の整合性が損なわれる可能性があります。

ただし、高帯域幅メモリを使用した低速のオフチップ データは電力を節約でき、高速 GDDR6 と同等の速度を実現できます。これらの決定がどのように行われるかは、デバイスの平均販売価格や選択したメモリの種類など、さまざまな要因によって異なります。

バッテリーで動作するエッジデバイスの増加など、ハンドヘルドモバイルデバイスを対象とした、極めて低電力のメモリもあります。

「これらのメモリはエネルギー効率が非常に高く、バッテリー駆動のデバイスの電力消費とデータ転送速度を大幅に向上させることができます」と、Rambus の著名なフェローである Steven Woo 氏は述べています。 「また、複数のモードで動作することができ、携帯電話やタブレットなどの製品のスタンバイ時にはエネルギーをほとんど消費せず、処理が必要なときにはより高性能/高電力モードに素早く切り替えることができます。」

低電力メモリはさまざまなパッケージング方法もサポートしており、携帯電話プロセッサとスタックしてスマートフォンの薄型軽量要件を満たすことができます。また、PCB に統合してタブレットやその他の消費者向けデバイスの大容量メモリ構成要件をサポートすることもできます。

低電力メモリの開発が課題であることは間違いありません。 「低電力メモリを設計する場合、幅広いデータレートをサポートするが、そのデータレートは低電力メモリとしては非常に高くなる傾向がある」とウー氏は述べた。 「これは通常、1 つまたは 2 つの主要なアプリケーション市場によって推進されるため、新しいメモリが登場するのに十分な大きさの市場である大きな業界でなければなりません。歴史的に、携帯電話市場は成功例となっています。さまざまな携帯電話メーカーに話を聞くと、バッテリー寿命を延ばしたいため、どのメーカーもより高性能で電力効率の高いメモリを求めています。低電力メモリの使用を望む他の企業にとっては、他社がそれを実現するのを手伝ってくれるのは喜ばしいことです。」

通常、これらの認定メモリはいくつかの異なるデータ レートで動作しますが、レートは近いものになります。 「これらのメモリの 1 つは 4.2 ギガビット/秒で、もう 1 つは 3.2 ギガビット/秒です」と、彼は説明しました。「これにより、メモリ メーカーは、これらすべてのメモリを製造する際に、いわゆるビニングを行うことができます。これは、一部の部品がフル スピードで動作しない場合に発生しますが、一部の顧客はより低価格で低パフォーマンスのメモリを購入する必要があるため、メーカーはそれでもそれらを販売します。ビニングにより、これが可能になります。これらの製品は、特定のパフォーマンス範囲内で認定されます。」

記憶は人工知能の発展にどのように影響するのでしょうか?

人工知能はほぼすべての新しいテクノロジーにおいて重要な役割を果たしており、メモリは人工知能において重要な役割を果たしています。チップは常に超高速と超低消費電力を追求してきましたが、スペースが限られているため、これが常に可能であるとは限りません。しかし、データセンターやトレーニングに使用される AI チップが、エッジ推論デバイスで使用されるチップよりも大きい理由は説明できます。もう 1 つのアプローチは、オフチップ メモリ チップの一部を削減してデータ スループットを向上させ、設計を通じてメモリまでの距離を短縮するか、データ フローを制限することです。

いずれの場合も、オフチップ メモリの競争は主に DRAM (GDDR と HBM) に集中します。

「エンジニアリングと製造の観点から見ると、GDDR は DDR や LPDDR などの他のタイプの DRAM とよく似ています」と Woo 氏は述べています。 「標準の PCB に統合して、同様の製造プロセスを使用できます。HBM はやや新しいもので、HBM には低速の接続が多数あるため、スタッキングとインターポーザーが必要です。各 HBM スタックには 1,000 の接続があるため、高密度の相互接続が必要になり、これは PCB が処理できる範囲をはるかに超えています。そのため、一部の企業はインターポーザーを使用しています。インターポーザーを使用すると、オンチップ接続のようにワイヤを非常に接近させてエッチングできるため、より多くの接続を実現できます。」

HBM は高性能と優れた効率性を追求しますが、コストが高く、より多くのエンジニアリング時間と技術を必要とします。 GDDR では、DRAM とプロセッサ間の相互接続はそれほど多くありませんが、動作速度が大幅に向上し、信号の整合性に影響します。

図 1: さまざまなタイプの DRAM の特性。画像クレジット: Rambus

ペイパー

アーキテクチャの変更や新しいテクノロジーにもかかわらず、電力、パフォーマンス、面積は依然として主要な推進要因です。

「これら3つはどれも非常に重要ですが、用途によって大きく異なります」と、シーメンス傘下のメンター社の知的財産部門ゼネラルマネージャー、ファルザド・ザリンファー氏は語る。 「例えば、ポータブルアプリケーションの場合、消費電力は非常に重要です。電力自体も動的と静的に分かれています。1つは動的電力、もう1つは静的電力です。無線通信に適用され、計算量が多い場合は動的電力が非常に重要になります。しかし、ウェアラブルアプリケーションの場合、ユーザーは睡眠、起床、移動、そして再び睡眠というさまざまな状態になるため、静的/リーク電力が非常に重要になります。」

浅いスリープなどの機能により、設計者はリークを大幅に削減できます。リークは、他の直接アクセスされるメモリ バンクがアクティブな間、非アクティブなメモリをソース バイアス モードにしてリークを削減します。電力管理、Vdd の管理、リークの最小化技術により、設計されたディープ スリープ中にデータを保持できます。データ保持が不要な場合は、クローズド モードを使用すると漏洩をさらに削減できます。

電力効率に関連するすべてのことは、自動車においても重要です。 「電気自動車ではバッテリーの寿命が非常に重要なので、電力消費は極めて重要だ」とザリンファー氏は語った。 「人々は、-40°C から 125°C、さらには 150°C まで直線的な動作を求めています。高温でリークが急上昇することは望んでおらず、できるだけ直線性を維持したいと考えています。繰り返しになりますが、温度範囲全体にわたって消費電力とリークに注意を払う必要があります。これは非常に重要です。」

アプリケーションに関係なく、電力は依然として主要な考慮事項です。 「SoC 設計がより小型化に向かう​​につれて、この傾向が見られる」と彼は述べた。 「メモリ消費量は増加しており、組み込みメモリの容量も増加しています。現在、ダイの 50% 以上がメモリになっています。そのため、メモリの電力消費に注意を払う必要があります。」

図2: 1999年から2023年までの平均ウェーハ面積 出典: Semico Research

結論は

数多くの革新的なテクノロジーと革新的なアーキテクチャにもかかわらず、メモリは依然として設計の中核にあります。相変化やスピントルクなどの新しいタイプのメモリが登場しつつありますが、ほとんどのメモリは依然としてさまざまな市場アプリケーションで使用されています。大きな変化は、既存のメモリがどのように優先順位付けされ、共有され、設計で選択され、最終的にどのように使用されるかという点にあります。これは単純な質問のように聞こえますが、そうではありません。

「最適なシステム パフォーマンスを実現するには、適切なメモリ ソリューションを選択することが最も重要な要素となることが多い」と、Synopsys のシニア テクニカル マーケティング マネージャーである Vadhiraj Sankaranarayanan 氏は最近のホワイト ペーパーで述べています。これは言うほど簡単ではありません。