ストレージパフォーマンスのボトルネックを解消し、AIアプリケーションの迅速な開発を実現

古典的な「樽理論」によれば、樽にどれだけの水が入るかは、一番低い木材によって決まります。

[[397114]]

同様に、IT システム全体でデータを実行するプロセスにもボトルネックがあり、それがストレージ メディアのパフォーマンスです。

インターネットは多数のアプリケーションを生み出し、これらのアプリケーションは多種多様なデータを大量に生み出しました。多様なデータの価値を実現するには、より強力なプロセッサとより高速なネットワークだけでなく、究極のストレージのためにデータを読み書きする機能も必要です。

現在、コンピューティングパワーは有望な方向に発展しています。多様なデータが多様なコンピューティングパワーを生み出し、汎用コンピューティングパワーCPU、人工知能コンピューティングパワーGPU、TPU、NPUなどのプロセッサが活発に開発され、X86やARMアーキテクチャなどのコンピューティングパワーアーキテクチャが開発されています。

ネットワーク技術の発展は好調です。モバイル インターネット、ビデオ、ライブ ブロードキャストなどからの大量データ転送の需要により、データ センターでは 100G および 400G のネットワーク帯域幅ポートの開発が進んでいます。ファーウェイは、2018年に早くも、あらゆるビジネスシナリオで通信事業者が400Gネットワ​​ークを迅速に展開できるように、新しい400G光ネットワーク商用ソリューションを正式にリリースしました。

同様に、パフォーマンスの面でのストレージ技術の発展も期待できるものではありません。大量のデータによりストレージ技術の発展が促進され、メディアはディスクから NAND や 3D NAND ソリッド ステート ドライブへと進化し、インターフェイスは SAS、SATA、PCIE、NVME 伝送プロトコルからアップグレードされました。しかし、ストレージの単位容量あたりの成長率は、ストレージ伝送パフォーマンスの単位あたりの成長率よりもはるかに大きいことがわかります。ストレージメディアと外部との間のデータ交換の伝送速度が、IT システム全体のボトルネックになります。

ストレージのボトルネックを積極的に打破する方向として、3 つの方法が提案されています。1 つ目は、新しいアーキテクチャとテクノロジを直接採用して、ストレージ テクノロジを再定義することです。次に、分散ストレージを使用してデータ転送を分散し、IT システム全体の効率を向上させます。 3. 原子記憶技術やDNA記憶技術などの新しい記憶媒体の研究開発。

新しいアーキテクチャとテクノロジーを開発します。先日開催された2021年ファーウェイグローバルアナリストカンファレンスで、ファーウェイは2030年のインテリジェントな世界に向けた9つの主要な技術的課題と研究の方向性を発表しました。その中で、ストレージ性能を100倍向上させることができる新しいストレージ技術を構築するという研究の方向性を含む、ITアーキテクチャにおける最後の課題であるストレージ性能の向上の方向性を示しました。

ファーウェイは、フォン・ノイマン・アーキテクチャを突破することでストレージ機能を向上させることを望んでいる。現在の IT アーキテクチャは、データが CPU、メモリ、ストレージ メディア間を移動するフォン ノイマン アーキテクチャに基づいています。これらの環境のいずれかでパフォーマンスが低下すると、システム全体のパフォーマンスに問題が生じます。

CPU パフォーマンスが向上し、メモリ パフォーマンスが向上し、ネットワーク帯域幅が向上し、ストレージ容量が向上していることがわかりました。ただし、ストレージ パフォーマンスは常にボトルネックになっています。PCIE や NVME などの現在のストレージ インターフェイスの帯域幅速度は、外部ネットワークのパフォーマンスの向上に大きく遅れをとっています。

ファーウェイの考えは、ストレージ性能を向上させることです。フォン・ノイマン・アーキテクチャの限界を打ち破り、CPU中心からメモリ中心、データ中心へ、そしてデータの移動からコンピューティングの移動へと移行し、性能の壁を打ち破る必要があります。

データ アクセスの効率を向上させる別の解決策があります。大量のデータ アクセスに直面した場合、最小限のアクセスを使用して最大限のアプリケーションを実現します。これは分散ストレージです。

たとえば、現在普及している IPFS は比較的普及している分散ストレージ システムです。その中核となる概念は、コンテンツ アドレス指定、バージョン管理、ピアツーピアに基づくハイパーメディア転送プロトコルです。つまり、データ アクセスはリソースを直接ポイントし、データが最も近いリソースから取得されることを保証します。最初にストレージ メディアを見つけてからメディアからデータを取得する代わりに。これにより、ストレージ メディアのパフォーマンスがデータ アクセスに与える影響が大幅に軽減されます。たとえば、10 TB のファイルを 1,000 個のエッジ ストレージ メディアに分散できます。また、呼び出し時にローカルコンピュータへのダウンロードが不要で、エッジ端末1,000台のストレージ性能を直接呼び出すことができます。これにより、データを効率的に使用できるようになります。

3つ目は、原子ストレージ技術やDNAストレージ技術などの新しいストレージメディアです。これらが本当に開発されれば、ストレージ性能が1000倍以上向上するでしょう。もちろん、現在は理論段階であり、実際に商品化されるまでにはまだまだ長い道のりがあります。