AIデータストレージデバイスを選択するための6つの重要な要素

人工知能 (AI) と機械学習は、企業がコアデジタル資産を活用して競争上の優位性を生み出すために役立つ最も重要なツールの 1 つになります。しかし、AI データ ストレージ デバイスを購入する前に、企業はデータの取得、処理、保持時に機械学習プラットフォームのさまざまな要件を考慮する必要があります。

[[277299]]

まず、機械学習ソフトウェアで使用されるデータのライフサイクルを調べる必要があります。これにより、組織は AI 用のストレージを選択する際に考慮すべき事項を理解するのに役立ちます。まず、企業は機械学習や AI アルゴリズムをトレーニングするために大量のデータを取得する必要があります。 AI ソフトウェア ツールは、オブジェクトの識別、ビデオの処理、動きの追跡など、データを処理することでタスクを学習します。データはさまざまなソースから生成され、オブジェクトやファイルなどの本質的に非構造化されています。

AI アルゴリズムをトレーニングまたは開発する場合、ビジネスに必要な洞察やメリットを提供するために、データを処理してモデルが開発されます。機械学習アルゴリズムの開発は、単一のプロセスとして行われることはほとんどありません。企業が新しいデータを蓄積し続けるにつれて、アルゴリズムも改善されます。つまり、破棄されるデータはごくわずかで、代わりに時間の経過とともにデータが急速に増加し、再処理されることになります。

AIデータストレージデバイスの選択基準

企業が AI プラットフォーム用のストレージ デバイスを選択する前に、まず次の点を考慮する必要があります。

1. コスト。 AIデータストレージ機器の価格は企業にとって重要な要素です。当然のことながら、経営幹部や購買決定に携わる人々は、ストレージが可能な限りコスト効率の高いものであることを望んでおり、多くの場合、これが組織の製品選択と戦略に影響を与えます。

2. スケーラビリティ。前述のように、機械学習や AI モデルを作成する過程では、大量のデータを収集、保存、処理する必要があります。機械学習アルゴリズムでは、精度の線形改善を実現するために、ソース データの指数関数的な増加が必要です。信頼性が高く正確な機械学習モデルを作成するには、数百テラバイト、さらにはペタバイトのデータが必要になる場合があり、この量は時間の経過とともに増加する一方です。

PB レベルのストレージ システムを構築するには、通常、オブジェクト ストレージまたはスケールアウト ファイル システムを使用する必要があります。今日のオブジェクト ストアは、AI ワークロードの容量ニーズを確実に満たすことができますが、高パフォーマンスなどの他の基準を満たさない可能性があります。スケールアウト ファイル システムは高いパフォーマンスと優れたスケーラビリティを提供できますが、データセット全体を単一のプラットフォームに保存するとコストがかかる可能性があります。さらに、スケーラビリティ要件と大容量製品のコストのため、ブロック ストレージは機械学習や AI には適さないことがよくあります。ここでの唯一の例外はパブリック クラウドですが、これについては後で説明します。

ストレージ コストの変化により、階層型ストレージ、つまり複数の種類のストレージを使用してデータを保存するという概念が導入されました。たとえば、オブジェクト ストレージは、大量の非アクティブな AI データを保存するのに適しています。データを処理する必要がある場合は、オブジェクト ストレージ内の高性能ファイル ストレージ クラスターまたはノードに移動し、処理が完了したらデータを元に戻すことができます。

3. パフォーマンス。 AI データの保存パフォーマンスには 3 つの側面があります。まず、おそらく最も重要なのは、レイテンシ、つまりソフトウェアが各 I/O 要求をどれだけ速く処理できるかです。レイテンシが低いことは重要です。レイテンシを改善すると、機械学習または AI モデルの作成にかかる時間に直接影響するからです。複雑なモデルの開発には数週間から数か月かかる場合があります。この開発サイクルを短縮することで、組織はモデルをより迅速に作成および改良できるようになります。レイテンシ機能を調べる場合、オブジェクト アクセスのストリーミングの性質により、オブジェクトは単一の I/O 要求のレイテンシではなく、参照時間を最初のバイトとして保存します。

パフォーマンスのもう 1 つの側面はスループット、つまりストレージ プラットフォームにデータを書き込んだり、そこからデータを読み取ったりする速度です。 AI トレーニングでは大規模なデータセットを処理する必要があり、モデルを正確に開発するために同じデータを繰り返し読み取ることが多いため、システム スループットは重要です。自動運転車のセンサーなどの機械学習や AI データのソースは、毎日数テラバイトの新しいデータを生成する可能性があります。この情報はすべて、既存の処理への影響を最小限に抑えながら、既存のデータ ストアに追加する必要があります。

パフォーマンスの最後の側面は並列アクセスです。機械学習と AI アルゴリズムはデータを並列処理し、同じデータを複数回読み取り、複数の並列タスクにまたがる複数のタスクを実行します。オブジェクト ストレージは、オブジェクトのロックやプロパティを管理する必要がないため、並列読み取り I/O 処理に優れています。ファイル サーバーは、メモリ内の開いている I/O 要求またはファイル ハンドルを追跡します。したがって、アクティブな I/O 要求の数は、プラットフォームで使用可能なメモリによって異なります。

機械学習データは、多数の小さなファイルで構成される場合があります。これは、ファイル サーバーがオブジェクト ストレージよりも優れたパフォーマンスを提供できる領域です。ここで AI ストレージ ソリューション ベンダーに尋ねる重要な質問は、大きなファイル タイプと小さなファイル タイプで製品のパフォーマンス特性がどのように変化するかということです。

4. 可用性と耐久性。機械学習と AI モデルは、長期間にわたって継続的に実行できます。トレーニングを通じてアルゴリズムを開発するには、数日または数週間かかる場合があります。この間、ストレージ システムは稼働状態を維持し、使用可能である必要があります。つまり、アップグレード、テクノロジーの交換、システムの拡張は、ダウンタイムなしで実行する必要があります。

大規模なシステムでは、コンポーネントの障害はよく発生します。つまり、AI 作業に使用されるあらゆるプラットフォームは、デバイス (ハードディスクや SSD など) やノード、サーバーの障害から回復できる必要があります。オブジェクト ストレージは、消去コーディングを使用して、多数のノードにデータを広く分散し、コンポーネント障害の影響を最小限に抑えます。同じレベルの回復力を提供するためにファイル システムをスケール アウトするために使用できる消去コーディング技術があります。消失訂正符号方式の効率は、特に小さなファイルの場合、読み取りおよび書き込み I/O のパフォーマンスに直接関係するため、非常に重要です。

大規模なオブジェクト ストアのほとんどは定期的にバックアップするには大きすぎるため、信頼性の高い消失訂正符号が AI ストレージ プラットフォームの重要な機能になります。

5. パブリッククラウド。機械学習と AI アルゴリズムの開発には、高性能ストレージと高性能コンピューティングが必要です。多くの AI システムは、Nvidia DGX などの GPU をベースとしており、正確なアルゴリズムの開発に必要な複雑な数学的計算の多くに使用できます。

パブリック クラウド サービス プロバイダーは、機械学習に使用できる GPU アクセラレーション仮想インスタンスの提供を開始しています。パブリック クラウドで機械学習ツールを実行すると、機械学習開発インフラストラクチャの構築にかかる資本コストが削減されると同時に、機械学習モデルの開発に必要なインフラストラクチャを拡張できるようになります。

パブリック クラウド コンピューティングを使用する際の課題は、コスト効率と実用性の両方を兼ね備えた方法でデータをパブリック クラウドに取り込むことです。クラウドベースのオブジェクト ストレージは、機械学習の I/O 要求に対応するには遅すぎるため、ローカル ブロック ストレージを使用する必要があります。データの移動が 1 分遅れるごとに、インフラストラクチャの実行コストが増加し、機械学習の実行も遅れます。

パブリック クラウドのもう 1 つの問題は、データのエクスポートにかかるコストです。クラウド サービス プロバイダーは、自社のプラットフォームへのデータ転送に対しては料金を請求しませんが、自社のプラットフォーム外のパブリック ネットワークからアクセスされたデータに対しては料金を請求します。したがって、パブリック クラウドはコンピューティングの柔軟性を提供しますが、タイムリーかつコスト効率の高い方法でクラウドからデータを取得することは必ずしも簡単ではありません。

ベンダーは、パブリック クラウド、オンプレミス、クラウドで実行されるストレージ製品を開発しています。これらの製品は、データを効率的にクラウドにコピーまたは移動し、完了したら結果のみを元に戻すことができます。これらのレプリケーション テクノロジーは帯域幅効率に優れているため、オンプレミスでデータを保存し、分析作業のためにクラウドにインポートすることが実用的になります。

6. 統合。この記事では、機械学習と AI のデータストレージと計算を分離します。 AI データ ストレージの構築は、ストレージ ネットワークや、機械学習アプリケーションで動作するようにストレージを調整するなどの他の要素を考慮する必要があるため、難しい場合があります。

製品を事前にパッケージ化することで、サプライヤーは顧客に製品を納品する前にテストして最適化することができます。現在、人気の AI ソフトウェア、コンピューティング (汎用 CPU や GPU など)、ネットワーク、ストレージを組み合わせて AI 対応プラットフォームを提供するストレージ製品があり、詳細なチューニング作業の多くはこれらのシステムが導入される前に行われます。コストが問題になる可能性はありますが、パッケージ化されたシステムにより、多くの顧客にとって AI ストレージ導入の障壁を下げることができます。

当然のことながら、適切な AI データ ストレージ プラットフォームを選択するには、パフォーマンス、スケーラビリティ、コストなどの指標のバランスを取る必要があります。大量のデータが関係するため、ストレージ プラットフォームを適切に使用することが非常に重要です。間違った選択をすると、コストが高くなる可能性があります。あらゆるストレージ製品の選択決定と同様に、デモンストレーションや評価などベンダーと連携して、その製品が AI と機械学習のニーズをどのように満たしているかを正確に理解することが重要です。