人工知能はビッグデータの保存と管理の効率をどのように向上させるのでしょうか?

ビッグデータのソースが多数存在し、企業が利用できるデータの量も増加しているため、ストレージ管理者にとってストレージ容量の計画が課題となっています。毎日 25 京バイトのデータが生成されると推定されています。これをニューロンに換算すると、2億5000万個の人間の脳に相当する膨大な量のデータになります。さらに、同じ推定によると、世界の総データの 90% が 2016 年から 2018 年に生成されたことが示唆されています。

簡単に言えば、毎日生成されるデータはますます増えており、ストレージ ワークロードのサイズと複雑さが増しています。しかし、AI はストレージ管理者の助けとなり、データを効率的に保存および管理するのに役立ちます。 AI データ ストレージを使用することで、ベンダーと企業はストレージ管理を次のレベルに引き上げることができます。また、ストレージ管理者は、現在管理に苦労しているメトリックに対するソリューションを見つけることができます。

ストレージ管理者が取り組むべき重要な指標

ストレージ管理者は、ストレージの問題を管理する際にいくつかの課題に直面します。そして、これらの課題を克服すれば、ワークロードをどこに分散するか、どのように分散するか、スタックをどのように最適化するかなど、データ ストレージのさまざまな側面の間で適切なバランスを見つけるのに役立ちます。

一般的に、スループットとは、何かが処理される速度を指します。ネットワーク レベルでは、スループットは Mbps (メガビット/秒) で測定され、ストレージ レベルでは、スループットは MB/s (メガバイト/秒) で測定されます。 1 バイトは 8 メガビットに相当するため、ストレージ レベルで生産性が向上します。また、生産性の向上を管理することが難しくなります。

1. 遅延

レイテンシとは、サーバーがリクエストを完了するまでにかかる時間です。ストレージに関しては、これは単一のストレージ ブロックの要求を満たすのにかかる時間です。ストレージ チャンクレットまたはブロック ストレージは、ボリューム内にデータを保存するブロックです。純粋なレイテンシはスループットの影響を受けませんが、個々のブロック要求が大きい場合、スループットが増加するとアプリケーションのレイテンシが変化する可能性があります。

2. IOPS（1秒あたりの入出力操作数）

IOPS は、ストレージ スタックが 1 秒あたりに処理できる個別の読み取りおよび書き込みタスクの数を指します。ストレージ スタックは、プロシージャ呼び出しを可能にするデータ構造です。これは、複数のプロシージャをスタック上に並べて保存し、呼び出しと戻りに基づいてそれらをすべて次々に実行することを意味します。たとえば、プロシージャが呼び出されると、そのプロシージャが実行されてから戻り、スタック内の次のプロシージャを呼び出すことができるようになります。また、IOPS について言えば、基盤となる入出力タスクがストレージ システムのスタック制限に達する可能性があります。たとえば、1 つの大きなファイルと複数の小さなファイルを読み取ると、IOPS に影響が出る可能性があります。 1 つの大きなファイルを読み取る場合は、1 つの読み取りタスクのみを実行する必要があるため、高速に実行できますが、一方で、複数のファイルを読み取る場合は、多くの読み取りタスクを実行する必要があるため、非常に遅くなります。

AIデータストレージがストレージの問題を解決する方法

企業の管理者とストレージ ベンダーは、さまざまな種類のストレージを扱います。さらに、さまざまな入出力サービスの仕様も満たしています。大規模なファイル共有アプリケーションでは十分なスループットが必要になる場合がありますが、大規模で複雑なアプリケーションはレイテンシに悪影響を及ぼす可能性があるため、レイテンシのペナルティも考慮する必要があります。一方、電子メール サーバーには大量のストレージ、低レイテンシ、優れたスループットが必要になる場合がありますが、非常に厳しい IOPS プロファイルはおそらく必要ありません。さらに、ストレージ管理者は、どのリソースをどのストレージに割り当てるかを決定する必要があります。その結果、組織内で何千ものサービスが実行され、基盤となるストレージの管理が、人間がインテリジェントな変更を加える能力を上回ってしまいます。ここで AI アルゴリズムが役に立ちます。

AIを活用したスト​​レージ管理と計画

AI はストレージを監視して、複数のワークロードにわたるパターンとパフォーマンスを検出できます。ここでのワークロードは、さまざまな入出力特性またはアプリケーション タスクによって生成されるデータ ストリームです。 AI は、これらのワークロード パターンを検出することで、ストレージ管理者がストレージ アレイの限界に達するリスクのあるワークロードを把握するのに役立ちます。さらに、ストレージ監視は、アレイに追加できるワークロードがあるかどうかを把握するのに役立ちます。また、アレイにワークロードを追加した場合、どの程度の混乱が生じるでしょうか。

たとえば、企業がプロセスに電子メール サーバーを追加するとします。この場合、AI システムは、ストレージ アレイがそのサーバーのストレージ ニーズを満たすことができるか、または最大限に活用できるかを予測するのに役立ちます。このようなテクノロジーにより、ストレージ管理者は、さまざまなワークロードをさまざまなストレージ スタックに分散し、レイテンシを最小限に抑える方法に関する情報を積極的に得ることができます。したがって、AI をストレージ アレイ、ストレージ ベンダー、組織に統合すると、ストレージ スタックを最適化できます。

ストレージ管理者は、ストレージアクティビティを監視するだけでなく、ストレージシステムが使用するアプリケーションのコーディングとエラーを確認して分析する必要もあります。これにより、アプリケーションのニーズに合わせてストレージ アーキテクチャを設計する方法をより深く理解できるようになります。これは、アプリケーションの入出力パターンを理解することによって実現されます。これを行うために使用される最も一般的な手法は、アプリケーションのトレースをキャプチャすることです。

Strace は、入出力機能に関する診断、デバッグ、および指示の取得に使用できる Linux 用のユーザー空間ユーティリティです。ただし、複雑なアプリケーションには複数の入出力機能がある場合があるため、これは人間にとって難しい場合があります。一方、ML アルゴリズムは、大量のデータを簡単に取り込んで分析し、ストレージ システム自体を調べることで最も効果的に解決できる多くのストレージの問題を解決できます。さらに、特定のスタックまたはアプリケーション全体がデータをどのように収集して保存するかを理解するために大量のデータを使用してアルゴリズムをトレーニングすることで、その特定のアプリケーションのストレージアクティビティに関するリアルタイムの洞察を実現し、スタックが最大限に使用されるのを防ぎ、ストレージ容量を向上させることができます。

顧客ニーズに応えるAIデータストレージ

テレメトリ データは、リモートまたはアクセスできないソースからのデータの自動記録とワイヤレス送信です。テレメトリは次のように動作します。センサーがソースでデータを測定し、それを電圧に変換し、タイミング データと結合して単一のデータ ストリームを作成し、リモート レシーバーに送信します。受信後、データはユーザーの要件に応じて処理できます。

AI のコンピューター ビジョン テクノロジーは、テレメトリ データをスキャンして、ストレージ アレイを脆弱性から保護できます。脆弱性に関する履歴データを使用してトレーニングすると、機械学習アルゴリズムはさまざまなアプリケーションから受信したデータを履歴データと照合して、脆弱性の可能性を検出できます。したがって、ストレージ ベンダーは、AI の予測分析を利用して、ストレージの問題が顧客に影響を与える前に防止することを検討できます。

AI データストレージはまだ初期段階ですが、すでに素晴らしい成果が現れています。その結果、クラウドベンダーやその他のストレージ管理者は、ハイパーコンバージド ストレージ システムを使用したスト​​レージ メンテナンス用の AI にますます投資するようになっています。主流の AI データ ストレージを採用することで、企業は間違いなく上記のすべての指標を制御し、顧客に優れたサービスを提供できるようになります。