AI トレーニングを容易にするために、分散を通じてクラウドで弾力的なスループットを実現するにはどうすればよいでしょうか?

翻訳者 | 李睿

レビュー | Chonglou

人工知能は現在、定量的研究などの分野におけるソフトウェア開発の基礎となっています。作業負荷が急増する時期には、定量ヘッジファンドはリソースの浪費やコンピューティングリソースの不足などの課題に直面することがよくあります。

これらの問題を解決するために、クラウドベースのエラスティックコンピューティングが効果的なソリューションを提供します。市場投入までの時間を短縮し、リソースを柔軟に割り当て、最新のハードウェアテクノロジの導入を促進します。

JuiceFS は、定量的ヘッジファンドの人工知能トレーニングを強化し、クラウド内で弾力的なスループットを実現できる、クラウドネイティブの高性能分散ファイルシステムです。高速キャッシュを備えたコスト効率の高いストレージソリューションを提供し、オンプレミスの資産をクラウドデプロイメントとシームレスに統合し、コンピューティングリソースを最適化します。

この記事では、定量的 AI 研究の課題、弾性コンピューティングの利点、弾性環境におけるストレージの問題点、そして JuiceFS が革新的なテクノロジーでこれらの問題をどのように解決するかについて説明します。目標は、クラウドベースの機械学習プラットフォームを開発している企業に洞察を提供し、重要なデータスループットの課題に対処することです。

1. クオンツヘッジファンドが直面する課題: 固定されたITリソースと変動する作業負荷

定量的研究では、数学モデルを使用して市場データを分析し、投資判断に役立てます。これは、機械学習などの人工知能技術を応用した金融分野の重要な分野です。下のグラフは定量分析企業の日々の業務量を示しており、黄色の線は変動を示しています。タスクの量は勤務時間中に大幅に増加し、通常の勤務時間後は減少します。

企業の作業負荷を定量化する

ほとんどの定量ヘッジファンドは、CPU、メモリ、ストレージなど、データセンター内の固定 IT リソースに依存しています。ただし、この設定では、ワークロードの変動に関する課題が発生します。

•データセンターが提供するコンピューティング能力が一定量の場合、リソースの無駄や効率の低下が発生し、需要の低い期間にリソースが過剰になり、研究者はピーク時に待ち行列や遅延を経験することになります。研究者や企業は、リソースの活用と効率を最大化するために努力しています。

• ワークロードの急増時にコンピューティングリソースが不足する: 研究者は、研究論文の大規模な検証や検証を行うために、大量のコンピューティングリソースを必要とすることがよくあります。しかし、スタッフの採用時期や仕事量がピークとなる時期には、リソース不足が問題になります。

• 柔軟性のない拡張タイムライン: データセンターの拡張プロセスには通常約 3 か月かかりますが、ハードウェア不足によりこのタイムラインが 6 か月に延長される可能性があります。サプライチェーンの長期にわたる混乱は、ビジネスニーズを満たす上で課題を生み出します。

エラスティックコンピューティングは、これらの課題に対するシンプルで効果的なソリューションを提供します。

2. 定量的ヘッジファンドにおける弾性コンピューティングの利点

近年、クラウドコンピューティングベースのソリューションは、定量ヘッジファンドの間で大きな勢いを増しています。これらの企業は、クラウドプラットフォーム (AWS など) 上に研究プラットフォームを構築することで、シームレスな展開と最適化されたリソース利用のメリットを享受できます。

このセクションでは、市場投入までの時間の短縮、柔軟なリソース割り当ての促進、最新のハードウェアテクノロジの迅速な導入の実現に焦点を当て、定量的ヘッジファンドにおけるエラスティックコンピューティングの利点について説明します。

1. 市場投入までの時間を最短にする

クラウドベースのリサーチプラットフォームにより、定量ヘッジファンドはシステムを迅速に導入でき、ハードウェアの選択と調達に伴う遅延がなくなります。この合理化されたプロセスにより、コンピューティングリソースへのアクセスが高速化され、研究開発が加速されます。

2. 柔軟なリソース割り当て

エラスティックコンピューティングにより、定量的ヘッジファンドは需要に応じてコンピューティングリソースを動的に割り当てることができます。研究者は、大量の計算能力が必要な場合でも、需要が低い時期でも、特定の計算ニーズに合わせてリソースを簡単に調整できます。この柔軟性により、最適なリソース使用が保証され、従来のデータセンターの固定されたコンピューティング能力に関連する非効率性が排除されます。

3. 成熟企業向けのハイブリッドクラウドアプローチ

既存の IDC 施設を備えた定評のある定量ヘッジファンド企業は、ハイブリッドクラウド戦略を効果的に活用できます。これらの企業は、需要が平均的または低い期間に IDC 資産を固定のコンピューティング容量として活用することで、リソースの割り当てを最適化します。同時に、クラウドリソースを活用してワークロードを増やすことで、コンピューティング能力を拡張できます。このハイブリッドアプローチは、クラウドコンピューティングが提供するスケーラビリティとコストの利点を活用しながら、既存の資産を最大限に活用します。

4. 最新のハードウェアを迅速に導入する

エラスティックコンピューティングにより、定量ヘッジファンドは最新のハードウェアを迅速に採用して、常に最先端を行くことができます。従来のハードウェア調達では、減価償却期間が 3 ～ 5 年と長いことが多いのに対し、エラスティックコンピューティングでは、最先端のハードウェア機器を迅速に統合できます。この柔軟性により、ヘッジファンドは最先端のテクノロジーとアルゴリズムを活用し、市場での競争上の優位性を高めることができます。

2. 弾力性のある環境におけるストレージの問題点

弾力性のある環境では、ストレージはコンピューティングよりも複雑な課題をもたらします。コンピューティングタスクは単純ですが、弾性コンピューティング中にデータを保存する場合は、データ保持の問題を慎重に考慮する必要があります。さらに、コンピューティングリソースが拡大するにつれて、ストレージシステムは、データの損失やパフォーマンスの低下を防ぐために、高可用性とスケーラビリティを確保しながら、増大する需要に対応できる必要があります。

1. 問題点1: パフォーマンス、コスト、効率のバランス

企業は通常、ストレージソリューションを選択する際に、パフォーマンス、コスト、効率という 3 つの相互に関連する要素を考慮します。さまざまなオプションを評価することは、特定のビジネスニーズに最適なソリューションを見つけるために重要です。

ストレージ選択のパフォーマンス、コスト、効率

モデルのトレーニングフェーズでは、高性能なストレージソリューションが優先されます。たとえば、オンプレミス環境では、オールフラッシュアレイまたは高度なハードウェア (AWS FSx for Lustre など) を使用して、優れたスループットパフォーマンスを実現できます。

ただし、これらの高性能オプションには高コストがかかるため、完全なデータアーカイブには低コストのストレージソリューションを検討する必要があります。オンプレミス環境では高密度ストレージソリューションを活用してコストを削減でき、クラウド環境では Amazon S3 などのオブジェクトストレージサービスを活用できます。

コストとパフォーマンスのバランスをとるために、企業は通常、次の 2 セットの異機種ストレージ環境を作成します。

• 低コストの完全データアーカイブストレージシステム

• モデルトレーニング用の高性能ストレージシステム

このマルチストレージ環境では、特に複数のリージョンやクラウドコンピューティング環境を扱う場合、データ移行とデータライフサイクルの管理がより複雑になります。したがって、速度とコスト効率を確保しながらストレージを効率的に管理するための効果的なソリューションが必要です。

2. 問題点2: ストレージシステムの拡張が遅い

ストレージシステムのスケーリングは、次のような理由から困難になることがよくあります。

• 複雑なデータの再バランス調整: 従来のストレージシステムの容量は、ハードディスクを追加することで拡張できます。ただし、分散ストレージシステムでは、スケーリングがより複雑になります。ストレージシステム全体のすべてのデータを効率的に管理するために、データの再バランス調整が行われます。このプロセスにより、データが複数のストレージデバイス間で効率的に分散され、利用されるようになります。

•パフォーマンスへの影響: ストレージハードウェアには、パフォーマンスに関して固有の制限があります。拡張時にハードウェア容量の一部がデータ移行に使用されると、オンラインアプリケーションのパフォーマンスに影響が出る可能性があります。このパフォーマンスの低下は、アプリケーションがサービスを効果的に提供し、ユーザーの期待に応える能力に影響します。

たとえば、大規模なストレージクラスターが 3 台のコンピューターに縮小され、各コンピューターに 2 台のハードドライブが搭載され、複数のデータのコピーが保存されるシナリオを考えてみましょう。分散システムでは、通常、データのセキュリティを確保するためにデータが複数回複製されます。このシナリオでは、円、三角形、およびダイヤモンドは個別のファイルを表し、各図形には分散アーキテクチャ内に 3 つのコピーがあります。

分散ストレージ内の3つのレプリカ

ストレージ容量が不足している場合は、新しいコンピュータを追加してストレージスペースを拡張する必要があります。ただし、新しいデータが新しいマシンに存在するだけの問題ではありません。効率的なデータ管理を確実にするために、特定のアルゴリズムを使用してデータを古い場所から新しい場所に移動し、既存のデータを再バランスする必要があります。さらに、ハードディスクが提供する容量には限りがあり、その一部がデータ移行用に確保されている場合、オンラインアプリケーション操作のためのサービスを効果的に提供できません。

ストレージ拡張時のデータの再バランス

ストレージのスケーラビリティには課題があり、データ移行のタイミングは株式市場のタイミングと同じくらい予測不可能になる可能性があります。オンライン操作を中断せずにシームレスなデータ移行を実現することは複雑な作業であり、通常は経験豊富な専門家による手動介入が必要になります。

容量を増やすだけでなく、クラスター内のドライブに障害が発生した場合は、各データブロックのコピーを 3 つ維持しながら、データを新しいドライブに転送する必要があります。そのため、容量拡張を行わなくても、大規模なストレージクラスターでは毎日データの移行が必要になります。

このような困難なストレージシステムのスケーリング条件では、ストレージの制限により、新しいアルゴリズムの実装や研究者のインスピレーションが妨げられることがよくあります。

3. 問題点3: 利用可能な容量にもかかわらず、パフォーマンスが不十分

定量的ヘッジファンドでは、ストレージ容量の不足ではなく、スループットパフォーマンスの不足のために、規模を拡大する必要があることがよくあります。

ハードディスクにはパフォーマンスの制限があります。既存のハードディスクのパフォーマンス限界に達した場合、増加したパフォーマンス要件を満たすために新しいハードディスクを追加する必要があります。十分なストレージ容量があっても、多くの定量ファンドは、新たなパフォーマンスの要求を満たすためにシステムを拡張する必要があります。

たとえば、読み取る必要のあるデータが図の円で表された範囲内に格納されているシナリオを考えてみましょう。このデータにアクセスするために必要なパフォーマンスは非常に高くなります。しかし、サークルに対応するハードディスクは性能限界に達しています。別の研究者が同じハードドライブに保存されている三角形を読み取る必要がありますが、このドライブもパフォーマンスの限界に達しています。したがって、三角形データへのアクセスは大幅に遅くなります。

パフォーマンスが不十分だとストレージの拡張が必要になり、空きストレージスペースが生まれます。

パフォーマンスを向上させるには、三角形内のデータを新しいハードディスクに移行する必要があります。これは、上の画像で強調表示されていないハードドライブによって表されます。

定量的ヘッジファンド業界は、市場からの生データに依存しているため、この課題に直面しています。処理される生データの量はハードドライブの容量に比べて少ないですが、複数の研究者間で共有できます。

ストレージ容量が十分な場合でも、データの共有や同時アクセスによってパフォーマンスのボトルネックが発生する可能性があります。この特性により、定量ファンドはパフォーマンスの限界を克服するために JuiceFS のようなソリューションを求めるようになります。

全体的なパフォーマンスとコストのバランスを改善するには、特にホットデータの生成と極めて高いコンピューティングの弾力性が求められるシナリオでは、ストレージをスケーラブルなパフォーマンスと一致させる必要があります。

IV. JuiceFSはどのようにしてパフォーマンスを測定し、費用対効果を達成するのか

開発者が 2017 年に JuiceFS の開発を開始したとき、彼らの目標はクラウドコンピューティング環境向けの特殊なファイルストレージシステムを設計することでした。そして、市場に出回っている既存のファイルストレージ製品は時代遅れであり、中には 1990 年代にまで遡る製品もある一方で、これらの製品は定量的ヘッジファンドなどの業界では依然として広く使用されていることに気付きました。ただし、インフラストラクチャとリソース環境の変化を考慮すると、JuiceFS の開発を現在の環境の開発動向に合わせることが重要です。

JuiceFS Enterprise Editionのアーキテクチャ

JuiceFS アーキテクチャは 3 つのコンポーネントで構成されています。

• メタデータエンジン

• データストレージ

•クライアント

1. メタデータエンジン

ファイルシステムは、ファイルとディレクトリを整理、管理、およびアクセスするために使用されるテクノロジです。コンピュータでは、ファイルシステムにより、ファイルとディレクトリを通じて物理メディア (ハードディスクなど) に保存されているデータとやり取りできるようになります。

たとえば、Linux では、ハードウェアデバイスをファイルシステムにフォーマットした後、それをディレクトリにマウントできます。これにより、ディレクトリ、フォルダー、およびファイルを含むディレクトリツリーが作成されます。

各ファイルには権限が割り当てられ、作成および変更のタイムスタンプなどのメタデータが含まれます。ストレージ技術サービスプロバイダーの Juicedata は、この情報を保存するための専用のメタデータエンジンを開発しました。ファイルシステムのパフォーマンスは、このエンジンの機能に大きく依存します。

2. データ保存

データストレージはファイルの内容を保存するために使用されます。これまで、ストレージシステムの管理には、データのセグメンテーション、ストレージ、コピー管理、移行などの複雑なタスクが必要でした。ただし、クラウドコンピューティング環境では、これらの複雑さは S3 などのサービスによって解決されています。したがって、クラウドにファイルストレージシステムを構築する場合は、S3 を使用してその機能を拡張してください。 JuiceFS では、すべてのファイルの内容はユーザーの S3 バケットに保存されます。

3. クライアント

JuiceFS クライアントは標準の POSIX インターフェースを提供し、HDFS などの複数の API をサポートしているため、開発者は最も適切なインターフェースを選択できます。さらに、より高いパフォーマンス要件を満たすために、パフォーマンススケーラビリティ機能が提供されます。

モデルのトレーニングや定量分析などのタスクを実行する際に S3 のパフォーマンスとセマンティックの制限を克服するために、JuiceFS が中間ソリューションとして機能します。データを S3 に保存し、さまざまなアプリケーションのニーズを満たすために POSIX およびその他の API を提供します。内部最適化により、JuiceFS は最高のパフォーマンスを実現します。

4. キャッシュ

JuiceFS には、量子化された企業におけるホットデータのスループット制限に対処するためのキャッシュが組み込まれています。ユーザーの GPU コンピューティングノードがデータにアクセスすると、S3 からデータを取得して JuiceFS キャッシュに保存します。後続のアクセスはキャッシュから提供され、オールフラッシュファイルストレージと同様のパフォーマンスが提供されます。 JuiceFS キャッシュは動的にスケーラブルであり、弾力性とスケーラブルなスループットを提供します。

コンピューティングノード上の高性能ストレージと組み合わせてマルチレベルキャッシュを作成し、パフォーマンスをさらに向上させることができます。 JuiceFS エンタープライズエディションキャッシュ JuiceFS を使用すると、スループットパフォーマンスを動的に拡張する高速キャッシュレイヤーを提供しながら、データをコスト効率よく S3 に保存できます。

NVMe に保存されるホットデータの量が限られているために発生するデータホットスポット問題を解決するために、キャッシュグループ化方式が採用されています。ユーザーは複数のキャッシュグループを作成してホットデータを保存および管理できるため、ニーズに応じて簡単に構成できます。このソリューションは、データホットスポットの問題を効果的に解決します。

JuiceFS Enterprise Edition のキャッシュグループ化

ユーザーは独自のキャッシュグループを定義したり、各チームにキャッシュグループを割り当てたりすることができます。これにより、ホットデータのパフォーマンスが向上し、システムのほぼ線形のスケーラビリティが実現します。さらに、営業時間後にこれらのキャッシュグループをシャットダウンすると、不必要なコストを回避するのに役立ちます。

5. ハイブリッドクラウドの展開

オンプレミスの資産を持つ定量的ヘッジファンドの場合、ハイブリッドクラウド展開オプションを使用すると、オンプレミスデータセンターのキャッシュグループを使用して計算を高速化しながら、データを S3 に保存できます。

JuiceFS ハイブリッドクラウド展開アーキテクチャ

JuiceFS は、追加の手順なしで、クラウドコンピューティング環境とオンプレミス環境の 2 つの JuiceFS インスタンス間での透過的なデータレプリケーションをユーザーにサポートします。 JuiceFS は、ホットデータを高性能キャッシュレイヤーに自動的に保存することで、タスクがデータセンターで実行されるかクラウドで実行されるかに関係なく、ホットデータへの高速アクセスを保証します。このアプローチは、既存のオンプレミス資産を柔軟なクラウド展開と統合するという課題に効果的に対処します。

VI. 結論

JuiceFS は、AI 定量研究に画期的なソリューションを提供します。 JuiceFS は、リソース利用の最適化、市場投入までの時間の短縮、シームレスな拡張の促進、最先端技術の迅速な導入により、企業が潜在能力を最大限に引き出し、AI を活用した定量調査のダイナミックな環境で成功できるようにします。