機械学習モデルは展開するには大きすぎますか? 3つの解決策をご紹介します

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

「流行」の影響で技術者たちは集まりを断念し、対面でのコミュニケーションを減らしているが、彼らの学びとコミュニケーションへの欲求は決して止まっていない。この目的のために、ファーウェイは#Σcotimen#シリーズのコラムを特別に立ち上げ、オンラインライブ放送+インタラクションの形式を使用して、技術の変化と業界の変革について議論しました。

3月4日午後3時、#Σcotime#の今回の焦点は「ビッグデータのストレージとコンピューティングは『分離』しているのか、それとも『統合』しているのか？ 正しく実行していますか？」です。ファーウェイのインテリジェントデータおよびストレージ分散ストレージのシニアマーケティングエキスパートである崔玉祥氏がファーウェイの「インテリジェントデータインフラストラクチャ「学匠」」ライブブロードキャストルームに来て、ファーウェイがストレージとコンピューティングの分離の価値をどのように見ているか、またファーウェイのビッグデータのストレージとコンピューティングの分離ソリューションとアプリケーションの実践を共有し、数千人のオンラインゲストとストレージとコンピューティングの分離技術の開発動向と市場展望について議論しました。

デジタル経済時代、ビッグデータアーキテクチャはストレージとコンピューティングへと移行しています。崔玉祥氏は、デジタル経済時代において、データは新たな生産手段となり、データ管理からデータ運用へと移行していると紹介しました。ビッグデータはますます重要な役割を果たしており、データ駆動型エクスペリエンス、データ駆動型意思決定、データ駆動型プロセスなどのさまざまなアプリケーションが日々展開されています。 5GやAI技術の発展に伴い、データ量は爆発的に増加することが予想されます。このような状況下で、従来のビッグデータストレージとコンピューティングの統合アーキテクチャは、多くの業界で、リソース利用の不均一、ストレージコストの高さ、リソース共有の難しさなどの課題に直面しています。

国内の通信事業者を例にとると、年間の市場調達額は数億元に上ります。しかし、このような巨額の投資は、通信事業を支える一方で、コンピューティングリソースの浪費、巨大なサーバー機器によるコンピュータ室のスペースの占有、冷却および電源コストの上昇など、多くの課題ももたらします。「コスト削減と効率向上」は、通信事業者の重要な要求となっています。同様に、コンピューティング リソースのリソース使用率の向上、柔軟な展開、オンデマンド スケジューリングに対する要求も、金融および政府部門のユーザーが対処すべき緊急の課題となっています。

これほど多くの課題をどうやって解決するのでしょうか? Cui Yuxiang 氏は、コンピューティングとストレージの分離はビッグデータ アーキテクチャの進化における避けられない傾向であり、業界ユーザーのデータに関する悩みを解決する強力なツールでもあると考えています。 Hadoop 1.0 の時代では、コンピューティングとストレージが高度に統合されており、単一の MapReduce 分析業務しか処理できませんでしたが、Hadoop 2.0 の時代では、コンピューティング層とデータが分離され始め、Yarn を通じて独立したリソース管理が実現され、Spark などのより多くのコンピューティング エンジンがサポートされるようになりました。そして現在は Hadoop 3.0 の時代であり、コンピューティングとストレージは分離の方向に進み、Hadoop EC を使用してコールド データのストレージをサポートし、徐々にデータ レイク アーキテクチャへと進化していると説明しました。 「ストレージとコンピューティングの分離は、実際にはエンタープライズ市場に適しています。クラウドベースのリソースと柔軟な拡張が実現され、ユーザーはより専門的なストレージ、より優れた信頼性と利用性を享受できます。」

3つの大きな利点により、Huawei OceanStor分散ストレージはより使いやすくなります

2019年、ファーウェイは革新的なビッグデータストレージとコンピューティング分離ソリューションを発表しました。崔玉祥氏は、よりコスト効率の高いソリューションを生み出すことができるビッグデータストレージソリューションであるファーウェイOceanStor分散ストレージについてゲストに詳しく説明しました。多様なストレージ スタイルと大量のデータを持つユーザー向けにカスタマイズされています。 「まとめると、Huawei OceanStor 分散ストレージの最も特徴的な 3 つの機能は、最適なコスト、最高の効率、最も簡単な使用方法です。」

[最適なコスト]コスト面では、Huawei OceanStor 分散ストレージは、ストレージとコンピューティングの分離、オンデマンドの独立したリソース拡張、柔軟な EC+ 階層化を実現し、ストレージ コストを大幅に削減します。 「パフォーマンスと信頼性はHDFSのトリプルコピーに匹敵しますが、ストレージ利用率はトリプルコピーの1.75倍です」と崔玉祥氏は指摘し、OceanStor分散ストレージは自動ライフサイクル管理を通じてより優れたコスト効率を実現でき、コンピューティング側には認識の余地がないとも述べた。ユーザーは、さまざまなデータ書き込み戦略を定義して、さまざまなタイプのアプリケーションがさまざまなストレージ プールを読み書きできるようにし、リソースを最大限に活用できます。また、データ移行戦略を定義して、ホット データ、ウォーム データ、コールド データの自動変換を実現し、全体的な TCO を削減することもできます。

彼は、前述の通信事業者を例に挙げました。この事業者のログ保存シナリオでは、コンピューティング利用率が 30% で、総容量需要が 256TB を超える場合、ストレージとコンピューティングを分離するソリューションに切り替えると TCO のメリットが得られます。総容量需要が 2PB を超える場合、ストレージとコンピューティングを分離するソリューションの TCO 節約は 40% 以上に達します。

[最高の効率]データアプリケーション効率の面では、Huawei OceanStor 分散ストレージは完全に対称的な分散 NameNode を使用します。クラスターのパフォーマンスとサポートされるファイルの数は、ノードの数に応じて増加します。単一の名前空間で数百億のファイルをサポートします。それだけでなく、ファーウェイはマルチクラスターのデータ融合と相互運用性も実現し、データ共有と分析の効率を向上させました。プロトコルの相互運用性により、分析効率がさらに30％向上し、スペース使用量が50％削減されました。 「同じコンピューティングおよびストレージ ハードウェア構成に基づく金融顧客のアプリケーション テストでは、OceanStor のストレージとコンピューティングの分離ソリューションがほとんどのテストでネイティブ HDFS の 3 コピー ソリューションよりも優れたパフォーマンスを発揮し、一部のテスト項目の実行時間は 70% 以上も短縮されました。」

[最も使いやすい]実際の操作とメンテナンスの面では、Huawei のネイティブ HDFS インターフェースは、より優れたパフォーマンスとユーザー エクスペリエンスを提供します。たとえば、完全な HDFS セマンティクスは、主流のビッグ データ コンポーネントと 100% 互換性があります。ユーザーはプラグインをインストールする必要がなく、インストールとメンテナンスが簡単です。さらに重要なのは、ViewFS または Hbase メタデータ ゲートウェイを介して、新旧の共存を実現し、ユーザーの既存の投資を保護できることです。システム レベルのデータ冗長保護により、4 つのノードの同時障害をサポートできます。崔玉祥氏は特に、ノード障害が発生しても、Huawei OceanStor分散ストレージはECレベルを自動的に調整し、新しく書き込まれたデータの信頼性が低下しないようにすることができると強調した。同時に、マルチノードの並列再構築により、2TB/時のデータ復旧効率を達成できる。

ストレージとコンピューティングの分離により、何千もの業界でビッグデータの推進が可能に

2019年以来、 Huawei OceanStor分散ストレージソリューションは、通信、金融、政府関係、大企業などさまざまな分野で広く使用されています。このライブ放送イベントで、崔玉祥氏は特に 2 つの代表的なアプリケーション事例を共有しました。

江蘇省では、既存の政府システムのほとんどがサイロ化された展開を採用しており、至る所にデータアイランドが存在します。しかし、データ量が急増したため、江蘇省はファーウェイのストレージとコンピューティングの分離ソリューションに基づいて、階層化され、分離され、効率的に共有されるビッグデータ プラットフォームを構築することを決定しました。ファーウェイは江蘇省の政府業務システムを支援し、複数の業務を同時にサポートし、部門間で迅速なデータ共有を可能にし、「ワンストップ」の政府サービスを実現できる統合ビッグデータプラットフォームを構築した。展開時には、ストレージとコンピューティングの分離が重要になります。コンピューティング リソースとストレージ リソースのクラウド化と組み合わせることで、柔軟なリソース割り当てが実現し、サービスの市場投入までの時間が 90% 短縮されます。同時に、OceanStor 分散ストレージの Elastic EC テクノロジーの助けにより、ストレージ使用率は 33% から 91.6% に向上し、企業は急速なデータ増加の課題に容易に対処できるようになりました。

河北電信は、89 個の統合ストレージおよびコンピューティング ビッグ データ クラスターを導入およびインストールしました。全体的なストレージ スペースの使用率は 80% を超えています。ストレージ スペースが不足しているため、データを削除してストレージ スペースを解放する必要があることがよくあります。さらに、既存のコンピュータ ルームはスペースが限られており、2U サーバーを 135 台しか収容できません。従来のストレージ コンピューティング イン ワン方式で容量を拡張すると、コンピュータ ルームのスペースが要件を満たせなくなります。これに対し、ファーウェイはストレージとコンピューティングの統合＋ストレージとコンピューティングの分離の共存ソリューションを革新的に採用し、コンピューティングノード100台＋ストレージノード35台を拡張し、Hadoopデータフェデレーションソリューション（ViewFS）を使用することで、新旧の共存の問題を解決しただけでなく、パフォーマンスと容量のバランスの取れた拡張を実現し、元のソリューションと比較して利用可能な容量が60％増加しました。崔玉祥氏は、ストレージとコンピューティングの分離ソリューションはシームレスに拡張でき、データの読み取りと書き込みをバランスよく行うことができると指摘した。ユーザーは、既存のネットワークのビッグデータバージョンをアップグレードしたり、既存のネットワークデータを移行したりする必要はない。

このライブ放送イベントとファーウェイの専門家による素晴らしい情報共有を通じて、業界ユーザーはストレージとコンピューティングの分離についてより深く理解し、自分に合ったストレージとコンピューティングの分離ソリューションを選択する方法もより明確に理解できるようになると信じています。