【ビッグネームがやってくる、エピソード10】柔軟なビッグデータクラウド分析プラットフォームを構築するためのハードルはゼロ

[51CTO.com からのオリジナル記事] ビッグデータとビッグデータ分析は、現在、企業の注目の的となっています。ビッグデータ分析プラットフォームは、ハイエンド構成から企業の標準構成へと変化しています。ビッグデータ分析プラットフォームは、企業が「すべてのビジネスをデータベース、すべてのデータをビジネスベース」という目標を達成するための基本プラットフォームです。今回の「ビッグネームがやってくる」では、アリババクラウドインテリジェンスのシニアソリューションアーキテクトであるバオ・ユアンソン氏を招き、「ゼロ閾値の弾力性のあるビッグデータクラウド分析プラットフォームの構築」というテーマを共有しました。その過程で、彼はビッグデータ分析プラットフォームの構築を段階に分けて、各段階について詳しく説明しました。

下図に示すように、ビッグデータ分析プラットフォームの構築には、自社構築、クラウドホスティング、クラウドサービス、クラウドネイティブの 4 つの段階があります。

ビッグデータ分析プラットフォーム構築：自社構築

なぜ独自のビッグデータ分析プラットフォームを構築する必要があるのでしょうか?主な理由は3つあります。第一に、従来のビッグデータ分析技術はもはやビッグデータ分析のニーズを満たすことができず、新しい技術を導入して改善する必要があります。第二に、初期のビッグデータ技術は比較的未熟で信頼性が低く、専門の技術者による研究が必要でした。第三に、市場には効果的なビッグデータ分析の成功事例や実践が不足しているため、企業は石を探りながら川を渡らなければなりません。

自社構築のビッグデータ分析プラットフォームは資産を大量に消費するモデルであり、主に次のような多くの欠点があります。

長い建設期間: 全体の建設期間は非常に長く、コンピュータ ルームの選択、ハードウェアの調達、クラスターの展開、テストとチューニング、データ サービス、運用と保守の管理など、多くのリンクが関係します。

高コスト: コストは 2 つのカテゴリに分けられます。1 つはサーバー、ストレージ、ネットワーク、運用と保守、IDC などの明示的なコストであり、もう 1 つはビジネスへの影響、アイドル リソース、弾力的な拡張、1 回限りの資本投資などの暗黙的なコストです。これらのコストの入力は確実ですが、出力は不明です。

高い敷居：近年、ビッグデータ技術が盛んになっています。データ統合、データ保存、分析計算、データ操作の各次元には、多くの細分化された技術があります。どの技術も、深い研究を行う専任の人員を必要とします。一般企業にとって、人材の敷居は非常に高いです。

結果が遅い: 究極の弾力的なパフォーマンス、高い信頼性、およびマルチシナリオのアプリケーション効果を真に実現するには、ビッグデータ分析プラットフォームを最初から最後まで継続的に反復および修正し、データ品質が期待を満たし、データ分析結果が信頼できるものになるまで続ける必要があります。

ビッグデータ分析プラットフォーム構築 - クラウドホスティング

自社構築のビッグデータ分析プラットフォームのさまざまな欠点を背景に、クラウドホスティングが登場したのは次の3つの理由による。第一に、企業は重い資産の負担から解放されたいと考えている。第二に、ビッグデータ技術が成熟し、企業はもはやビッグデータ技術そのものに重点を置くのではなく、ビッグデータを開発するためにビッグデータスキルを持つ人々のグループを必要としている。第三に、クラウドベンダーはそれぞれの長所を組み合わせて、クラウドビッグデータホスティングプラットフォームを提供している。

自社構築のビッグデータ分析プラットフォームは通常、オープンソースの Hadoop プラットフォームに基づいていますが、クラウド ホスティングにより、自社構築のオープンソース Hadoop プラットフォームは、統一されたクラスター管理、完全な監視とアラーム、コンピューティングとストレージの分離、柔軟な拡張、オンデマンド構築、データ セキュリティ、敷居の低い運用と保守、豊富なクラウド エコシステムのドッキングなどの利点を備えたエンタープライズ レベルの標準ビッグデータ分析プラットフォームに変換されます。

EMR は、基本リソース、プラットフォーム管理、データ ストレージ、データ統合、コンピューティング エンジン、データ使用、ジョブ管理などのプラットフォーム機能を提供します。すべてのコンポーネントに対して完全な監視とアラームを提供します。コンポーネントに異常が発生すると、すぐにアラームが生成され、ユーザーに通知されます。同時に、プラットフォームに基づいて、インテリジェントな運用と保守の管理、スケジュールなどの機能を提供します。

次に、インフラストラクチャ、運用保守管理、クラウドエコロジーの観点から、クラウドホスティングの利点のいくつかを詳しく見てみましょう。

クラウドホスティングインフラストラクチャ

まず、クラウドには豊富な製品仕様があります。Alibaba Cloudの仮想マシン全体は、一般コンピューティング、異種コンピューティング、ベアメタル＆高性能コンピューティングの3つのカテゴリに分かれています。各カテゴリはさまざまなシナリオに対応し、さまざまなシナリオのビッグデータ分析プラットフォームを迅速に構築できます。第二に、クラウドの弾力性を利用して、コンピューティングリソースとストレージリソースを個別に拡張し、ビジネスのピークや極限のパフォーマンスの追求に対応できると同時に、オンデマンドで柔軟に構築できます。最後に、クラウド上にビッグデータ分析プラットフォームを構築することで、多くのコスト最適化を行うことができ、スポットインスタンスを通じてコン​​ピューティングノードのコストを大幅に削減するなど、ビジネス特性に基づいて購入方法を柔軟に選択できます。

クラウドホスティングの運用・保守管理

ビッグデータ分析プラットフォーム全体の運用と保守は非常に複雑であり、専門的な才能と多額の投資が必要です。クラウドベンダーは、基本的な運用保守から管理運用保守、さらにコンポーネント運用保守まで、多次元の運用保守機能を提供します。

基本的な運用と保守: クラウドベンダーは、自社の大規模サーバー運用と保守の経験を​​活かして AlOps システムを構築し、ハードウェアを事前に検出して分析し、障害発見後にプロアクティブな運用と保守を迅速に実行して、ビジネスへの影響を軽減します。

管理と操作: EMR はワンクリックで導入でき、すぐに使用できます。また、統合構成管理、プラットフォーム ステータス監視、障害アラーム機能も提供します。

コンポーネントの運用と保守: コンポーネントの運用と保守は、ビッグデータ分析プラットフォームの最も複雑な部分です。バージョンをアップグレードする場合、コンポーネント間の接続が複雑であるため、互換性を確保することが最も重要です。コンポーネントの運用と保守におけるもう 1 つの非常に重要なポイントは、パフォーマンスの最適化です。クラウド ベンダーは、独自のクラウド コンピューティングの利点を組み合わせて、基盤となるインフラストラクチャとカーネル エンジンを最適化し、オープン ソース コンポーネントのパフォーマンス向上を支援します。

クラウドホスティングとクラウドエコシステム

下の図に示すように、クラウド上には豊富なエコシステムがあり、後から参入した企業が車輪の再発明をしたり、ゼロから始めることを防ぎます。

基盤となるストレージは、クラウド上でOSSオブジェクトストレージとHDFSストレージを提供できます。HDFSストレージは、HDFSファイルへのアクセスと何ら変わりなく、OSSオブジェクトストレージに直接かつシームレスにアクセスできます。これにより、データのアーカイブ化とコストの最適化を柔軟に実行できます。

データソースの面では、OSS、SLS、RDS、メッセージキューなどのサービスがデータソースとしてサポートされています。コンピューティングエンジンの面では、クラウドEMRプラットフォームはMaxCompute、Flink、Tensorflowエンジンと接続できます。統合の面では、クラウドはDataWorksサービスを提供しており、これを通じてHadoopの上位レベルのメタデータ全体の管理とデータ品質管理を統一できます。さらに、クラウドでは、DataV や QuickBI などの分析および表示機能も提供されます。

上記の概要に加えて、クラウド サービスとクラウド ネイティブに関する詳細情報は今後公開される予定です。ビデオをクリックしてご覧ください: http://aix..com/activity/10019.html

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]