RDA を使用してデータの問題を解決し、AIOps の実装を加速する方法

【51CTO.com クイック翻訳】ロボティックデータオートメーション (RDA) とは?

ロボティック データ オートメーション (RDA) は、分析や AI/ML アプリケーション用のマシン データの処理に関連するデータ統合とデータ準備のアクティビティを自動化する新しいパラダイムです。 RDA は単なるフレームワークではなく、データの自動化を実現するための一連のテクノロジーと製品機能も含まれています。

RDA を使用すると、企業は機械データを大規模に運用して人工知能を推進できます。

RDA はエンタープライズ分野で幅広く適用できます。まず、CloudFabrix は RDA フレームワークを採用し、それを AIOps の問題の解決に適用して、AIOps の実装を簡素化および高速化し、よりオープンで拡張性の高いものにしました。

RDA は、「ローコード」データ ワークフローまたはパイプラインで継続的に動作するように呼び出されるデータ ロボットを使用して、反復的なデータ統合、クレンジング、検証、整形、エンリッチメント、および変換アクティビティを自動化します。 RDA は、AIOps システムへのデータの出し入れを容易にし、大規模な手動データ統合と専門サービス活動に依存する AIOps 実装を簡素化および加速します。

RDA が必要な理由は何ですか?

AIOps では、オンプレミス、クラウド、エッジ環境に分散されたさまざまなハイブリッド IT データ ソースからの大量のデータを処理する必要があります。このデータはさまざまな形式と配信モードで提供されます。さらに、このようなデータ処理の結果は、IT エコシステム内の他のツール (ITSM/クローズドループ自動化/コラボレーション ツールや BI/レポート ツールなど) と交換する必要があります。

これらすべてには、効率的で再利用可能かつスケーラブルな方法で、AIOps システムへのデータの統合、取り込み、準備、検証、クレンジング、変換、統合、分析、および AIOps システムからのデータの移動が必要です。これらの基本的なタスクは、AIOps 実装では見落とされることが多く、AIOps プロジェクトに大幅な遅延とコスト増加を引き起こします。

チャレンジ

AIOps プロジェクトを実装する際のデータ準備とデータ統合アクティビティにおける主な課題のいくつかを見てみましょう。

• さまざまなデータ形式 (テキスト/バイナリ/JSON/XML/CSV)、データ転送モード (ストリーム、バッチ、バルク、通知)、プログラミング インターフェイス (API/Webhooks/クエリ/CLI)
• 整合性チェック、クレンジング、変換、データ合成（集約/フィルタリング/ソート）を含む複雑なデータ準備作業
• 生データには通常、アプリケーションまたはサービスのコンテキストが欠けており、リアルタイム データを更新するには外部システムから取り込む必要があります。
• データワークフローの実装には、専門的なプログラミング/データサイエンスのスキルが必要です
• ソースシステムまたはターゲットシステムの変更にはコネクタの書き換え/更新が必要

AIOpsにおける従来のデータ処理方法

従来のアプローチでは、AIOps ベンダーは、AIOps ソリューションをデータ ソースに接続し、データを処理する既製の統合セットを提供しており、その結果は次のようになります。

• データの取得、処理、統合に対するブラックボックスアプローチ。
• ユースケースとシナリオは、プラットフォームがサポートするものに限定されます。
• 統合は主に事前定義/ハードコードされており、再利用が制限されます。
• 専門的なプログラミングスキルを必要とする複雑なスクリプト モジュールまたは命令 (Javascript、Python など)。
• 断続的なデータ処理（エンリッチメントなど）のための外部統合を導入することが困難です。
• 補足機能を有効にするためにプログラムでデータにアクセスするのが困難 (例: スクリプト、レポート、ダッシュボード、自動化などのデータ アクセス)。

これらは、遅延とコスト（手動のデータ準備/処理アクティビティ）を追加することで、AIOps を効果的に処理する上での障壁となります。

短期的なニーズ: AIOps 向けロボットによるデータ自動化

ロボティックデータオートメーション（RDA）はAIOps 2.0の重要な技術です

RDA の自動化された DataOps は、RPA の自動化されたビジネス プロセスに似ています。 RDA は AIOps プラットフォームの不可欠な部分であり、強化されたデータ準備および統合機能を提供します。 RDA は、データ自動化フレームワークであると同時に、AIOps 実装におけるすべてのデータ処理を高速化および簡素化するツールボックスでもあります。

要点

• Data Robot を使用してローコード データ パイプラインを実装します。
• ネイティブ AI/ML ボット。
• CFXQL — 統合クエリ言語。
• インライン データ マッピング。
• データの整合性チェック。
• データのマスキング、編集、暗号化。
• データ統合: 集計/フィルタリング/ソート。
• データ抽出/指標取得。
• 合成データ。

利点

• AIOps ユースケースの実装を簡素化し、加速します。
• データの準備と統合に関連する時間/労力/コストを削減します。
• DevOps/ProdOps 担当者に適しています (データ サイエンティストのスキルは必要ありません)。

ユースケースとシナリオ

• ログのクラスタリング: クラウドとオンプレミスからアプリケーション ログを取得し、ML モデルを実行してログをクラスタ化し、結果を Kibana/CFX ダッシュボードにプッシュします。
• CMDB 同期: CFX から最新の資産インベントリを取得し、CMDB にプッシュします。
• パートナー/子会社の ITSM から顧客の ITSM へのタグの電子バインディング (例: BMC インシデントから ServiceNow へ)。
• イベント NLP 分類: ServiceNow からラベルを取得し、OpenAI (GPT-3) を使用して NLP 分類を実行し、ServiceNow でラベルを強化します。
• 異常検出: Prometheus (または任意の監視ツール) からノードの CPU 使用率の履歴 (時間単位) を取得します。回帰を適用して、例外のリストを添付ファイルとして Slack にメッセージを送信します。
• タグ クラスタリング: ServiceNow から過去 24 時間のイベントを取得し、タグにクラスタリングを適用して、結果を新しいデータセットにプッシュし、CFX ダッシュボードで視覚化します。
• 変更検出: AWS EC2 VM のベースライン インベントリをキャプチャし、現在の状態と比較して計画外の変更を強調表示します。

RDA によるデータ問題の解決と AIOps 実装の高速化 (Tejo Prayaga 著)

[51CTOによる翻訳。パートナーサイトに転載する場合は、元の翻訳者と出典を51CTO.comとして明記してください]