強化学習でデータ分析を行うにはどうすればいいでしょうか?シンガポール国立大学等によるTKDE 2022レビュー論文

データの処理と分析は基本的かつ広範囲にわたります。アルゴリズムはデータの処理と分析において重要な役割を果たしており、多くのアルゴリズム設計では、その有効性を高めるために人間の知識と経験から得たヒューリスティックスと一般ルールが組み込まれています。

近年、強化学習、特に深層強化学習 (DRL) は、静的に設計されたアルゴリズムと比較して、複雑なインタラクティブ環境でより優れたポリシーを学習できるため、多くの分野でますます研究され、利用されるようになっています。この傾向に動機づけられて、DRL を使用したデータ処理と分析の改善に焦点を当てた最近の研究の包括的なレビューを紹介します。

まず、DRL の主要な概念、理論、および方法を紹介します。次に、データの編成、スケジュール、チューニング、インデックス作成など、さまざまな側面でのデータ処理と分析を容易にするために、データベース システムに DRL を導入する方法について説明します。

次に、データ準備、自然言語処理からヘルスケア、フィンテックなどに至るまで、データ処理と分析における DRL のアプリケーションを調査しました。

最後に、データ処理と分析における DRL の使用に関する重要な課題と将来の研究方向について説明します。

論文リンク: https://arxiv.org/abs/2108.04526

ビッグデータの時代において、データ処理と分析は、ビジネスと業務の改善と変革を目指してデジタル化の道を歩み始めた多くの組織にとって、基本的かつ普遍的かつ重要なものとなっています。データ分析では、洞察を抽出する前に、データの取得、データのクリーニング、データの統合、モデリングなどの他の重要な操作が必要になることがよくあります。

ビッグデータは、医療や小売業を含む多くの業界で大きな価値創造をもたらすことができます。しかし、データの複雑さ（大量、高速、多様性など）により、データ分析に多くの課題が生じ、有意義な洞察を導き出すことが困難になります。この課題に対応し、効率的かつ効果的なデータ処理と分析を促進するために、研究者と実践者は多数のアルゴリズムと技術を設計し、Spark MLlibやRafikiなどの多数の学習システムも開発しました。

高速なデータ処理と正確なデータ分析をサポートするために、多くのアルゴリズムは人間の知識と経験に基づいて開発されたルールに依存しています。たとえば、「最短ジョブを優先」は、実行時間が最も短いジョブを次に実行するジョブとして選択するスケジューリング アルゴリズムです。ただし、ワークロードの特性を十分に活用しないと、学習ベースのスケジューリング アルゴリズムに比べてパフォーマンスが低下します。もう 1 つの例は、コンピュータ ネットワークにおけるパケット分類です。これは、パケットを一連のルールの 1 つと照合します。 1 つの解決策は、手動で調整されたヒューリスティック分類器を使用して決定木を構築することです。具体的には、ヒューリスティック アルゴリズムは特定のルール セット用に設計されているため、異なる特性を持つ他のワークロードではうまく機能しない可能性があります。

既存のアルゴリズムには 3 つの制限があります。

まず、アルゴリズムは最適ではありません。データ分布などの有用な情報は、ルールによって無視されたり、十分に活用されなかったりする可能性があります。第二に、アルゴリズムには適応能力が欠けています。特定のワークロード用に設計されたアルゴリズムは、別のワークロードでは適切に機能しない可能性があります。 3 番目に、アルゴリズムの設計は時間のかかるプロセスです。開発者は、経験的に機能するルールを見つけるために、多くの時間を費やして多くのルールを試す必要があります。

学習ベースのアルゴリズムは、データの処理と分析にも使用されます。一般的に使用される学習方法には、教師あり学習と強化学習の 2 つがあります。パフォーマンス目標を直接最適化することで、より優れたパフォーマンスを実現します。教師あり学習には通常、高品質で注釈付きのトレーニング データの豊富なセットが必要ですが、これを入手するのは困難で難しい場合があります。たとえば、データベース管理システム (DBMS) の全体的なパフォーマンスを最適化するには、構成のチューニングが非常に重要です。離散空間と連続空間の両方で、数百のチューニングノブが相互接続されることがあります。さらに、データベース インスタンス、クエリ ワークロード、ハードウェア特性が異なるため、特にクラウド環境ではデータ収集が不可能になります。

強化学習は、教師あり学習と比較して、試行錯誤による検索を採用し、クラウド データベースの適切な構成を見つけるために必要なトレーニング サンプルが少ないため、パフォーマンスが優れています。

もう 1 つの具体的な例は、クエリ処理におけるクエリの最適化です。データベース システム オプティマイザーのタスクは、クエリ コストを削減するためにクエリに最適な実行プランを見つけることです。従来のオプティマイザーは通常、多くの候補プランを列挙し、コスト モデルを使用してコストが最小のプランを見つけます。最適化プロセスは遅く、不正確になる可能性があります。

深層強化学習 (DRL) 方式では、不正確なコスト モデルに依存せずに、データベースと対話することで (テーブル結合順序の変更など)、実行プランを改善します。

クエリがエージェント (つまり、DRL オプティマイザー) に送信されると、エージェントはアクセスされた関係やテーブルなどの基本情報を特徴付けて状態ベクトルを生成します。エージェントは状態を入力として受け取り、ニューラル ネットワークを使用して、すべての可能な結合操作を潜在的なアクションとして含めることができるアクション セットの確率分布を生成します。

各操作は、テーブルのペアの部分的な結合プランを表し、操作が実行されると、ステータスが更新されます。可能なアクションを実行した後、完全なプランが生成され、DBMS によって実行されて報酬が取得されます。

このクエリ最適化問題では、実際のレイテンシに基づいて報酬を計算できます。報酬信号を使用したトレーニング中に、エージェントはポリシーを改善して、接続の順序付けを改善し (つまり、レイテンシを短縮し)、より高い報酬を得ることができます。

クエリ最適化のための DRL ワークフロー

強化学習 (RL) は、環境内でインテリジェントなアクションを実行するための学習に重点を置いています。 RL アルゴリズムは、探索と活用に基づく環境フィードバックを通じて自らを改善します。過去数十年にわたり、RL は理論と技術の両面で驚異的な進歩を遂げてきました。

特に、DRL はディープラーニング (DL) 技術を組み合わせて複雑な非構造化データを処理し、履歴データから学習して自己探索し、非常に困難で大規模な問題 (AlphaGo など) を解決するように設計されています。

近年、さまざまなコミュニティの研究者が、データの処理と分析の問題に対処するための DRL ソリューションを提案しています。 DRL を使用した既存の作業を、システムとアプリケーションの 2 つの観点から分類します。

システムの観点から、私たちはスケジューリングなどの一般的なものから、データベースのクエリ最適化などのシステム固有のものまで、基礎的な研究トピックに焦点を当てています。また、それがマルコフ決定プロセスとしてどのように定式化されるかを強調し、従来の方法と比較して DRL 問題をより効果的に解決できる方法についても説明します。実際のシステムではワークロードの実行とデータ収集の時間が比較的長いため、DRL トレーニングの効率を向上させるためにサンプリングとシミュレーションの手法が使用されます。

アプリケーションの観点から、データ処理とデータ分析におけるさまざまな主要なアプリケーションを取り上げ、DRL の使いやすさと適応性について総合的に理解できるようにします。多くのドメインでは、変換に DRL を採用しており、これはアプリケーションに関するドメイン固有の知識を学習するのに役立ちます。

このレビューでは、データ システム、データ処理、および分析の問題の解決における DRL の使用に関する最近の進歩について、広範かつ体系的な概要を提供することを目的としています。

RL 技術の分類