ビッグデータとリアルタイム分析のためのアルゴリズム分類

今日、ビッグデータ技術の発展と進歩により、大量のデータを収集および送信するための新しい、より効率的な方法が生まれました。この革命により、リアルタイムのアルゴリズムと手法の研究開発が促進されました。従来、機械学習アルゴリズムはリアルタイム処理用に設計されていません。実際、データ サイエンスのコンテスト (Netflix、Kaggle など) は、アルゴリズムが高価で、実用的ではなく、計算量が多いと批判されることがよくあります。これは、データ マイニングの元の設定がオフラインであり、多くの場合バッチで計算されるため、アルゴリズムの速度よりも精度の方が重要であるという認識に基づいています。ビッグデータの出現により、アルゴリズムが次々と登場し、スケーラブルなアプローチが再考されるにつれて、この状況は変わり始めています。ほとんどの場合、計算は本質的に同じであるため、スケーラビリティだけではアルゴリズムの精度が損なわれることはありません。ビッグデータ分析のリアルタイム処理は、このコンテキストで使用できるアルゴリズムの計算の複雑さを制限するため、より根本的な変化をもたらします。リアルタイム ストリーミング アルゴリズムは、一度に 1 つの例を処理し、最大 1 回チェックし、限られた量のメモリを使用し、限られた時間内に動作し、いつでも予測を行えるという条件を満たす必要があります。

これらの要件を満たすために、ストリーミング アルゴリズムの設計が流行しており、学習したモデルはストリーミング メディアからの入力例を反映するように継続的に更新されます。入力された例を処理した後、データがどれだけまばらであるかに関係なく、予測を生成できるアルゴリズムが必要です。ストリーミング データの最先端手法は、オンライン学習、ランダム化線形代数、クラウド コンピューティングにおける分散最適化手法、さらには多クラス ノイズや偽データが存在する場合の分類問題など、さまざまな方向から生まれています。一般的に、これらの方法は特に効率的ではありませんが、予測の一部は事前に計算されたモデルに基づいている可能性があります。実際、オフライン - オンライン サイクルは、プロセスのオンライン部分を通じてメソッドをプッシュし、新しい観察が得られるとオフラインでモデルを改良するため、従来の機械学習とリアルタイム分析の間の適切な妥協点となります。

増分学習アルゴリズムは、リアルタイム分析によって課される要件に適したアプローチです。基本的に、これらのアルゴリズムには、履歴データを振り返り、新しい観察を行い、モデルに段階的に入力するオフライン コア モデルがあります。モデルを迅速に増分更新し続けるために、概念ドリフトに基づいてストリーム内の検出モデルに対して部分的な更新のみが行われた後、スケジュールされた時間に完全な更新がオフラインで開始されます。これにより、システムは新しい観察に迅速に対応できるようになり、速度と精度のバランスが取れます。採用されているアルゴリズムの種類によっては、完全なモデルに更新できる場合があり、その場合にはアルゴリズムのオフライン部分を維持する必要がないことに注意してください。実際、オンライン学習アルゴリズムが増分アルゴリズムであるかどうかの主な基準は、モデルを更新してリアルタイムで予測を生成できるかどうかです。

リアルタイム分析は、ソーシャル メディア、金融、さまざまな科学分野など、さまざまなシナリオで採用されています。しかし、大量のリアルタイムデータを処理できるツールはまだ少なく、主に社内ソリューションとなっています。

分類：

Hoeffding オプション ツリーは、漸進的な決定木アルゴリズムです。 Hoeffding ツリーは、最適な分割機能を選択するには小さなサンプルで十分であることが多いという事実を活用します。

ナイーブベイズは非常にシンプルで計算量が少ない分類器であり、モデルの更新と新しいサンプルの分類をリアルタイムで行うことができます。ナイーブ ベイズは、オフライン コンポーネントのない増分学習の優れた例です。このモデルは、新しい観察結果を改善するために予測なしで履歴データを生成できます。

クラスタ：

StreamKM++ は、データ ストリームの小さな加重サンプルを計算し、ランダム シーディング手法として k-means++ アルゴリズムを使用して、上位クラスターの値を選択します。

D-stream は、オンライン コンポーネントを使用して各入力データ レコードをグリッドにマッピングし、オフライン コンポーネントを使用してグリッド密度を計算し、密度に基づいてグリッドをクラスター化します。このアルゴリズムは、データ ストリームの動的な変化を捉えるために密度減衰技術を採用しています。

戻る：

LDA が増分的に更新されると、新しいサンプルは LDA の最小二乗解に到達します。このアプローチの利点は、モデルの完全な更新を実行し、バッチ LDA の正確な最小二乗解が得られることです。

SAIRT は、バイナリ回帰ツリーの増分バージョンです。徐々にまたは突然にドリフトする機能、機能の特定の領域でのデータ ストリームの変化、ノイズ、仮想ドリフトなどの未知のエンゲージメント フォースに直面したときに、センシング モードを適応させます。ノードを監視し、選択された領域からの実施形態を忘れて、ツリーの葉に関連付けられたローカル ウィンドウに保存し、残りの有用なものを保存します。