グラフを考慮した対照学習により多変量時系列分類が改善

本日は、シンガポール科学技術研究庁 (A*STAR) と南洋理工大学 (シンガポール) が AAAI 2024 で共同発表した時系列分類の研究成果をご紹介します。グラフを考慮した対照学習を通じて多変量時系列分類を改善し、結果の大幅な改善を達成しました。

写真

論文タイトル: 多変量時系列分類のためのグラフを考慮したコントラスト

ダウンロードアドレス: https://arxiv.org/pdf/2309.05202.pdf

オープンソースコード: https://github.com/Frank-Wang-oss/TS-GAC

1.全体紹介

既存の対照学習法は主に時間的一貫性に焦点を当てており、MTS データ内の複数のセンサーの空間的一貫性を無視しているという事実に対応して、著者らはグラフ認識コントラストを提案しました。具体的には、TS-GAC には、多変量時系列のグラフ強化とグラフ比較が含まれています。グラフの強化には、センサーの安定性と相関関係を維持することで空間の一貫性を高めるノードとエッジの強化が含まれます。さらに、時間の一貫性を維持するために、マルチウィンドウの時間比較が導入されています。広範囲にわたる実験検証を通じて、提案された方法はさまざまな MTS 分類タスクで最先端のパフォーマンスを実現します。 MTS データの対照学習において空間の一貫性を考慮することの重要性を強調し、分類パフォーマンスを大幅に向上させる包括的なソリューションを提供します。

写真

2. モデル構造

この論文で提案されている方法は、主に画像強化と画像比較の 2 つの部分から構成されています。

グラフの強化: MTS データを効果的に強化し、弱いビューと強いビューを生成するために、ノードとエッジの強化が導入されています。ノード拡張には、グラフ ノードを完全に拡張する目的で、周波数領域拡張と時間領域拡張が含まれます。まず、周波数領域の強化がノードに適用され、次に、図 2 に示すように、MTS データ内の動的なローカル パターンを考慮して、強化されたサンプルが複数のウィンドウに分割されます。各ウィンドウ内でノード時間拡張を行った後、1 次元畳み込みニューラル ネットワークを使用してウィンドウから特徴を抽出します。次に、各ウィンドウに対してグラフが構築され、エッジ強調によってさらに強化され、グラフ ニューラル ネットワーク ベースのエンコーダーを使用して処理および学習されます。

写真

グラフ比較: 空間の一貫性を実現するためのノードレベルの比較とグラフレベルの比較が含まれます。ノード レベルの比較では、異なるビュー内の対応するセンサーを近づけ、異なるビュー内の異なるセンサーを遠ざけることで、ノード機能の堅牢性を確保します。画像レベルの比較では、異なるビューのサンプルを比較することで、グローバル機能の堅牢性がさらに確保されます。

このアーキテクチャは、MTS 分類に特定の強化およびコントラスト技術を提供し、対照学習における空間的一貫性を実現することを目的としています。最初にノード強化を適用し、次にノード内の時間強化を活用し、最後に GNN によって処理されるエッジ強化を適用することで、私たちの方法は、サンプルごとに異なる空間的および時間的特性を持つ弱いビューと強いビューを生成することができます。この方法の革新的な点は、時間的な一貫性を考慮するだけでなく、グラフ構造を通じて空間的な一貫性も強化し、MTS データの詳細な分析と処理に新たな視点を提供することです。

3. 画像強調モジュール

MTS データ、つまり複数のセンサーによって収集されたデータの特性を考慮して、著者らはノードとエッジの強化のための 2 つの主な方法を提案しました。

ノード拡張: 周波数領域拡張と時間領域拡張に分かれています。周波数領域拡張は、各センサーの信号を周波数領域に変換し、抽出された周波数特性を拡張し、拡張された周波数特性を時間領域に戻して拡張信号を取得します。具体的には、離散ウェーブレット変換を使用して、ハイパス フィルターとローパス フィルターを介して信号を分解し、信号内のマクロ トレンドとミクロ トレンドを表します。時間領域拡張では、MTS データの動的特性を考慮します。各 MTS サンプルは複数のウィンドウに分割され、各ウィンドウで時間領域拡張が実行されます。

エッジ強化: センサー間の相関、つまり構築されたグラフ内のエッジを強化することを目的としています。まず、グラフ構築プロセスを通じてノード (センサー) とエッジ (センサー間の依存関係) が定義されます。次に、エッジ強調法によってセンサー間の相関が効果的に強化されます。このステップでは、GNN の特徴伝播において強い相関関係が弱い相関関係よりも重要であることを考慮して、エッジ強化を実行するときに、最も強い相関関係を保持してトポロジ情報の安定性を確保し、残りの相関関係をランダムな値に置き換えてエッジを強化します。

これらの強化戦略を通じて、弱いビューと強いビューの両方を生成し、その後の対照学習プロセスで堅牢なセンサー機能とセンサー間の関係を学習できるようにすることを目指しています。これらの拡張戦略の設計では、MTS データのマルチソースと動的性質が考慮され、さまざまな角度からのデータ ビューを提供することで CL の機能が強化され、より堅牢で一般化された表現を学習できるようになります。

4. 画像比較モジュール

本稿では、MTS データの空間的一貫性を高めるために、ノードとエッジの強化およびグラフ比較戦略を特別に設計したグラフを考慮した比較方法を提案します。主に、マルチウィンドウ時間比較、ノードレベル比較、グラフレベル比較の 3 つのレベルの比較が含まれます。

マルチウィンドウ時間コントラスト (MWTC): この方法は、センサー レベルで各センサーの時間的一貫性を確保し、予測コーディングを通じて MTS データ内の時間的依存性の堅牢性を維持します。 MWTC は、過去のウィンドウの情報を 1 つのビューにまとめ、別のビューで将来のウィンドウの情報と比較することで、時間パターンの堅牢性を維持します。

ノードレベルのコントラスト (NC): NC は、各 MTS サンプル内の異なるビューのセンサーを比較することにより、堅牢なセンサーレベルの機能を学習します。これには、2 つのビュー内の対応するセンサー間の類似性を最大化すると同時に、それらのビュー内の異なるセンサー間の類似性を最小化することが含まれます。

グラフレベルのコントラスト (GC): GC は、各トレーニング バッチ内のサンプルを比較することにより、堅牢なグローバル レベルの特徴学習を促進します。この戦略は、2 つのビュー内の対応するサンプル間の類似性を最大化し、それらのビュー内の異なるサンプル間の類似性を最小化することによって機能します。

これらの対照的な学習戦略は連携して機能し、グラフ構造を通じて MTS データの表現学習を強化し、分類精度を向上させることを目指しています。また、各センサーの時間的一貫性を維持するための時間的比較の重要性と、センサーレベルとグローバルレベルで堅牢な機能を学習する際のグラフ比較の役割についても強調します。この方法は、ノードレベルとグラフレベルの比較を組み合わせることで、MTS データ内の複雑な空間的および時間的パターンを効果的に学習し、MTS 分類パフォーマンスを大幅に向上させることができます。

5. 実験結果

実験セクションでは、公開されている 10 個の多変量時系列データセットでのパフォーマンスを比較し、既存の最先端の方法と比較します。これらのデータセットには、Human Activity Recognition (HAR)、ISRUC 睡眠段階分類、および指の動き、アラビア数字の音声などの UEA データセットのサブデータセットが含まれます。公平な比較のため、すべての方法で同じエンコーダーを使用します。実験結果によると、TS-GAC は 8 つのデータセット、特に HAR および ISRUC データセットで最高のパフォーマンスを達成し、他の方法と比較して精度がそれぞれ 1.44% と 3.13% 向上しました。

写真

同時に、著者らはモデルの特徴も視覚化し、視覚化の結果、TS-GAC はより認識しやすいセンサーレベルの特徴を抽出できることが示されました。同時に、他の方法と比較して、TS-GAC はさまざまな視点からのデータに対してより一貫性のあるセンサーレベルの特徴を取得できます。

写真

著者らはまた、設計された増強および造影技術がモデルのパフォーマンスに与える影響を評価するためにアブレーション研究も実施した。アブレーション研究では、ノード強調の削除、エッジ強調の削除、グラフレベルのコントラストの削除、ノードレベルのコントラストの削除、マルチウィンドウの時間的コントラストの削除など、さまざまなバリエーションをテストしました。結果は、グラフ拡張とグラフコントラスト技術が MTS データの空間的一貫性を改善するのに非常に効果的であり、完全な TS-GAC はコントラスト損失を減らすどのバリアントよりも優れたパフォーマンスを示していることを示しています。

写真

さらに、著者らはハイパーパラメータ（λMWTC、λGC、λNCなど）の影響や保持されるエッジの数など、モデルの感度も分析しました。これらの分析により、提案された方法の有効性と堅牢性がさらに確認されました。

全体として、実験結果は、TS-GAC が複数の MTS 分類タスクで最先端のパフォーマンスを達成する能力を強調し、MTS データのモデルの空間的一貫性を改善する上で提案されたグラフ拡張およびグラフ比較技術の重要性と有効性を実証しています。