ディープラーニングによる時系列モデルの評価

技術概要:

今回は主に教師なし特徴学習とディープラーニングの最近の発展と、時系列モデル問題におけるそれらの評価についてお話します。これらの技術は、コンピューター ビジョンなどの静的データのモデリングに有望であることが示されており、時系列データへの適用はますます注目を集めています。この論文では、時系列データに特有の課題について概説し、時系列を教師なし特徴学習アルゴリズムに適用したり、時系列データの現在の課題に対処するために特徴学習アルゴリズムの変更を選択的に促進したりする作業の評価を示します。

人間の脳が言語、視覚、運動などのタスクを学習しているとき、時間は常に存在する自然な要素です。現実世界のデータのほとんどには、自然プロセス (天気、音波など) の測定であれ人工プロセス (株式市場、ロボット) の測定であれ、何らかの時間的要素が含まれています。時系列データの分析は数十年にわたって活発に研究されてきたトピックであり、その独特の特性により、Yang と Wu はデータ マイニングにおける 10 の最も困難な問題の 1 つであると考えています。連続データをモデル化する従来のアプローチには、自己回帰モデルや線形動的システム (LDS) などの想定される時系列モデルや、有名な隠れマルコフモデル (HMM) からのパラメータの推定が含まれます。推定されたパラメータは、分類器の特徴として使用して分類を実行できます。しかし、より複雑で、より高次元で、より複雑な現実世界の時系列データは、ダイナミクスが複雑すぎるか未知であるため、パラメータで解く解析方程式では記述できず、少数の非線形演算のみを含む従来の浅い方法では、このような複雑なデータを正確にモデル化することはできません。複雑な現実世界のデータをより適切にモデル化するための 1 つのアプローチは、関連情報を取得するための強力な機能を開発することです。ただし、各タスクにドメイン固有の機能を開発するには、コストと時間がかかり、データに関する専門知識も必要になります。別のアプローチとしては、ラベルなしデータから特徴表現のレイヤーを学習できるように、教師なし特徴学習を使用することです。ラベルなしデータが豊富で入手しやすいという利点があり、手動で学習するのではなく、その特徴を利用してデータから学習します。もう 1 つの利点は、これらの特徴表現のレイヤーを積み重ねて、データ内の複雑な構造をよりモデル化できる深いネットワークを生成できることです。ディープ ネットワークは、複数のベンチマーク データセットで最先端の結果を達成し、困難な AI タスクを解決するために使用されてきました。しかし、特徴学習はあらゆる分野から大きな注目を集めており、静的データモデルの開発に重点が置かれてきましたが、時系列データはあまり注目されていません。

時系列データの性質

連続的にサンプリングされたデータポイントの時系列データから、時間の経過に伴って実際の値が処理されます。時系列データには、他の種類のデータとは異なる多くの特性があります。

まず、サンプリングされた時系列データには多くのノイズが含まれ、高次元になることが多いです。これに対処するには、次元削減技術、ウェーブレット解析、フィルタリングなどの信号処理技術を適用して、ノイズの一部を除去し、次元を削減することができます。特徴抽出を利用すると多くの利点があります。ただし、貴重な情報が失われる可能性があり、機能や信号処理手法の選択にはデータに関する専門知識が必要になる場合があります。

2 つ目は、時系列データの特性として、プロセス全体を理解するのに十分な情報が確実に得られるわけではないということです。たとえば、電子鼻データでは、センサーアレイのさまざまな選択性を利用して、さまざまなガスの組み合わせの特定の臭いを識別しますが、センサーの選択によって実際に対象の臭いを識別できるという保証はありません。金融データで単一の株式を観察する場合、これは複雑なシステムの小さな側面を測定するだけであり、将来を予測するのに十分な情報を提供しない可能性があります。

さらに、時系列は時間変数に明確に依存します。時刻 t での入力値 x(t) が与えられると、モデルは Y(t) を予測しますが、後の時刻での同じ入力は異なる予測に関連付けられる可能性があります。この問題に対処するには、モデルに過去から現在までのより多くのデータを含めるか、過去の入力のメモリが必要です。長期的な依存関係に対する最初のアプローチでは、入力サイズが大きくなりすぎてモデルが処理できなくなる可能性があります。もう 1 つの課題は、時間的依存性の長さが不明な場合があることです。

多くの時系列は非定常でもあり、平均、分散、頻度などのデータの特性は時間の経過とともに変化します。一部の時系列データでは、周波数の変化が非常に相関しているため、時間領域ではなく周波数領域で作業する方が有利です。

最後に、時系列データは不変性に関して他の種類のデータとは異なります。コンピューター ビジョンなどの他の分野では、変換、回転、スケールに対して不変な機能を持つことが最も重要です。時系列のほとんどの特徴は変換不変である必要があります。

要約すると、時系列データは高次元かつ複雑で、固有の特性を持っているため、分析とモデリングが困難です。時系列データを次元的に表現し、関連情報を抽出することは大きな関心を集めています。あらゆるアプリケーションを成功させる鍵は、適切な表現を選択することにあります。さまざまなタイミングの問題には、このセクションで説明したさまざまな程度の特性が関係しており、これらの特性に関する事前の知識や仮定が、モデルや特性の選択に反映されることがよくあります。手作業で作成された特徴ではなく、ラベルのないデータから表現を学習することに関心が高まっています。教師なし特徴学習は、静的データセットの特徴表現の学習に成功していることが実証されており、ディープ ネットワークと組み合わせて、より強力な学習モデルを作成できます。ただし、時間情報を取得するには、時系列データの特性を調整するために、特徴学習用の時系列データを変更する必要があります。

教師なし学習とディープラーニング

次に、主に時間的関係をモデル化するための教師なし特徴学習モデルと手法を紹介します。ラベルなしデータから特徴を学習する利点は、大量のラベルなしデータを利用できることですが、手作業で作成した特徴よりも優れた特徴を学習できる可能性があります。これら 2 つの利点により、データの専門知識の必要性が軽減されます。

制限付きボルツマンマシン

制限付きボルツマン マシン (RBM) は、図 1 に示すように、ユニット (可視) x と隠れユニット (隠れ) h を入力として受け取る確率モデルです。

図1. 静的データ用の2層RBM

可視ユニットと隠れユニットは、それぞれ重み行列 W とバイアス ベクトル C および B で接続されています。表示されているユニットと非表示のユニットの間には接続がありません。 RBM は静的データをシミュレートするために使用できます。与えられた可視ベクトルと隠れベクトルのエネルギー関数と結合分布は次のように定義されます。

ここで、Z は分布が正規化されることを保証する分割関数です。バイナリ可視ユニットと隠しユニットの場合、隠しユニットがアクティブになって可視ベクトル x が生成される確率と、可視ユニットがアクティブになって隠しベクトル h が生成される確率は、次のように表されます。

ここでσ(·)はすべてのトレーニングサンプルの平均です。複数の RBM を積み重ねて、ディープ ビリーフ ネットワーク (DBM) を作成できます。ディープ ネットワークでは、第 1 層の隠れユニットのアクティブ化が第 2 層への入力になります。

状態 RNM

多変量時系列データ用の RBM モデルの拡張は、図 2 に示すように、条件付き RBM (cRBM) です。同様のモデルとして、時間的 RBM があります。

図 2. 2 層条件付き RBM の時系列データ。第 1 層と第 2 層のモデル次数はそれぞれ 3 と 2 です。

cRBM は、自己回帰重み、モデルの短期的な時間構造、および以前に表示されていたユニットから現在の隠れたユニットへの接続で構成されます。 cRBM のバイアス ベクトルは、これまでに見た単位に依存し、次のように定義されます。

ここで、Ai は時刻 ti の可視ユニットと現在可視ユニット間の自己回帰接続であり、Bi は時刻 ti の可視レイヤーと現在非表示のレイヤーを接続する重み行列です。モデルの次数は定数 n によって定義されます。 1 レベル上または下に移動する可能性は次のとおりです。

係数θ={W,b,c,A,B}は、対照的発散を使用してトレーニングされます。 RBM と同様に、cRBM もディープ ネットワークを作成するためのモジュールとして使用できます。

自動エンコード

パーティション関数のないモデルは自動エンコードされます。図 3 を参照してください。オートエンコーディングは、次元削減アルゴリズムとして最初に導入されました。実際、基本的な線形オートエンコーダは、主成分分析 (PCA) と本質的に同じ表現を学習します。可視ユニット x、隠れユニット h、および再構成された可視ユニットの各層は重み行列 W1 および W2 を介して接続され、隠れ層と再構成された層にはそれぞれバイアス ベクトル b1 および b2 があります。オートエンコーダでは重みを並列化するのが一般的です。つまり、W2 = (W1)T です。これは、許可されるパラメータ空間を制限し、学習するパラメータの数を減らすため、チューニング デバイスとして機能します。フィードフォワード活性化の計算式は次のとおりです。

ここでσ(·)は活性化関数である。 RBM のため、一般的な選択肢はロジスティック活性化関数です。最適値（コスト関数）は次のように最小化されます。

図 3. 静的時系列入力用の 1 層オートエンコーダー。入力は、視覚データ x の現在のフレームと前のフレームの連結です。 x の再構築は ^X と表されます。

リカレントニューラルネットワーク

シーケンシャル データをモデル化するために使用されてきたモデルの 1 つに、リカレント ニューラル ネットワーク (RNN) があります。通常、RNN は、ニューロンの出力をその入力に接続することによってフィードフォワード ネットワークから取得されます (図 4 を参照)。短期的な時間的相関は、時間遅延を使用せずに、隠れた部分と隠れた部分の接続によってモデル化されます。これらは、Back-Propagation Through Time (BPTT) と呼ばれるプロセスを通じて反復的にトレーニングされます。 RNN を時間的に展開すると、各層でパラメータを共有する非常に深いネットワークとして見ることができます。これは勾配消失問題につながり、2 次手法と教師なし事前トレーニングの深層システムの調査を促進しました。 RNN をトレーニングするための戦略の概要は、Sutskever によって提供されています。注目すべき拡張機能の 1 つは、長期依存関係の検出に優れた、特別に設計された長期短期メモリセルの使用です。

図 4 リカレント ニューラル ネットワーク (RNN)。入力 x は隠れユニット h を通過することによって出力表現 y に変換されます。隠れユニットは、現在の時間枠の入力値と前の時間枠の隠れユニットを接続します。

ディープラーニング

ここで紹介する隠れユニットは非線形活性化関数を使用します。この非線形性により、複数のモジュールが積み重ねられて深いネットワークを形成するときに、より抽象的な表現を学習できる表現力豊かなモデルが可能になります (線形機能が積み重ねられた場合、結果は依然として線形操作になります)。ディープ ネットワークの目的は、入力データの変動要因を区別する機能を下位レベルで構築し、それらの表現を上位レベルで組み合わせることです。ディープ ネットワークはより完全な表現を持つため、一般化に適していると提案されています。ただし、エラー信号が逆伝播されるときに勾配消失問題が発生するため、複数の層の隠れユニットをトレーニングすることは困難になる可能性があります。これは、各レイヤーで教師なしの貪欲なレイヤーごとの事前トレーニングを実行することで解決できます。これは、悪い局所最小値を回避し、ランダム初期化よりも優れた初期化を実現する、珍しい形式の正規化です。ただし、パラメータの初期化の重要性は、入力の接続性や構造などの他の要素ほど重要ではありません。

畳み込みとプーリング

この手法は、画像や時系列データなどの高次元データに特に興味深く、畳み込みとして知られています。畳み込み設定では、隠れユニットは入力に完全に接続されておらず、補完的なローカル接続セグメントに分割されています (図 5 を参照)。畳み込みは RBM とオートエンコーダーに適用され、畳み込み RBM (convRBM) と畳み込みオートエンコーダー (convAE) が作成されます。時間遅延ニューラル ネットワーク (TDNN) は、重なり合うウィンドウで畳み込みを実行することによって入力の時間的構造を利用する人工ニューラル ネットワーク (ANN) の特殊なケースです。

図5 2層畳み込みニューラルネットワーク

畳み込みで使用される一般的な操作はプーリングであり、これは最大、平均、またはヒストグラム操作を通じて入力または特徴空間内の近くの値を結合します。プーリングの目的は、小さな局所的な変形に対する不変性を実現し、特徴空間の次元を削減することです。 Lee らによる研究では、畳み込み RBM のコンテキストで確率最大プーリングが導入されました。時空間 DBN (ST-DBN) は、畳み込み RBM を空間プーリング層および時間プーリング層と組み合わせて使用​​し、時空間データから不変の特徴を構築します。

時間的一貫性

アーキテクチャ以外にも、データの時間的一貫性を捉えるために使用できる方法は数多くあります。 1 つのアプローチは、正規化された潜在変数に滑らかさのペナルティを導入することです。これは、次のように、あるフレームから次のフレームへの隠れユニットのアクティブ化の変化を最小限に抑えることによって行われます。

この背後にある動機は、時間的に依存するデータが時間順にモデルに入力された場合、連続データの隠れユニットのアクティベーションはあまり変化しないはずだということです。その他の戦略としては、二乗差のペナルティ、遅い特徴分析、または入力データの変動などの他の要因の関数として、ゆっくり変化する入力データと急速に変化する入力データの両方に適応することが含まれます。

両方の方法は入力データ内の特徴表現の小さな変化を考慮するように設計されているため、時間的コヒーレンスは不変の特徴の表現に関連しています。したがって、不変特徴表現を使用する代わりに、ポーズパラメータとアフィン変換をモデル化することが推奨されます。この場合、時間的な一貫性は、単一のスカラーではなく、位置や姿勢などのターゲットのグループ全体にわたっている必要があります。この例は、構造化されたスパース性ペナルティを使用して実装できます。

まとめ

表 1 にモデルの概要を示します。最初の列は、モデルが時間的な関係を捉えられるかどうかを示します。モデルは過去の入力を記憶することで時間的な関係を捉えます。 2 番目の列に示されているモデルのメモリは、現在のフレームの入力に対して何ステップ前に戻ったかを意味します。時間的な順序がなければ、特徴シーケンスの任意の順列で同じ分布が生成されます。メモリの実装はモデルによってパフォーマンスが異なります。 cRBM では、遅延を使用して、過去に表示されたユニットに関する短期的な相関関係を作成します。長期的な依存関係は、後続のレイヤーをシミュレートすることで生じます。つまり、cRBM の場合、追加されるレイヤーごとにメモリの長さが増加することになります。 1 層 cRBM モデルでは、入力サイズが 5 の場合、次数は通常約 50 未満になります。入力サイズを小さくすると、モデルの次数が高くなります。 RNN では、現在の時間枠内の隠れユニットは、前の時間枠内の隠れユニットの状態の影響を受けます。これにより、潜在的に無限の時間枠にわたる連鎖反応が発生する可能性があります。一方、忘却ゲートを使用することでこの連鎖反応を回避することができます。長期短期記憶またはヘッセフリー最適化を使用すると、100 タイムステップを超える記憶を持つ再帰ネットワークを生成できます。ゲート RBM モデルと畳み込み GRBM モデルは、入力ベクトルのペア間で変換を行うため、これらのモデルのメモリは 2 です。時空間 DBN モデル 6 つの出力シーケンスは空間プーリング層から取得されます。空間プーリング層は GRBM のメモリが長くなりますが、入力サイズは小さくなります。

表 1 の最後の列は、モデルが生成的であるか (識別的であるか) を示しています。生成モデルは、隠された表現を与えられた場合に観測を生成することができ、この機能は主に将来の時間ステップの合成データを生成するために使用されます。オートエンコーダは生成的ではありませんが、オートエンコーダのスコアを使用して確率的な解釈を生成することができます。

表1 一般的なモデルの特徴学習の概要

古典的な時系列問題

ここでは、いくつかの一般的な時系列の問題とモデル、およびそれらが文献でどのように対処されてきたかに焦点を当てます。特徴表現に潜在変数が必要で、その表現がラベルなしデータから完全にまたは部分的に学習される複雑な問題に焦点を当てます。このセクションでは、表 2 にまとめられている典型的な時系列の問題を示します。

表2 一般的な時系列問題のまとめ

小さな例を見てみましょう：ビデオ

ビデオ データは、時間の経過に伴う一連の画像 (時空間データ) であるため、高次元の時間データとして表示できます。図6は、KTHアクション認識データセットからの画像シーケンスを示しています。従来のアプローチは、個々の静止画像を撮影し、SIFT や HOG などの共通の特徴を使用して興味深いポイントを検出することで、ビデオ ストリームをシミュレートすることです。これらの機能は特定のドメインの静的画像であり、ビデオなどの他のドメインに簡単に拡張することはできません。

図 6. KTH アクション認識データセットの 100、105、110、115 フレームで走っている人々の 4 つの画像。 KTH データセットには、熱心に歩いたり、ジョギングしたり、パンチしたり、手を振ったり、拍手したりする人々のビデオも含まれています。

事前に定義された特徴を使用する代わりに、StavensとThrun [21]のアプローチを採用して、静的画像から独自のドメイン最適化された特徴を学習します。より良いアプローチとしては、静止画像を扱うのではなく、ビデオをシミュレートして画像変換について学習することです。この目的には GRBM が使用され、GRBM への入力 x は 1 つの時間フレームの完全な画像であり、出力 y は後続の時間フレームの完全な画像です。ただし、ネットワークは画像に完全に接続されているため、このアプローチは大きな画像には適応できず、複数の場所でのローカル変換を再学習する必要があります。

確率的最大プーリングを使用した GRBM の畳み込みバージョンが Taylor らによって提案されました。畳み込みを使用すると、学習するパラメータの数が減り、入力サイズが大きくなって、画像内のどこにでも現れる可能性のあるローカルアフィン変換をより適切に処理できるようになります。このモデルは、KTH アクション認識データセットを含む合成データと複数のベンチマーク データセットで検証されます。

Le らによる研究では、独立部分空間分析 (ISA) を使用した拡張された教師なし時空間特徴学習法が提案されました。この拡張機能には、プーリングとともに階層化 (スタック) された畳み込み ISA モジュールが含まれています。 ISA の欠点は、大きな入力に対して適切にスケーリングできないことです。畳み込みとスタッキングは、入力データの小さなチャンクを学習することでこの問題を解決します。提案された方法は、KTH を含むいくつかのベンチマーク セットで検証されます。このアプローチの利点の 1 つは、ISA を使用すると、学習率、重みの減衰、収束パラメータなど、RBM ベースの方法で必要な調整が削減されることです。

ビデオ内の時間的関係のモデル化も、時間プーリングを使用して行われています。 Chen と Freitas の研究では、畳み込み RBM を空間プーリングのブロックとして使用し、空間プーリング ユニットで空間プーリングを実行します。この方法は、時空間ディープビリーフネットワーク (ST-DBN) と呼ばれます。 STDBN は、空間と時間における不変性と統計的独立性を可能にします。標準的な畳み込み DBN 方式と比較して、アクション認識やビデオノイズ除去などの上記のアプリケーションを実現するパフォーマンスは非常に優れています。

シミュレートされたビデオでの時間的コヒーレンスの使用は、Zou らによって行われました。そこでは、オートエンコーダ上のプーリングユニットの時間的 L1 コーストが、静止画像内のオブジェクト認識を改善する特徴を学習するために使用されました。表現を学習するために、Hyvärinende の研究では時間情報も基準として使用されています。

ディープラーニング、特徴学習、プーリングによる畳み込みの採用により、ビデオ処理は進歩しました。ディープラーニング アルゴリズムは、静止画像に有用な機能を構築することに成功していることが証明されているため、ビデオ データ ストリームのシミュレーションはディープラーニング アルゴリズムの自然な流れです。ビデオ内の時間的特徴の学習に重点を置くことで、静止画像のパフォーマンスを向上させることができ、時間的関係を捉えるためのディープラーニング アルゴリズムの開発を継続する必要性が生じます。ディープラーニング アルゴリズムをビデオ データに拡張する初期の試みは、2 つのフレーム間の遷移をシミュレートすることによって行われました。時間プーリングを使用すると時間的な依存性が拡張され、モデルは単一フレームを超えて変換を学習できるようになります。ただし、時間的な相関関係はモデル化されていますが、まだ数フレームのみです。ビデオ処理の将来の方向性としては、モデルがより長い時間的依存関係を学習できるかどうかを確認することが考えられます。

もう一つの小さな例を挙げましょう: 株式市場の予測

株式市場のデータは、政治、世界経済、トレーダーの期待など、さまざまな外部要因により、人間の専門家にとっても非常に複雑で予測不可能です。株式市場データの傾向は、非線形、不確実、非定常になる傾向があります。図 7 は、10 年間のダウ ジョーンズ工業株平均 (DJOI) を示しています。

図7: 過去10年間のダウ工業株30種平均（DJOI）

効率的市場仮説 (EMH) によれば、株式市場の価格はランダムウォークパターンに従います。つまり、株価が上がる確率は過去の下落確率と同じであり、予測の精度は 50% を超えることはできません。 EMH ステータスの株価は、現在の価格や過去の価格ではなく、「ニュース」によって左右されます。しかし、株式市場の価格はランダムウォークをたどり、予測可能であるとも考えられています。ニュースや株式情報から利益を得る方法は、10年前とは大きく異なります。一例では、Twitter フィードやオンライン チャット アクティビティなどのオンライン ソーシャル メディアからさらに情報を抽出すれば、予測を改善できることが示されています。

株式市場の予測に適していることが証明されたモデルの 1 つが、人工ニューラル ネットワーク (ANN) です。これは、非線形の複雑なシステムを処理できる能力によるものです。株式市場の予測に適用可能な ANN の調査が に記載されています。しかし、株価予測に適用される ANN アプローチのほとんどは、満足のいく結果をもたらしません。 TDNN の再帰バージョン、RNN を使用したウェーブレット変換、フィードバック状態ネットワークなどのフィードバック ニューラル ネットワークも試されてきました。これらの方法の多くは生データに直接適用されますが、他の論文では特徴選択のステップに重点を置いています。

結論として、安全で正確な在庫予測システムのための既存の技術には、まだ改善の余地があると結論付けることができます。ソーシャルメディア上の一般世論、取引量、市場の特定分野に関する知識、政治的および経済的要因など、株式市場に影響を与える情報源からの追加情報を測定して取得できれば、それを株価データと組み合わせて、より正確な株価予測を実現できます。小規模な単層ニューラル ネットワークを株式市場予測に適用して成功し、より優れた予測を行うにはより多くの情報を追加する必要性を認識したことから、株式市場予測の将来の方向性は、複雑で高次元のデータを処理できるより強力なモデルを実現するために、結合データを使用することであることが示唆されます。多変量時系列のディープラーニング手法はこの説明に当てはまり、金融分野に新しい興味深いアプローチを提供するとともに、著者の知る限りではまだ試みられていないディープラーニング コミュニティへの新しい課題も提供します。

まとめ

教師なし特徴学習とディープラーニング技術は、多くの分野で効果的に応用されてきました。ディープラーニングと教師なし特徴学習はすでにコンピュータービジョンの分野に焦点を当てていますが、この共有セッションでは、いくつかのディープラーニング手法の時系列ドメインへの成功した応用について検討しました。これらのアプローチの中には、入力を静的データとして処理するものもありますが、最も成功したのは、時系列データをより適切に処理できるようにディープラーニング モデルを変更したアプローチです。

時系列データを静的入力として処理する場合の問題は、重要な時間がキャプチャされないことです。時系列のモデリングには、高次元の観測や変数間の非線形関係への対処など、静的データのモデリングと同じ多くの課題が伴います。時間内のパターンを単に無視し、静的データを時系列データに適用すると、データ内に存在する多くの豊富な構造が無視されることになります。このアプローチを採用すると、現在の入力フレームのコンテキストは失われ、キャプチャされる時間的な依存関係は入力スケール内のものだけになります。長期的な相関関係を捉えるには、入力サイズを大きくする必要がありますが、多変量信号の場合や、データに非常に長期的な相関関係がある場合には、これは実用的ではない可能性があります。解決策は、時間的コヒーレンスを組み込んだモデル、時間的プーリングを実行するモデル、または隠れユニットのアクティベーションのシーケンスをモデル化するモデルを使用することです。

モデルの選択とデータの表示方法は、データの種類に大きく依存します。選択したモデル内では、接続性、アーキテクチャ、ハイパーパラメータに関して追加の設計選択肢があります。これらの理由から、現在のドメインでは、ユーザーが有用な特徴を考え出す負担を軽減するために、多くの教師なし特徴学習モデルが利用可能ですが、それらを時系列データに適用するにはまだ多くの課題が残っています。多くの研究が入力データから有用な特徴を構築していることも言及する価値がありますが、実際には、前処理された特徴からの入力データが依然として使用されています。

ディープラーニング手法は、適切に設定およびトレーニングされた場合、浅い手法と比較して、多くの時系列問題において優れた表現力と分類力を提供します。特に時系列データの学習アルゴリズム、例えば信号選択の実行や多変量入力データにおける名誉信号の処理などには、まだ改善の余地があります。

もう一つの将来の方向性としては、学習中に内部構造を変更するモデルを開発したり、短期的および長期的な時間的依存性を捉えるためにモデルの平均化を使用したりすることが挙げられます。時系列モデリング アルゴリズムを開発し、より優れた機能を学習し、モデルをより簡単かつ迅速にトレーニングするには、この分野でのさらなる研究が必要です。したがって、特定の時系列問題に対する処理パイプラインの優先順位付けに重点を置くのではなく、アプリケーションとその構造化データに関係なく、汎用アルゴリズムのより優れた特徴表現を学習することに重点を置く必要があります。