NLP ビッグモデルを時系列に適用するにはどうすればよいでしょうか? 5つの方法をまとめました！

最近、カリフォルニア大学は時系列の大規模言語モデルに関する研究のレビューを発表しました。この記事では、主にNLP分野の事前学習済み大規模言語モデルを時系列予測の分野に適用する方法の概要を紹介し、大規模NLPモデルを時系列の分野に適用するための5種類の方法をまとめています。この記事でまとめた 5 つの方法は次のとおりです。

写真

論文タイトル: 時系列データのための大規模言語モデル: 調査

ダウンロードアドレス: https://arxiv.org/pdf/2402.01801.pdf

写真

1. プロンプトベースの方法

プロンプトを直接使用するこの方法により、モデルは時系列データの結果を出力できます。この記事では、以前のプロンプト メソッドをいくつか紹介します。基本的な考え方は、プロンプト テキストを事前トレーニングして定義し、時系列データを入力して、モデルが予測結果を直接生成できるようにすることです。たとえば、次の例では、この時系列の特定のタスクを説明するテキストが作成され、時系列データがテキストに入力されて、モデルが時系列の予測結果を生成できるようにします。

写真

この方法は、時系列内の数字を直接テキストの一部とみなすため、数字をトークン化するという問題が生じます。一部の研究では、数字の間にスペースを追加して数字をトークン化し、数字をより明確に区別できるようにすることで、辞書で数字を区別する際の不合理な問題を回避しています。

2. 離散化

このタイプの方法は、時系列を離散化し、連続値を離散 ID 結果に変換して、大規模な NLP モデルの入力形式に適応します。たとえば、1 つのアプローチは、ベクトル量子化変分オートエンコーダ (VQ-VAE) テクノロジを使用して時系列を離散表現にマッピングすることです。 VQ-VAE は、VAE に基づいたオートエンコーダ構造です。VAE は、エンコーダを介して元の入力を表現ベクトルにマッピングし、デコーダを介して元のデータを復元します。 VQ-VAE は、中間生成された表現ベクトルが離散化されることを保証します。この離散化表現ベクトルに基づいて辞書が構築され、時系列データの離散化マッピングが実現されます。もう 1 つの方法は、K 平均法による離散化に基づいており、K 平均法によって生成された重心を使用して元の時系列を離散化します。他の研究では、時系列も直接テキストに変換されています。たとえば、一部の金融シナリオでは、日々の価格の増減が、NLP 大規模モデルの入力として対応する文字記号に直接変換されます。

写真

3. 時系列テキストの配置

このタイプの方法は、マルチモーダル分野のアライメント技術を使用して時系列の表現をテキスト空間にアライメントし、それによって時系列データを大規模な NLP モデルに直接入力するという目標を達成します。

このタイプの方法では、いくつかのマルチモーダルアライメント方法が広く使用されています。最も代表的なものの一つは、CLIPに似た対照学習に基づくマルチモーダルアライメントです。これは、時系列エンコーダと大規模モデルを使用して、それぞれ時系列とテキストの表現ベクトルを入力し、対照学習を使用してポジティブサンプルペア間の距離を短縮し、潜在空間内の時系列データとテキストデータの表現をアライメントします。

もう 1 つの方法は、大規模な NLP モデルをバックボーンとして使用し、時系列データに適応するための追加のネットワークを導入して、時系列データを微調整することです。これらのうち、LoRA などの効率的なクロスモーダル微調整法がより一般的です。バックボーン パラメータの大部分は固定され、パラメータのごく一部のみが微調整されるか、または微調整用に少数のアダプタ パラメータが導入され、マルチモーダル アライメントの効果が得られます。

写真

4. 視覚情報を導入する

この方法は比較的まれです。通常、時系列と視覚情報とのつながりを確立し、その後、詳細に研究された画像とテキストのマルチモーダル機能を導入して、下流のタスクに効果的な特徴を抽出します。たとえば、ImageBind は、時系列データを含む 6 つのモダリティのデータに対して統一されたアライメントを実行し、マルチモーダルの大規模モデルを統合します。金融分野の一部のモデルでは、株価をチャート データに変換し、CLIP を使用して画像とテキストを整列させ、下流の時系列タスク用のチャート関連の機能を生成します。

5. 大型モデルツール

このタイプの方法では、NLP ビッグモデルを改善したり、ビッグモデルに適応するために時系列データ形式を変換したりするのではなく、NLP ビッグモデルを時系列の問題を解決するためのツールとして直接使用します。たとえば、大きなモデルで時系列予測を解決するためのコードを生成し、それを時系列予測に適用したり、大きなモデルでオープンソース API を呼び出して時系列の問題を解決したりします。もちろん、この方法はより実用的です。

最後に、この記事では、さまざまな方法の代表的な研究と代表的なデータセットをまとめています。

写真

写真