十分なデータを使用してモデルをトレーニングしたかどうかをどのように確認しますか?

[51CTO.com クイック翻訳]ディープニューラルネットワーク (DNN) には大量のトレーニングデータが必要であり、モデルを微調整するにも大量のトレーニングデータが必要になります。では、データが十分かどうかはどうすればわかるのでしょうか? コンピュータービジョン (CV) モデルの場合は、常にテストエラーを確認できます。しかし、BERT や GPT のような大規模なトランスフォーマーモデルを微調整する場合はどうでしょうか?

モデルを評価するための最適な指標は何ですか?
十分なデータを使用してモデルをトレーニングできたかどうかをどのように確認できますか?
顧客に安心感を与えるにはどうすればよいでしょうか?

WeightWatcher が役に立ちます。

 pip で weightwatcher をインストールします

WeightWatcher は、(事前)トレーニング済みおよび微調整済みのディープニューラルネットワークのパフォーマンスを評価するためのオープンソース診断ツールです。これは、ディープラーニングが機能する理由に関する最先端の研究に基づいています。これは最近、ネイチャー誌に掲載されました。

この記事では、WeightWatcher を使用して、DNN モデルが十分なデータでトレーニングされているかどうかを判断する方法を説明します。

この記事では、GPT と GPT2 の例を検討します。 GPT は、偽のテキストを生成するために OpenAI によって開発された NLP Transformer モデルです。 OpenAI は、最初に開発されたときに GPT モデルをリリースしましたが、このモデルは小規模なデータセットで特別にトレーニングされていたため、偽のテキストを生成することができませんでした。その後、彼らは偽のテキストが儲かるビジネスだと気づき、GPT とまったく同じだが、十分なデータでトレーニングして有用性を確保した GPT2 をリリースしました。

WeightWatcher を GPT と GPT2 に適用して結果を比較すると、WeightWatcher のログスペクトルノルムとアルファ (べき乗法則) メトリックによって、GPT モデルに問題があることがすぐにわかることがわかります。これは論文の図6に示されています。

図6

ここでは、WeightWatcher Power Law (PL) アルファメトリックに対してこれを行う方法を詳しく説明し、プロットを解釈する方法を説明します。

これらの計算は、Jupiter ノートブックまたは Google Colab で実行することをお勧めします。 (参考までに、論文内の図を作成するために使用された実際のノートブックも見ることができますが、ここでは古いバージョンの WeightWatcher が使用されています)。

この記事では、WeightWatcher github リポジトリに実用的なノートブックを提供します。

WeightWatcher は基本的な Huggingface モデルを理解します。実際、WeightWatcher は次の機能をサポートしています。

TF2.0/ケラス
pyTorch 1.x
ハギングフェイス
ONNX サポートは近日中にリリース予定です (現在はトランクにあります)

現在、Dense レイヤーと Conv2D レイヤーをサポートしています。より多くのレイヤーのサポートは近日中に提供される予定です。 NLP Transformer モデルでは、Dense レイヤーのみをサポートする必要があります。

まず、GPT および GPT2 pyTorch モデルが必要です。人気のHuggingFaceトランスフォーマーパッケージを使用します。

 !pip トランスフォーマーをインストール

次に、pyTorchとweightwatcherをインポートする必要があります。

トーチをインポート
weightwatcher をwwとしてインポートする

また、weightwatcher メトリックを解釈するために、pandas および matplotlib ライブラリも必要です。 Jupyter ノートブックでは、次のようになります。

 pandasをpdとしてインポートする
matplotlibをインポートする
matplotlib.pyplot をpltとしてインポートします。  
 %matplotlib インライン

トランスフォーマーパッケージと2つのモデルクラスをインポートします。

輸入変圧器
トランスフォーマーからOpenAIGPTModel、GPT2Modelをインポート

2つの事前トレーニング済みモデルを取得し、model.eval()を実行します。

 gpt_model = OpenAIGPTModel.from_pretrained( 'openai-gpt' )
 gpt_model.eval();
 gpt2_model = GPT2Model.from_pretrained( 'gpt2' )
 gpt2_model.eval();

WeightWatcher を使用して GPT モデルを分析するには、ウォッチャーインスタンスを作成し、watcher.analyze() を実行するだけです。これにより、各レイヤーのメトリックを含む Pandas DataFrame が返されます。

ウォッチャー = ww.WeightWatcher(モデル = gpt_model)
 gpt_details = ウォッチャー.analyze()

詳細なデータフレームレポートを使用すると、テストデータやトレーニングデータにアクセスしなくても、モデルパフォーマンスの品質メトリックを分析できます。最も重要なメトリックはべき乗法則メトリックです。 WeightWatcher は各層についてレポートします。 GPT モデルには約 50 のレイヤーがあるため、すべてのレイヤーのアルファをヒストグラムとして一度に調べると便利です (pandas API を使用)。

 gpt_details.alpha.plot.hist(ビン=100、色= '赤' 、アルファ=0.5、密度= True 、ラベル= 'gpt' )
 plt.xlabel(r "アルファ $(\alpha)$ PL指数" )
 plt.凡例()

これは、GPT モデル内のすべてのレイヤーにわたる値の密度をプロットします。

図2

このヒストグラムから、モデルに 2 つの問題があることがすぐにわかります。

•ピークは、完全にトレーニングされたモデルの最適値よりも高くなります。

•いくつかの外れ値があり、いくつかのレイヤーのトレーニングが不十分であることを示しています。

したがって、GPT について何も知らず、テストトレーニングやトレーニングデータも見たことがないため、WeightWatcher は、このモデルは本番環境に導入すべきではないと伝えます。

次に、同じアーキテクチャを持ちながら、より多くの優れたデータを使用してトレーニングされる GPT2 を見てみましょう。指定されたモデルでウォッチャーインスタンスを再度作成し、watcher.analyze()を実行します。

ウォッチャー = ww.WeightWatcher(モデル = gpt2_model)
 gpt2_details = ウォッチャー.analyze()

それでは、GPT と GPT2 のべき乗法則アルファメトリックを比較してみましょう。各モデルごとに 1 つずつ、合計 2 つのヒストグラムを作成し、2 つのグラフを重ね合わせます。

 gpt_details.alpha.plot.hist(ビン=100、色= '赤' 、アルファ=0.5、密度= True 、ラベル= 'gpt' )
 gpt2_details.alpha.plot.hist(ビン=100、色= '緑' 、密度= True 、ラベル= 'gpt2' )
 plt.xlabel(r "アルファ $(\alpha)$ PL指数" )
 plt.凡例()

GPT のレイヤーアルファは赤で表示され、GPT2 のレイヤーアルファは緑で表示され、ヒストグラムは大きく異なります。 GPT2の場合、ピークは$alpha\sim 3.5&bg=ffffff$であり、さらに重要なことに、外れ値$latex \alpha>6&bg=ffffff$はありません。アルファが小さいほど良いです。GPT2 モデルは、より多くの優れたデータでトレーニングされるため、GPT よりもはるかに優れています。

図3

WeightWatcher には、モデルの評価に役立つ多くの機能があります。次のようなことが可能です: