ペイ・ジアンのチームの44ページの新作：ディープラーニングモデルの複雑さを理解するには、これを読んでください

最近、ディープラーニング モデルの複雑性に関する最初のレビュー「ディープラーニングのモデルの複雑性: 調査」が arXiv で公開されました。論文の著者は、有名なビッグデータ科学者である Pei Jian 教授とその学生 2 名、および Microsoft Research Asia の共同研究者 2 名です。 44 ページのレビューでは、ディープラーニング モデルのフレームワーク、モデルのサイズ、最適化プロセス、データの複雑さの観点から既存の成果をレビューします。

モデルの複雑さは、機械学習、データマイニング、ディープラーニングにおいて常に重要な基本的な問題です。

モデルの複雑さは、特定の問題やデータに対する学習可能性だけでなく、未知のデータに対する一般化のしやすさにも影響します。

モデルの複雑さは、モデル アーキテクチャ自体だけでなく、データの分布、データの複雑さ、情報量によっても影響を受けます。

そのため、近年、モデルの複雑さはますます活発な方向となり、モデルアーキテクチャの検索、グラフ表現、一般化研究、モデル圧縮などの分野で重要になっています。

最近、ディープラーニング モデルの複雑性に関する最初のレビュー「ディープラーニングのモデルの複雑性: 調査」が arXiv で公開されました。

これら 2 つの方向における最新の進捗状況を確認します。

論文の著者は、有名なビッグデータ科学者である Pei Jian 教授とその学生 2 名、および Microsoft Research Asia の共同研究者 2 名です。

ディープラーニングのモデル複雑度は、「表現力」と「実効モデル複雑度」として説明できます。この論文では、研究者らは、モデル フレームワーク、モデル サイズ、最適化プロセス、データの複雑さという 4 つの重要な要素に沿って、これら 2 種類のモデルに関する既存の研究をレビューしました。

最後に、著者は、モデルの一般化機能、最適化戦略、モデルの選択と設計を理解する観点から、その応用について説明します。

ディープラーニングモデルの複雑さを理解するには、この記事を読むだけで十分だと言えます。

ディープラーニングモデルの複雑さに関する最初のレビュー、4つの重要な要素

まず、モデルの複雑さに影響を与える要因を見てみましょう。

モデルフレームワーク

モデル フレームワークの選択は、モデルの複雑さに影響します。影響要因には、モデルタイプ (FCNN、CNN など)、活性化関数 (Sigmoid、ReLU など) などがあります。モデル フレームワークが異なれば複雑さのメトリックも異なる場合があり、メソッドは互いに直接比較できない場合があります。

モデルサイズ

ディープ モデルのサイズは、モデルの複雑さに影響します。モデル サイズの一般的な測定基準には、パラメーターの数、隠し層の数、隠し層の幅、フィルターの数、フィルター サイズなどがあります。同じモデル フレームワークでは、異なるサイズのモデルの複雑さを同じ複雑さのメトリックで定量化できるため、比較可能な標準になります。

最適化プロセス

最適化プロセスは、目的関数の形式、学習アルゴリズムの選択、ハイパーパラメータの設定など、モデルの複雑さに影響します。

データの複雑さ

モデルのトレーニングに使用されるデータも、モデルの複雑さに影響します。主な影響要因には、データ次元、データ タイプとデータ タイプの分布、およびコルモゴロフ複雑度によって測定される情報量が含まれます。

一般的に言えば、複雑性研究モデルには 2 つのタイプがあります。

1 つ目はモデル固有のアプローチです。これは特定のタイプのモデルに焦点を当て、構造的特徴に基づいて複雑さを調査します。たとえば、Bianchini らと Hanin らは FCNN のモデル複雑性を研究し、Bengio と Delalleau は注意ネットワークと積ネットワークのモデル複雑性を研究しました。さらに、いくつかの研究では、関数の非線形特性を制限するための活性化制約をさらに提案しました。

もう 1 つのアプローチはクロスモデルです。これは、特定のタイプの複数のモデルではなく、複数のタイプのモデルをカバーするため、異なるタイプの 2 つ以上のモデルを比較するために適用できます。たとえば、Khrulkov らは、これらのネットワーク構造とテンソル分解において、接続を構築することが一般的な RNN、CNN、浅い FCNN の複雑さに与える影響を比較しました。

「表現力」と「効果的なモデルの複雑さ」

モデルの表現力

モデルの表現力とは、さまざまなデータを表現する能力、つまりパフォーマンスを指します。主な分析方法は、次の4つの観点から分析します。

深度効率は、ディープラーニング モデルがアーキテクチャの深度からより優れたパフォーマンス (精度など) をどのように得るかを分析します。

幅効率は、ディープラーニングにおける各レイヤーの幅がモデルに与える影響を分析します。

表現可能な関数空間は、さまざまなパラメータの下で、特定のフレームワークと指定されたサイズを持つ深層モデルによって表される表現可能な関数を研究します。

最後に、VC 次元と Rademacher 複雑度は、機械学習における表現力を測る 2 つの古典的な尺度です。

モデルの実効的な複雑さ

ディープラーニング モデルの有効な複雑さは、実用的な複雑さ、実用的な表現力、および利用可能な容量とも呼ばれます。

これは、特定のパラメータ化を持つディープ モデルによって表される関数の複雑さを反映します。ディープラーニングモデルの有効な複雑性は、主に次の 2 つの側面から議論されます。

有効な複雑性の一般的な測定 ディープラーニング モデルの有効な複雑性の定量的な測定を設計します。

大容量、低リアリズムの現象に関する調査により、ディープラーニング モデルの有効な複雑さは、その表現力よりもはるかに低い可能性があることがわかりました。いくつかの研究では、ディープラーニング モデルの有効な複雑さと表現力のギャップを調査しました。

モデルの複雑さの応用

本稿では、主に、モデルの一般化能力の理解、モデルの最適化、モデルの選択と設計という 3 つのアプリケーションについて紹介します。

モデルの一般化機能を理解する

ディープラーニング モデルは常に過剰にパラメータ化されます。つまり、最適なソリューションやトレーニング サンプルの数よりもはるかに多くのパラメータを持ちます。しかし、大規模で過剰にパラメータ化されたニューラル ネットワークは、優れた一般化能力を備えていることがよく知られています。いくつかの研究では、より大規模で複雑なネットワークの方が、一般的に一般化しやすいことがわかっています。この観察は、より単純な定理を好む有名なオッカムの剃刀などの機能的複雑性の古典的な概念と矛盾しています。

過剰パラメータ化されたディープラーニングモデルで良好な一般化を実現する要因は何ですか?

1. トレーニング エラーがゼロの場合、真のラベルでトレーニングされたネットワークは優れた一般化能力を発揮し、その複雑さはランダム ラベルでトレーニングされたネットワークよりもはるかに低くなります。

2. 隠れユニットの数またはパラメータの数を増やすことで、一般化誤差を減らし、複雑さを軽減することができます。

3. 2 つの異なる最適化アルゴリズムを使用し、両方でトレーニング エラーがゼロになる場合、一般化能力が優れているモデルの複雑さは低くなります。

最適化戦略

モデルの最適化では、ニューラル ネットワーク モデルがどのように、なぜ確立され、なぜ正常にトレーニングできるのかということに重点が置かれます。具体的には、ディープラーニング モデルの最適化には通常、損失関数が最小化され、非凸になるようにモデル パラメータを決定することが含まれます。損失関数の設計は通常、問題とモデルの要件に基づいて行われるため、一般的にはトレーニング セットやその他の制約に基づいて評価されるパフォーマンス測定が含まれます。

モデルの複雑さは、最適化トレースのメトリックを提供するために広く使用されています。たとえば、ニューラル ネットワークにおける有効なモデルの複雑さの尺度は、最適化プロセス中のモデルの変更を監視し、最適化プロセスがどのように進行しているかを理解するのに役立ちます。このようなメトリックは、最適化アルゴリズムに対する新しい改善の有効性を検証するのにも役立ちます。

Nakkiran らは、ゼロのトレーニング エラーを達成できるデータセットの最大サイズの有効複雑性指標を使用して、トレーニング中の二重降下現象を研究しました。二重降下現象は有効複雑度の関数として表現できることが示されています。 Raghu らと Hu らは新しい正規化手法を提案し、これらの手法が複雑性の低減に効果的であることを証明しました。

モデルの選択と設計

特定の学習タスクが与えられた場合、研究者はそのタスクに対して実行可能なモデル構造をどのように決定するのでしょうか。さまざまなアーキテクチャとモデルの複雑さ、そしてパフォーマンスの違いを考慮すると、研究者はどのようにして最適なモデルを選択するのでしょうか?これはモデルの選択と設計の問題です。

一般に、モデルの選択と設計は、予測パフォーマンスとモデルの複雑さの間のトレードオフに基づいています。

一方、高精度の予測は学習モデルの基本的な目標です。モデルは、トレーニング データに隠された基本的なパターンをキャプチャし、予測において可能な限り最高の精度を達成できる必要があります。大量の知識を表現し、高い精度を達成するためには、モデルは高い表現力、大きな自由度、大きなサイズを持ち、より大きなトレーニング セットを必要とします。この点で、パラメータが多く、複雑さが増すものが有利です。

一方、過度に複雑なモデルはトレーニングが困難になり、ストレージ、計算、時間コストなどのリソースが不必要に消費される可能性があります。特に実際の大規模アプリケーションでは、不必要なリソースの消費は避ける必要があります。この目的のためには、より正確なモデルよりも、より単純なモデルが望ましいです。

データ価値とデータ資産管理

このレビューの著者である Pei Jian 氏は、データ サイエンスの分野で世界をリードする学者であり、カナダのサイモン フレーザー大学コンピューター サイエンス学部の教授であり、カナダ王立協会、カナダ工学アカデミー、ACM、IEEE のフェローでもあります。

最近、O'Reilly Media Group の元チーフデータサイエンティストである Ben Lorica 氏が主催するポッドキャストで、Pei Jian 教授がデータの価値とデータ資産管理の問題について議論しました。

彼は、まず、データは企業の中核となるリソースであり、CFO と CDO はデータ リソースの運用、使用、メリットに共同で注意を払うべきだと考えています。第二に、データは単なる技術ではありません。企業は、データ製品とデータ資産を開発、運用するために、経済学者の参加を得た中核チームを早急に結成する必要があります。 3 つ目は、どの企業にも上流と下流に多数のデータ アプリケーションがあることです。企業のデータの価値は、企業が認識しているよりもはるかに大きいことがよくあります。企業のビジネスをデジタル化し、データ資産を適切に運用することは、大きな投資価値があります。

2021年4月29日から5月1日まで、Pei Jian教授と他の論文著者らはSDM（SIAM International Conference on Data Mining）で講演し、論文の内容を解説する予定です。

参考文献:

https://www.sfu.ca/~huxiah/sdm21_tutorial.html

https://youtu.be/VNesYXw-6hQ