CNNとRNNについての簡単な説明

[[338562]]

【51CTO.comオリジナル記事】

1 はじめに

前回の記事では、ディープラーニングの基礎を中心に解説し、ニューラルネットワークとBPアルゴリズムについてさらに詳しく解説しました。しかし、最近最も注目されている人工知能技術の 1 つであるため、これらのコンテンツを習得するだけでは十分ではありません。ディープラーニングが直面する実際の問題は線形分離できないことが多く、分類問題を超えることもあるため、ディープラーニングモデルを改良し、トレーニングモデルネットワークを最適化して、結果データを予測するために使用されるネットワークをより豊富でインテリジェントなものにする必要があります。実際の知能を実現するために、トレーニング モデルは入力データを通じて結果を正確に予測でき、各予測は「常に学習し、改善する人」のように、独自のネットワーク モデルを強化および最適化できます。時間が経ち、トレーニングの回数が増えるにつれて、トレーニングされたモデルはますます強力になります。私たちが本当に必要としているのは、このようなネットワーク モデルです。もちろん、このステップを達成するには、これまでの線形ネットワーク モデルと浅いニューラル ネットワークおよび深いニューラル ネットワークだけに頼るだけでは十分ではありません。したがって、本論文では、ニューラル ネットワークを拡張および補足し、ニューラル ネットワーク モデルの最適化を行うことで、実際のアプリケーション シナリオをより広範囲かつ豊かにします。

2 畳み込みニューラルネットワーク (CNN)

2.1 畳み込みニューラルネットワークと従来のニューラルネットワーク

CNN は畳み込みニューラル ネットワークと呼ばれますが、畳み込みニューラル ネットワークと従来のニューラル ネットワークの違いは何でしょうか? 畳み込みニューラル ネットワークは、入力データに対する従来のニューラル ネットワークの前処理手順を効果的に削減し、プロセスの複雑さを軽減できます。ただし、この方法では、入力層または隠れ層でフーリエ畳み込み演算を実行して出力し、ネットワーク畳み込み層を増やすため、ネットワーク構造の全体的な複雑さが増加します。これにより、ネットワークの最適化が難しくなり、過剰適合に陥りやすくなります。そのため、このタイプのニューラル ネットワークは、主に画像分類やオブ​​ジェクト認識などのシナリオで使用されます。画像の前処理は比較的複雑であるため、畳み込みニューラル ネットワークは複雑ですが、画像前処理リンクを削減し、入力画像を直接入力データとして使用します。さらに、畳み込みニューラル ネットワークの非線形性により、目的関数のおおよその構造を導き出すことができ、より優れた特徴表現が得られます。

2.2 畳み込みニューラルネットワーク構造の階層

畳み込みニューラルネットワークは、主にデータ入力層（Input Layer）、畳み込み計算層（CONV Layer）、ReLU励起層（ReLU Layer）、プーリング層（Pooling Layer）、全結合層（FC Layer）の5つの層に分かれています。これらの5つの層は順番に接続されており、各層は前の層の出力特徴データを受け取り、次の層に提供します。データ入力層は入力データの特徴を抽出します。畳み込み計算層はこれらの特徴に対して畳み込みマッピングを実行します。励起層は非線形励起関数を使用してニューロンを励起し、特徴情報を次のニューロンに渡します。プーリング層はデータ量とパラメータを圧縮して過剰適合を減らすために使用されます。完全結合層はすべての出力層の特徴情報を接続し、この情報を要約して整理して出力を完成させます。各レベルの具体的な内容については、以下で説明します。

2.3 入力層

2.3.1 前処理の理由

ニューラル ネットワークや機械学習と同様に、入力データは前処理する必要があります。前処理が必要な主な理由は次のとおりです。

1. 入力データの単位が異なる場合があり、ニューラル ネットワークの収束が遅くなり、トレーニング時間が長くなる可能性があります。

2. データ範囲が大きすぎる入力はパターン分類に大きな影響を与えますが、データ範囲が小さい入力は影響が小さくなる可能性があります。

3. ニューラルネットワークの活性化関数の値の範囲は限られているため、ネットワークトレーニングの対象データを活性化関数の値の範囲にマッピングする必要があります。

4. Sigmod活性化関数（0,1）区間の外側の領域は非常に平坦であるため、識別力が弱くなり、最終的な出力効果に影響します。

2.3.2 前処理方法

入力層でデータを前処理する方法は主に 3 つあります。これら 3 つのデータ前処理方法はそれぞれ異なります。

1. 意味の除去: 入力データの各次元を 0 に中心化します。

2. 正規化: 入力データの各次元の振幅を同じ範囲に正規化します。具体的な操作については、以前の推奨システム ドキュメントで紹介されています。

3. PCA/ホワイトニング: PCA は次元削減またはホワイトニング、つまりデータの各特徴軸の振幅を正規化するために使用されます。また、最も一般的に使用されるデータ前処理方法でもあります。

2.3.3 前処理効果

3 つの前処理方法の効果図を以下に示します。

たとえば、ホワイトニングを使用した前処理により、入力データまたは特徴間の相関が低下し、すべての特徴の分散が同じになります。

2.4 畳み込み層

2.4.1 畳み込みニューラルネットワーク

畳み込み層に進む前に、まず畳み込みニューラル ネットワークの概要を理解しておきましょう。畳み込みニューラル ネットワークは階層的なネットワーク構造を維持するため、異なる層には異なる形式や操作、機能があります。畳み込みニューラル ネットワークは主に画像情報処理を伴うシナリオに適しており、畳み込み層は画像認識において最も重要なステップまたはレベルです。人間の脳が画像を認識するプロセスと同様に、異なる皮質層が色、形などのさまざまな側面からデータを処理し、異なる皮質層の処理結果を統合してマッピングし、最終結果を取得します。つまり、最初の部分は本質的にローカルな観察結果であり、2 番目の部分は全体的な結果を統合したものです。したがって、畳み込みニューラル ネットワークは、人間の脳が画像を認識するプロセスに基づいています。各ニューロンは、グローバル イメージを認識する必要はなく、ローカル イメージを認識するだけで済みます。最後に、ローカル情報はより高いレベルで統合され、グローバル情報が得られます。

2.4.2 畳み込み層のパラメータ

畳み込み層は畳み込み計算層とも呼ばれ、人間の脳が画像を認識するプロセスに似ています。主に以下の概念があります。

1 ローカルアソシエーション: 各ニューロンはフィルターとしてみなされ、その機能はローカルデータを識別することです。

2. ウィンドウ（受容野）がスライドします。つまり、フィルタはローカル データに対して計算され、スライドによってステップ サイズが事前に設定され、位置が移動されて次のウィンドウが取得されます。

3. ウィンドウ内のスライド処理には、深度、ストライド、ゼロパディングという重要なパラメータがいくつかあります。深度は変換回数（結果の深度）です。ストライドは各ステップで移動する量です。ゼロパディングはマトリックスの周囲に拡張値を追加することです（目的は画像入力の不規則性を解決することです）。

計算モデルを下図に示します。

2.4.3 畳み込み計算

畳み込み計算プロセスにおける重要なメカニズムは、パラメータ共有メカニズムです。データウィンドウを接続する各ニューロンの重みが固定されている、つまり各ニューロンの接続重みが固定されていると仮定すると、ニューロンはモジュールと見なすことができます。つまり、各ニューロンは1つの機能にのみ焦点を当てるため、計算する必要のある重みの数が大幅に削減されます。畳み込み計算は、異なるウィンドウ内の固定された重みとデータのセットの内積を実行することであり、これを畳み込みと呼びます。

2.5 励起層（ReLU層）

2.5.1 非線形活性化関数

励起層は、その名前が示すように、ニューロンを刺激または興奮させるための励起関数を追加します。つまり、マッピング関数を使用して非線形マッピングを完了します。畳み込みニューラル ネットワークでは、活性化関数は非線形です。励起層は畳み込み層に接続されたネットワーク層であり、畳み込み層の出力に対して非線形マッピング、つまり励起を実行する役割を担います。畳み込みニューラル ネットワークで一般的に使用される非線形マッピング関数には、S 関数 (シグモイド)、双曲正接関数 (Tanh)、ReLU、Leaky ReLu、ELU、Maxout などがあります。以下は活性化関数の機能イメージの一部です。

2.5.2 インセンティブ層の選択

非線形励起関数は多数ありますが、それぞれが異なるため、励起層の非線形励起関数を選択する際にはさまざまな提案があります。

1. 畳み込みニューラルネットワーク (CNN) まず、S 関数 (シグモイド) は使用しないようにしてください。使用する場合は、完全接続層でのみ使用することをお勧めします。

2. RELU 関数の反復速度は速いですが、結果が悪くなる可能性があるため、最初に RELU を使用することをお勧めします。

3. RELU 励起関数を選択した後も目的の効果が得られない場合 (励起関数が失敗する) は、Leaky ReLu または Maxout の使用を検討してください。

4. 双曲正接関数 (tanh) は、場合によってはより優れた効果を発揮しますが、適用できるシナリオは比較的限られています。

まとめると、完全結合層には双曲正接関数と S 関数が使用され、畳み込み計算層には ReLu が使用され、ELU が一般的に使用され、Maxout は最大値を使用して値を設定します。

2.6 プーリング層

プーリング層は連続畳み込み層の中央に存在します。その主な機能は、表現の空間サイズを徐々に縮小することで、ネットワーク内のパラメータ数と計算の複雑さを削減することです。プーリング層は、各特徴マップに対して独立して動作します。したがって、プーリング層を使用する明らかな利点は、データとパラメータの量を圧縮して、過剰適合の問題を解決できることです。

プーリング層では、特徴量を圧縮して削減するために、通常、最大プーリングと平均プーリングという 2 つの戦略が使用されます。たとえば、次に示すように、画像を表すベクトルがあるとします。

上記のベクトル表現画像を 4 つの小さなグリッド表現グラフにプールした場合、最大プーリング戦略では 4 つの正方形グリッドごとに最大値を取得し、それぞれ 6、8、3、4 を取得します。同様に、平均プーリングでは 4 つの正方形グリッドごとに平均値を計算し、それぞれ 3、5、2、2 を取得し、上図に示すグリッドを取得します。

2.7 完全接続層（FC層）

従来のニューラル ネットワークの構造と同様に、畳み込みニューラル ネットワークのプーリング層 (FC) のニューロンは、前の層のすべての活性化出力に接続されます。つまり、2 つの層間のすべてのニューロンは重みによって接続されます。最終的な接続ソート出力として、各層の出力結果が要約および計算され、完全に接続された層は畳み込みニューラル ネットワークの末尾にのみ表示されます。

3 CNNトレーニングアルゴリズムとCNNの長所と短所

3.1 CNNトレーニングアルゴリズム

CNN トレーニング アルゴリズムは、一般的な機械学習アルゴリズムと同じです。まず、損失関数を定義して損失値を計算する必要があります。これにより、予測値と実際の値の間の誤差を測定できます。ここでは、一般的に二乗和誤差式が使用されます。ネットワーク内の損失関数を最小化する W と b の値を見つけるために、畳み込みニューラル ネットワークでは通常、以前の推奨アルゴリズム論文で説明されている確率的勾配降下アルゴリズム (SGD) が使用されます。つまり、畳み込みニューラル ネットワークのトレーニング アルゴリズムは、実際には機械学習におけるバックプロパゲーション (BP) アルゴリズムです。SGD は、W と b の偏微分を計算し、偏微分に基づいて W と b を継続的に反復して更新する必要があります。

3.2 CNNの利点と欠点

畳み込みニューラル ネットワークには、いくつかの利点があります。

1. 畳み込みカーネル（共有パラメータ）を共有できるため、畳み込みニューラル ネットワークによる高次元データの処理の負担が軽減されます。

2. 特徴属性を選択する必要はなく、各重みをトレーニングして特徴値を取得するだけです。

3. ディープニューラルネットワークでは、画像情報の抽出がより豊富になり、最終的な表現効果が向上します。

しかし、畳み込みニューラルネットワークにも欠点はいくつかあります。例えば、畳み込みニューラルネットワークではパラメータを調整する必要があり、そのためには大量のサンプルが必要となり、トレーニングの反復回数が増加します。トレーニングにはGPUを使用するのが最適です。また、畳み込みニューラルネットワークの各層の出力結果の物理的な意味は明確ではありません。つまり、各層の出力から意味を見極めるのは難しく、つまり解釈性が悪いのです。

4 正規化とドロップアウト拡張

ニューラル ネットワークの学習能力は、ニューロンの数とニューラル ネットワークのレベルによって影響を受けます。一般的に、ニューロンの数が多く、ニューラル ネットワークのレベルが高いほど、ニューラル ネットワークの学習能力は強くなります。ただし、オーバーフィッティングの問題が発生する可能性があります。オーバーフィッティングを解決する主な方法は、正規化とドロップアウトです。これら 2 つの方法は、以前のニューラル ネットワークの論文で説明されています。さらに詳しく説明します。

1. 正則化は、モデルの複雑さを軽減し、コスト関数に正則化項を追加することで、オーバーフィッティングを軽減します。ドロップアウトは、ニューラル ネットワーク内の一部のニューロンをランダムに削除することでオーバーフィッティングの問題を解決します。これにより、各反復では、一部のニューロンのみがモデルのトレーニングに使用され、W と d の値を取得します。これにより、CNN の一般化能力があまりなくなります。複数の反復の結果をマージすることで、モデルの精度を高めることができます。

2. 一般的に、同じトレーニング データ セットに対して、異なるニューラル ネットワークを使用した後、それらの出力の平均を求めると、過剰適合を減らすことができます。したがって、ドロップアウトはこの原理を使用して、毎回約半分の隠れ層ニューロンを破棄します。これは、異なるニューラル ネットワークでトレーニングするのと同じです。これにより、ニューロン間の依存性が軽減されます。つまり、各ニューロンは他の複数のニューロン (ここでは、層間で接続されるニューロンを指します) に依存できなくなり、ニューラル ネットワークがより堅牢になり、精度が向上します。

代表的な畳み込みニューラルネットワークモデルに関する情報はインターネット上に存在します。読者が興味を持たれた場合は、ご自身で検索して閲覧してください。ここでは詳細には触れません。

5 リカレントニューラルネットワーク (RNN)

5.1 アプリケーションシナリオ

リカレントニューラルネットワークの応用シナリオは数多くあります。現在のインターネットや情報技術企業におけるリカレントニューラルネットワークの最も一般的なシナリオには、自然言語処理（NLP）、機械翻訳、音声認識、画像説明生成などがあります。自然言語処理には言語モデルとテキストの生成も含まれており、インターネット業界では主に音声/意味認識部門に分かれています。 RNN と畳み込みニューラル ネットワーク (CNN) の違いは、CNN は画像に何が含まれているかなど、画像を識別するために使用されるのに対し、RNN も画像に何が含まれているかを識別できますが、RNN は画像内のものを説明したり、画像の内容に関する情報を提供したりするために主に使用されます。

すると、BP ニューラル ネットワークと CNN があるのに、なぜ RNN が必要なのかと疑問に思う人もいるでしょう。これは、RNN のループに関係しています。以前の BP ニューラル ネットワークと CNN の各ニューロンの入力と出力は互いに独立しており、相互に干渉したり接続したりすることはありません。しかし、実際のアプリケーション シナリオではどうでしょうか。一部のシナリオの出力内容は、以前の内容に関連しており、これは「メモリ」の概念です。したがって、RNN はこの概念を導入します。ループとは、各ニューロンが同じタスクを実行することを意味しますが、出力は入力だけでなく、ニューロンの以前の「メモリ」にも依存します。

5.2 RNN構造

「記憶」の概念は時間の順序に関連しているため、次の図に示すように、ニューロンシーケンスを時間的に展開することで、RNN の構造を取得できます。

上記の構造では、は時刻 t における入力、は時刻 t における「メモリ」、は時刻 t における出力です。

別のタイプのリカレント ニューラル ネットワークは双方向 RNN (Bidirectional RNN) です。つまり、前の構造では、現在の t の出力は前のシーケンスだけでなく、後続のシーケンスにも関連しています。たとえば、文中の欠落している単語を予測するには、文脈に基づいて予測を行う必要があります。双方向 RNN は、実際には比較的単純な RNN 構造であり、上下に積み重ねられた 2 つの RNN で構成されています。出力は、これら 2 つの RNN の隠し層の状態によって決まります。

5.3 トレーニングアルゴリズム

5.3.1 BPTTアルゴリズム

リカレント ニューラル ネットワーク (RNN) のトレーニングは、実際には CNN トレーニングと非常に似ており、BP バックプロパゲーション エラー アルゴリズムも使用できます。唯一の違いは、RNNのパラメータWが共有され、確率的勾配降下アルゴリズムでは、各ステップの出力は現在のステップのネットワークだけでなく、前のステップのネットワークの状態にも依存し、つまり、前のBP短期が修正されることです。この修正されたBPアルゴリズムはBPTT（Backpropagation Through Time）と呼ばれます。BPTTアルゴリズムはBPアルゴリズムと同じです。多層トレーニングでは、勾配消失と爆発の問題が発生する可能性があります。 BPTT アルゴリズムの考え方は BP アルゴリズムと同じで、偏微分を求めるものですが、同時に時間がステップに与える影響を考慮する必要があります。

5.3.2 LSTM

BPTT アルゴリズムで発生する可能性がある勾配消失や勾配爆発の問題は、BPTT 計算における長期依存性の「メモリ」問題によって発生し、LSTM はこのような長期依存性の問題を解決するのに特に適しています。 LSTM は、ほぼ同じ構造を持つ RNN の一種です。違いは、LSTM の「メモリ ニューロン」が変更され、記録された情報は一貫して渡され、記録されるべきでない情報は切り捨てられることです。 下の図に示すように

LSTM構造図

LSTM では、メモリニューロンの状態である「セル状態」が重要なポイントとなります。セル状態はコンベア ベルトに似ており、わずかな線形相互作用のみでチェーン全体に直接実行されるため、情報がその上を流れるときに変更されないままになりやすくなります。では、「セルの状態」をどのように制御するのでしょうか? 「セルの状態」を制御するプロセスには、次の手順があります。

1. LSTM は、「ゲート」の構造を通じて「セル状態」情報を削除または追加できます。

2. シグモイドニューラルネットワーク層と点ごとの乗算演算を使用します。

3. シグモイド層は、各部分がどれだけ通過できるかを表す 0 から 1 の間の確率値を出力します。0 は「タスク変数を通過させない」ことを意味し、1 は「すべての変数を実行する」ことを意味します。

4. LSTM には、「セル状態」を制御するための 3 つの主要な「ゲート」構造があります。

5.3.3 3つの「ゲート」？

以下は、LSTM の 3 つの「ゲート」の拡張です。

1. 最初の「ゲート」は「忘却ゲート」とも呼ばれ、「セル状態」からどの情報を破棄するかを決定します。たとえば、言語モデルでは、セル状態に性別情報が含まれる場合があります。新しい名詞を見ると、古いデータ情報を忘れることを検討できます。

2. 2 番目のゲートは「情報追加ゲート」とも呼ばれ、どのような新しい情報が「セル状態」に追加されるかを決定します。シグモイド層は、どの値を更新する必要があるかを決定します。Tanh 層は、主に状態の更新に備えるために、新しい候補ベクトルを作成します。

3. 3 番目の「ゲート」は、「セルの状態」に基づいて出力を取得します。最初の「ゲート」と 2 番目の「ゲート」を通過した後、情報を削除および追加し、「セルの状態」を更新できます。3 番目の「ゲート」は、最初にシグモイド レイヤーを実行して、セルの状態のどの部分が出力されるかを判断し、次に tanh を使用してセルの状態を処理して -1 から 1 の間の値を取得し、それをシグモイド ゲートの出力と乗算します。出力プロセスによって、出力の一部が決定されます。

3 つの「ゲート」の部分的な図を以下に示します。

5.3.4 LSTM構造変換

前述の LSTM 構造についても、一部が変更されています。たとえば、2 番目の「ゲート」の前に「クォータ電話接続」レイヤーが追加され、ゲート レイヤーもセル状態の入力を受け入れるようになりました。また、忘却ゲートと更新入力ゲートを結合することで、どの情報を忘れてどの情報を追加するかを別々に考慮するのではなく、一緒に考慮するようになりました。

LSTM 構造の設計と変更の中で際立っているのは、下の図に示すように、2014 年に提案されたものです。主な違いは次のとおりです。

1. この構造は、忘却ゲートと入力ゲートを 1 つの更新ゲートに結合します。つまり、忘却された情報と入力情報が一緒に考慮されます。

2. データユニットの状態と隠し状態が結合されます。

3. LSTMよりも構造がシンプルです。

6 要約と補足

6.1 要約

ディープラーニングニューラルネットワークの主な応用シナリオは現在、画像認識、テキスト認識、ゲーム、言語認識などです。主なアルゴリズムのいくつかは上記で説明しました。さらに、最大アルゴリズムや最小アルゴリズムなどの補助アルゴリズムもいくつかあります。この内容については以下に記載します。したがって、ニューラル ネットワークを学習するときは、カテゴリ別に理解し、状況別に議論し、実際のアプリケーション シナリオ機能と組み合わせて、ニューラル ネットワーク モデルの選択とトレーニングを完了し、最高の出力効果を実現する必要があります。 Fast R-CNN (高速畳み込み) や R-FCN (領域ベースの完全畳み込み) など、CNN と RNN のいくつかの拡張については、興味のある読者はこれらの内容と構造を自分で学習できます。実用的なアプリケーション シナリオはそれほど多くありません。

6.2 補足

ニューラルネットワークの知識を活用するディープラーニングの分野では、転移学習や最大・最小アルゴリズムなど、理解しておく必要のある追加の知識がいくつかあります。読者のさらなる議論への興味を刺激するために、ここでは単なる紹介としてこれらを補足します。

6.2.1 転移学習

転移学習はアルゴリズム的なアイデアであり、アルゴリズム的なトレーニング方法です。一般的なディープラーニング アルゴリズムでは、トレーニング データ セットにラベル付きデータがより多く含まれている必要があります。ただし、実際のアプリケーションでは、ラベル付きデータが比較的少ないシナリオが多くあります。したがって、トレーニングに使用するデータが少なくなっても、以前と同じ良好な結果を達成することは非常に困難です。転移学習は、この種の問題を解決するためのアルゴリズム的なアイデアです。これは、注釈の少ないデータセットに基づいて高品質のモデルをトレーニングすることを指します。現在のアプリケーションシナリオでは、転移学習は主に画像の検出やラベル付けに使用されています。

6.2.2 ミニマックスアルゴリズム

MiniMax アルゴリズムは、最大の失敗の可能性の中から最小値を見つけ、つまり相手の最大利益を最小化しようとするアルゴリズムです。このアルゴリズムは通常、再帰形式で実装され、チェスや競争ゲーム プログラムでよく使用されます。

このアルゴリズムはゼロサムゲームでもあり、両者の勝ち負けの合計は 0 になります。つまり、一方の当事者は任意の条件下で自分の利益を最大化する方法を選択し、もう一方の当事者も相手の利益を最小化する方法を選択する必要があります。つまり、ゲームで誰かがお金を勝ち取った場合、他の誰かがお金を失うことになり、失ったお金の額は勝ったお金の額と等しくなります。ただし、このアルゴリズムのプロセスでは、再帰操作が使用されるため、アルゴリズムの階層の深さは非常に深くなります。データ構造を研究したことがある人なら、再帰アルゴリズムは簡単に記述できますが、時間の複雑さが比較的高く、無限ループに陥ってクラッシュすることもあることを知っています。したがって、最大アルゴリズムと最小アルゴリズムを使用すると、ニューラルネットワークを最適化し、ニューラルネットワークのトレーニングの時間複雑さを最小限に抑えることができます。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]