人工ニューラルネットワークとBPアルゴリズムについての簡単な説明

[[338555]]

【51CTO.comオリジナル記事】

1 はじめに

現在、機械学習技術とも呼ばれるディープラーニング技術がますます普及しており、画像認識、音声認識、自然言語処理、ゲーム、ロボットなど、ディープラーニング技術が適用される分野はますます広範囲になっています。そして、ディープラーニング技術が進歩し成熟するにつれて、将来的にはより広く利用されるようになるでしょう。この分野を学ぶには、一定のソフトウェア知識だけでなく、ハードウェアの技術的知識と理論的な方法も理解する必要があります。私は電子情報を専攻していたため、大学時代に機械学習の知識を多少は身につけていました。卒業後はフォーチュン500のインターネット企業に就職し、人工知能研究開発センターで働き、ディープラーニング技術に関連するソフトウェアプラットフォームや開発ツールに触れました。したがって、私はこの分野の知識に比較的精通しており、習得することができます。この記事では、ディープラーニングの基本的な説明を行い、これを基に拡張することで、後でディープラーニング技術のプラットフォーム実践を完了できるようにします。前回の記事で述べたレコメンデーションシステムの実装と同様に、ディープラーニング技術をレコメンデーションシステムの「コンピューティングエンジン」として使用することで、レコメンデーション効果をさらに向上させることができます。したがって、ディープラーニング技術の知識を習得することは、ソフトウェアおよびハードウェア業界に従事する人々にとって特に重要です。

2 ディープラーニング技術の現状

人工知能の研究開発に携わった経験から、ディープラーニング技術の人気が高まっていることは理解していましたが、同時に、我が国がこの分野でまだ画期的な進歩を遂げていないため、この点の難しさも痛感しています。私たちはこの段階を、人工知能や機械学習の「ボトルネック期」とも呼んでいます。人工知能の分野では、説明可能性、普及率、教師なし学習の分野では明らかな進歩が見られません。この分野の発展は依然として「ボトルネック期」、いわゆる「大騒ぎ」の時期にあるが、どの国もこの分野の研究を怠ってはならない。「ボトルネック期」を乗り越えれば、人工知能分野は質的飛躍を遂げ、ボトルネックを突破して繁栄するだろう。もちろん、ソフトウェア開発業界に携わる者として、たとえ科学研究者の多大な努力と時間が必要であっても、私もこの日を楽しみにしています。

3 ディープラーニングとニューラルネットワーク

3.1 ディープラーニング

ディープラーニングは機械学習とも呼ばれ、自己学習が可能なインテリジェントマシンを実現することで、人間に代わって複雑で面倒なタスクを実行する人工知能です。このマシンの学習モデルは、人間の行動によってもシミュレートされます。つまり、人生において、解決すべき新しい問題に遭遇したとき、私たちは過去の行動経験を頼りに問題を整理して要約し、それによってそのような問題のパターンを発見し、最終的にこれらのパターンを使用して将来の予測機能を完成させます。同様に、人工知能マシンでは、新しいデータ (新しい問題) を処理する必要がある場合、独自の「経験」、つまり記録された履歴データに頼ってモデルを構築し (パターンを探す人間と同様)、そのモデル (パターン) を使用して未知の属性や問題を予測します。これらのプロセスは、マシン自身の自己学習能力に完全に依存しています。モデルが遭遇する新しいデータが増えるほど、履歴データが豊富になり、学習能力が強化されます。これは、良性の正のフィードバック プロセスでもあります。次の図に示すように:

3.2 ニューラルネットワーク

人間の学習に似たディープラーニングについて話すとき、ニューラル ネットワークという用語に言及する必要があります。人間の学習能力は主に人間の脳に依存しており、脳内の情報を伝達するためにニューラルネットワークが使用されていることは誰もが知っています。そのため、ディープラーニングでは、人間の脳のニューラルネットワークの動作メカニズムを模倣し、それに応じたディープラーニングニューラルネットワークを形成します。人間の脳のニューラル ネットワークのニューロンと同様に、ディープラーニングでは、ニューラル ネットワーク モデルの構築も個々の「ニューロン」に依存します。次の図は、シミュレートされた「ニューロン」を示しています。

この「ニューロン」では、入力は X1、X2、X3 で、切片 b は +1 です。出力は関数で、w は各入力の重み、活性化関数は f(x) です。このタイプの「ニューロン」では、以下に示すように、シグモイド (ロジスティック回帰関数) と tanh (双曲正接関数) が一般的に使用される活性化関数です。

3.3 パーセプトロン

ニューラル ネットワークの最も単純なニューラル ユニットはパーセプトロンとも呼ばれます。これは、活性化関数の戻り値が 2 つの固定値である場合にのみ、ニューラル ネットワークをパーセプトロンと呼ぶことができるためです。戻り値は、次の 2 つの状況のいずれかになります。

したがって、パーセプトロンには戻り値が 2 つしかなく、線形に分離可能な 2 種類の問題のみを解決できるため、パターン分類のアプリケーション シナリオに適しています。

3.4 線形ニューラルネットワーク

最も単純なニューラル ネットワークであるパー​​セプトロンに加えて、線形ニューラル ネットワークも複数のニューロンを含めることができる単純なニューラル ネットワークです。対応する活性化関数は線形関数であり、複数の値を返すことができます。最も一般的に使用される活性化関数は、上記の 2 つの関数、シグモイド関数と tanh 関数です。線形ニューラル ネットワークも線形に分類可能な問題にのみ適していますが、分類効果はパーセプトロンよりも優れており、バイナリ分類状況に限定されずに複数の条件付き分類を実行できます。

3.5 浅いニューラルネットワーク

線形ニューラル ネットワークに少数の隠し層を追加することで、さらに一歩進むことができます。これは、浅いニューラル ネットワーク、または従来のニューラル ネットワークとも呼ばれます。一般的に、浅いニューラル ネットワークには 1 ～ 2 個の隠し層しかありません。浅いニューラルネットワークを下の図に示します。(layerL1 は入力層、layerL2 は隠れ層です)

3.6 ディープニューラルネットワーク

浅いニューラル ネットワークの隠れ層の数が少ないため、それに対応する隠れ層の数が多いディープ ニューラル ネットワーク (DNN) が必要です。ディープ ニューラル ネットワークはディープラーニングの基礎であり、ディープラーニング技術はディープ ニューラル ネットワークに基づいており、ニューラル ネットワークの発展です。ディープ ニューラル ネットワークを次の図に示します。

次に、隠れ層については、隠れ層を追加することによって得られる最終的な出力効果は、線形ニューラル ネットワークよりも正確で、要件に沿ったものになります。しかし、隠れたレイヤーが多ければ多いほど、効果は高まるのでしょうか? この点を説明する慣用句があります。「多すぎるのも少なすぎるのも同じくらい悪い」。何でも、一度制御されずに許容限度を超えると、以前の状態から大きく逸脱してしまう可能性があります。隠しレイヤーについても同様です。隠しレイヤーを少量追加すると、確かに出力効果が向上します。しかし、制限なく増加させた場合、最終的な効果に大きな違いは生じず、間違いなく不必要になります。この状況は、ニューラル ネットワークの過剰適合とも呼ばれます。

4 質問 – 過剰適合？

4.1 隠し層が多いほど良いのでしょうか?

理論的には、1 つのニューロンでデータ セットを二分できます。隠れ層のニューロン数が十分に多い場合、隠れ層を持つニューラル ネットワークは任意の連続関数を近似できます。ネットワークエンジニアリング効果の点では、多重隠し層ニューラルネットワークは単一隠し層ニューラルネットワークよりも優れており、一部の分類データセットの問題では、3層ニューラルネットワークは2層ニューラルネットワークよりも優れています。ただし、隠し層の数を5以上に増やしても、最終的な効果に大きな変化はなく、ニューラルネットワークが複雑になりすぎます。隠れ層の数を増やすと、ニューロンの数も増え、ニューラル ネットワークはより複雑になります。ネットワークの処理能力と空間表現能力は強化されますが、分類問題などの一部の単純なデータ セットの問題には過剰であり、過剰適合の問題が発生する可能性があります。ニューラル ネットワーク モデルは予測セットでは良好なデータ結果を示しますが、ビデオ/画像認識などの問題にはあまり適していません。これもニューラル ネットワーク モデルの制限です。

4.2 過剰適合問題の解決

では、ニューラル ネットワークのオーバーフィッティングの問題をどのように解決すればよいのでしょうか? 現在、ニューラル ネットワークのオーバーフィッティングの問題を解決するには、主に 3 つの方法があります。

（１）クロスバリデーション：データセットはトレーニングセット、検証セット、テストセットの３つの部分に分割される。トレーニング セットは、ニューラル ネットワーク モデルをトレーニングするためのサブセットとして使用され、このモデルの予測効果は検証セットによって評価されます。予測効果が予測効果と一致した後、最終テスト セットが入力として使用され、最終的な予測効果が得られます。

（２）プルーニング：サブセットをトレーニングする各エポックの後に、計算された精度が前回の精度と比較されます。精度が変化しない場合は、トレーニングが停止されます。

（３）正則化：これは目的関数にパラメータを追加し、目的関数をパラメータを含む関数に変えることです。最後に、パラメータを使用して、大きな重みを持つベクトルにペナルティを課します。パラメータは正則化係数と呼ばれ、プロセスは正則化と呼ばれます。したがって、 = 0 の場合、過剰適合を防ぐために正規化が使用されていないことを意味します。

5 バックプロパゲーションアルゴリズム

現在、活性化関数はすでに利用可能であり、隠れ層もオーバーフィッティング問題に対処するために適切な方法をどのように取るかを認識しています。では、他に何を計算する必要がありますか？出力効果は、データが予測データと一致しているかどうかに依存することがわかっています。そうするとエラーが発生するため、予測エラーを計算し、そのエラーを使用して、どのニューラルネットワークでも無視できないもう1つの重要なパラメータ、つまりニューラルネットワークの処理にとって特に重要な重みWを決定する必要があります。また、ネットワークの各層については、各層の出力データの影響に基づいて、ネットワークの各層によって発生したデータ損失を知ることができます。したがって、データ損失とニューラル ネットワーク レイヤーの重みを解決するために最もよく使用される方法は、FP (順方向伝搬) アルゴリズムと BP (逆方向伝搬) アルゴリズムです。順方向伝搬は損失を計算するために使用され、逆方向伝搬はエラーを伝達するために使用されます。ネットワークの各レイヤーの重みはエラー値に応じて変更され、最小エラーが得られるまで反復が続けられ、これが最適な効果です。

誤差の計算がわかったら、誤差をどんどん小さくする必要があります。ここでは、前述の推奨アルゴリズムの確率的勾配降下法を使用して、重み W パラメータを継続的に調整し、最小の誤差値を得ることができます。このとき得られた重み W が、目的の重みパラメータです。 BP (バックプロパゲーション) アルゴリズムを使用して重み W を解決する具体的なプロセスについては、Python をさらに深く調べた後、Python ソフトウェアを使用してこのプロセスをシミュレートおよびデモンストレーションし、シミュレートされた出力効果の散布図を示します。ここでは詳細には触れません。

6. まとめ

この記事では、主にディープラーニングとニューラルネットワークの知識を紹介します。今後、この問題に関するより詳細なコンテンツが提供される予定です。その中には、ニューラルネットワークの分野ではあまり知られていない畳み込みニューラルネットワークとリカレントニューラルネットワークがあります。次の記事ではこれらの内容を詳しく説明し、テクノロジーの分野を段階的に深掘りしていきます。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]