ニューラルネットワークと数学の関係は何ですか?読めば分かるよ

ニューラルネットワークと数学の関係は何ですか?読めば分かるよ

ニューラル ネットワークについて学んだことのある人なら誰でも、ニューラル ネットワークには非常に一般的なトレーニング方法である BP トレーニング アルゴリズムがあることを知っています。 BP アルゴリズムを使用すると、ネットワークを継続的にトレーニングし、最終的にはネットワークを適合させたい関数に無限に近づけることができます。最終的に、トレーニングされたネットワークは、トレーニング セットとテスト セットの両方で優れたパフォーマンスを発揮します。

では、BP アルゴリズムとは一体何でしょうか? BP アルゴリズムによって段階的に最適値に近づくことができるのはなぜですか (グローバル最適値ではなくローカル最適値である場合でも、他の方法でグローバル最適値に到達することもできます)。それをサポートする数学的原理はありますか。最近、私はこの分野の知識ポイントをいくつか整理して書き留めました。1つは記録用、もう1つは誤解を防ぎ、一緒に学び、コミュニケーションをとるために全員で共有するためです。

BP アルゴリズムの詳細については、私のこの Zhihu コラムを参照してください (BP プロセスを詳細に説明し、理解を深めます)。それでは、この問題を解決し、BP アルゴリズムを段階的に使用することで、なぜより良い結果を達成できるのかを説明しましょう。まず、ニューラル ネットワークの動作原理を見てみましょう。図に示すような単純なネットワークがあるとします。

シンボルを次のように定義します。

次に、1 回の順方向伝播によって次の式を得ることができます。


損失関数Cが次のように定義される場合

そして、トレーニングされたネットワークによって予測された値が、真の値に可能な限り近くなることを期待します。 SGD メソッドは今のところ無視しましょう。最も過激な方法では、トレーニング データに対して C が最小値に達することを期待します。C 式では、C 式をすべての w パラメーターの関数と見なすことができます。つまり、この多変量関数の最大値を見つけます。そして、ニューラル ネットワークの問題を数学的最適化の道に導入することに成功しました。

---------------------------分割線---------------------------

さて、これで、ニューラル ネットワークが解決する必要のある問題を、多変量関数の最適化にうまく変換できました。ここで問題となるのは、C が最小値に近づくように w をどのように変更するかということです。一般的な方法として、勾配降下法を使用することができます(勾配降下法において勾配の反対方向が最速の方向である理由については、この記事の主題ではありませんが、次の記事を参照してください)。少し抽象的なので、非常に簡単な例を見てみましょう。

下図のように、ネットワークが非常に単純であると仮定します (記号は上記と同じです)。

すると次のようになります:

w パラメータのみが未知なので、C は w の 2 進関数と見なすことができます (2 進関数の利点は、3 次元座標で視覚化できるため、理解しやすいことです)。 写真はインターネットから引用したものです:

アルゴリズムのプロセスを見てみましょう。

まず、グラフ上の点 A に相当する w パラメータをランダムに初期化します。

私たちの目標は最低点 F に到達することなので、勾配の反対方向に移動します。式は次のとおりです。

各ステップのサイズは、前の学習率によって決まります。次のステップがポイント B に到達し、反復がこのように続く場合、世界に最適なポイントが 1 つしかない場合は、数回の反復の後にポイント F に到達でき、問題が解決されます。

さて、上ではバイナリ関数の簡単な例を示しました。分析から最終結果まで、最終ステップを視覚化できます。ネットワークが複雑になり、多変量関数になった場合でも、最適値を見つける原理はまったく同じです。この時点で、この記事で取り上げる知識のポイントは完了です。 間違いを指摘したりコミュニケーションをとったりする友達を歓迎します〜

---------------------------分割線---------------------------

勉強していたとき、上記の知識はすでに理解していましたが、w に関する多変量関数がようやくわかったので、各 w の偏微分を取って直接更新すればいいのではないかと思っていました。ニューラル ネットワークの人気が高まると、なぜ BP アルゴリズムの導入によって復活する必要があったのでしょうか。私の疑問は、なぜ偏微分を直接見つけることができないのか、また、なぜニューラル ネットワークを非常に適用可能にするために BP アルゴリズムが必要なのかということです。私の考えと理解は次のとおりです(交流を歓迎します〜)

1. なぜ導関数を直接求めることができないのでしょうか?

ニューラルネットワークでは、活性化関数の存在により、コスト関数の最後にあるwパラメータを含むコスト関数は、最も単純なもののような線形関数ではないことがよくあります。

この関数を w に関して微分しても解析解を得ることは不可能であり、これが直接微分できない理由を説明しています。

2. 導関数を直接導出できないので、導関数を近似することはできますか?例えば、

この式によれば、各パラメータの導関数を近似的に計算することができます。間隔が小さいほど、近似値になります。では、なぜこれを実行できず、BP アルゴリズムが提案されるまで待たなければならないのでしょうか?考え...

回答: 計算能力の量が原因です。ネットワークに 100 万個の重みがあると仮定すると、重みの偏微分を計算するたびに、変更値を 1 回計算する必要があり、変更値は完全な順方向伝播を経る必要があります。次に、各トレーニング例に対して、100 万回の順方向伝播 (および C を計算するためにさらに 1 回) が必要になりますが、BP アルゴリズムでは、すべてのパラメーターの偏導関数を見つけるために 1 回の逆方向伝播のみが必要であり、合計 2 回の伝播が必要です。この時点で、近似法を使用しないという問題は解決したと思います。速度が遅すぎて計算の複雑さが高すぎるためです。各伝播ごとに、パラメータが多い場合、行列計算の量が非常に大きくなり、以前のマシン速度ではまったく耐えられませんでした。そのため、BPが登場するまで、ニューラルネットワークの適用速度は加速されてきました。

上記はあくまでも私の個人的な理解ですが、ご協力いただいた徳川さんに感謝いたします。質問したり、意見を交換したりする友達を歓迎します〜
以下は私が研究に使用した資料とブログです。
《ニューラルネットワークとディープラーニング》 中国語版が必要ですか?メッセージを残してください メール ゼロベースエントリーディープラーニング(1) - パーセプトロン

<<:  機械学習の理解と考察

>>:  確率的隠れ層モデルに基づくショッピングペアリングプッシュ:アリババが新しいユーザー嗜好予測モデルを提案

ブログ    
ブログ    
ブログ    

推薦する

...

最初にサンプルが多すぎますか? 5つのサンプリングアルゴリズムを数分で実行できます

データサイエンスはアルゴリズムの研究です。この記事では、データを処理するための一般的なサンプリング手...

ロボットが人間に取って代わるのは時間の問題です。まずこれらの仕事がなくなるでしょう。

インテリジェント時代の到来とともに、テクノロジー生活は家庭システム全体を席巻しています。さまざまなス...

ライブ放送室で見る高解像度1080Pは720Pほど良くないかもしれない

この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を得て転載...

タオバオライブストリーミングにおける機械学習に基づく帯域幅推定の探求と実践

背景メディア伝送における一般的な帯域幅推定アルゴリズムには、GCC/BBR/PCC/QUBIC など...

セキュリティにおける AI の必要性: 機械学習から機械の作成まで

セキュリティ専門家は、自分の仕事が人工知能に置き換えられることを心配する必要があるのでしょうか?警備...

素晴らしい瞬間を振り返りましょう! IEEE Spectrumが2023年の最もホットなAIストーリーをレビュー

また冬が来て、終わりに近づいています。気温も少し上がり、広大な空と大地にはまだ溶けきれない白が残って...

商用顔認識は一時停止できるのか?

顔認証を防ぐために、市民は営業所を訪れる際にヘルメットをかぶっている。「初の顔認証事件」で、裁判所は...

ヴェノムのように変形・修復可能なロボットが登場、1.5mmの亀裂も楽々通過

映画「ヴェノム」を見たことがある友人なら、「シンビオート」が液体の形で現れることを知っているでしょう...

シュナイダーエレクトリックの革新力は、デジタル化と低炭素化の二重の変革を加速させる上でどのような役割を果たすのでしょうか。

デジタル変革の後半期に入る中、デジタルとリアルの融合をいかに加速し、グリーン・低炭素の発展へと向かう...

今後 10 年間で 21 の新しい仕事が生まれます。あなたに何ができるか見てみましょう。

[[242467]]現在観察できるマクロ経済、政治、人口、社会、文化、ビジネス、テクノロジーの一般...

ChatGPT Enterprise Edition は基本的に廃止されました。

執筆者 | Yan Zheng制作:51CTO テクノロジースタック(WeChat ID:blog)...

...

携帯電話の顔認識は本当に安全ですか?

​​​ [51CTO.com クイック翻訳]顔認識は、セキュリティメカニズムとして、ますます多くの携...

機械学習におけるパラメトリック手法とノンパラメトリック手法

導入前回の記事では、統計学習における予測と推論の違いを紹介しました。これら 2 つの方法の主な違いは...