ニューラルネットワークと数学の関係は何ですか?読めば分かるよ

ニューラルネットワークと数学の関係は何ですか?読めば分かるよ

ニューラル ネットワークについて学んだことのある人なら誰でも、ニューラル ネットワークには非常に一般的なトレーニング方法である BP トレーニング アルゴリズムがあることを知っています。 BP アルゴリズムを使用すると、ネットワークを継続的にトレーニングし、最終的にはネットワークを適合させたい関数に無限に近づけることができます。最終的に、トレーニングされたネットワークは、トレーニング セットとテスト セットの両方で優れたパフォーマンスを発揮します。

では、BP アルゴリズムとは一体何でしょうか? BP アルゴリズムによって段階的に最適値に近づくことができるのはなぜですか (グローバル最適値ではなくローカル最適値である場合でも、他の方法でグローバル最適値に到達することもできます)。それをサポートする数学的原理はありますか。最近、私はこの分野の知識ポイントをいくつか整理して書き留めました。1つは記録用、もう1つは誤解を防ぎ、一緒に学び、コミュニケーションをとるために全員で共有するためです。

BP アルゴリズムの詳細については、私のこの Zhihu コラムを参照してください (BP プロセスを詳細に説明し、理解を深めます)。それでは、この問題を解決し、BP アルゴリズムを段階的に使用することで、なぜより良い結果を達成できるのかを説明しましょう。まず、ニューラル ネットワークの動作原理を見てみましょう。図に示すような単純なネットワークがあるとします。

シンボルを次のように定義します。

次に、1 回の順方向伝播によって次の式を得ることができます。


損失関数Cが次のように定義される場合

そして、トレーニングされたネットワークによって予測された値が、真の値に可能な限り近くなることを期待します。 SGD メソッドは今のところ無視しましょう。最も過激な方法では、トレーニング データに対して C が最小値に達することを期待します。C 式では、C 式をすべての w パラメーターの関数と見なすことができます。つまり、この多変量関数の最大値を見つけます。そして、ニューラル ネットワークの問題を数学的最適化の道に導入することに成功しました。

---------------------------分割線---------------------------

さて、これで、ニューラル ネットワークが解決する必要のある問題を、多変量関数の最適化にうまく変換できました。ここで問題となるのは、C が最小値に近づくように w をどのように変更するかということです。一般的な方法として、勾配降下法を使用することができます(勾配降下法において勾配の反対方向が最速の方向である理由については、この記事の主題ではありませんが、次の記事を参照してください)。少し抽象的なので、非常に簡単な例を見てみましょう。

下図のように、ネットワークが非常に単純であると仮定します (記号は上記と同じです)。

すると次のようになります:

w パラメータのみが未知なので、C は w の 2 進関数と見なすことができます (2 進関数の利点は、3 次元座標で視覚化できるため、理解しやすいことです)。 写真はインターネットから引用したものです:

アルゴリズムのプロセスを見てみましょう。

まず、グラフ上の点 A に相当する w パラメータをランダムに初期化します。

私たちの目標は最低点 F に到達することなので、勾配の反対方向に移動します。式は次のとおりです。

各ステップのサイズは、前の学習率によって決まります。次のステップがポイント B に到達し、反復がこのように続く場合、世界に最適なポイントが 1 つしかない場合は、数回の反復の後にポイント F に到達でき、問題が解決されます。

さて、上ではバイナリ関数の簡単な例を示しました。分析から最終結果まで、最終ステップを視覚化できます。ネットワークが複雑になり、多変量関数になった場合でも、最適値を見つける原理はまったく同じです。この時点で、この記事で取り上げる知識のポイントは完了です。 間違いを指摘したりコミュニケーションをとったりする友達を歓迎します〜

---------------------------分割線---------------------------

勉強していたとき、上記の知識はすでに理解していましたが、w に関する多変量関数がようやくわかったので、各 w の偏微分を取って直接更新すればいいのではないかと思っていました。ニューラル ネットワークの人気が高まると、なぜ BP アルゴリズムの導入によって復活する必要があったのでしょうか。私の疑問は、なぜ偏微分を直接見つけることができないのか、また、なぜニューラル ネットワークを非常に適用可能にするために BP アルゴリズムが必要なのかということです。私の考えと理解は次のとおりです(交流を歓迎します〜)

1. なぜ導関数を直接求めることができないのでしょうか?

ニューラルネットワークでは、活性化関数の存在により、コスト関数の最後にあるwパラメータを含むコスト関数は、最も単純なもののような線形関数ではないことがよくあります。

この関数を w に関して微分しても解析解を得ることは不可能であり、これが直接微分できない理由を説明しています。

2. 導関数を直接導出できないので、導関数を近似することはできますか?例えば、

この式によれば、各パラメータの導関数を近似的に計算することができます。間隔が小さいほど、近似値になります。では、なぜこれを実行できず、BP アルゴリズムが提案されるまで待たなければならないのでしょうか?考え...

回答: 計算能力の量が原因です。ネットワークに 100 万個の重みがあると仮定すると、重みの偏微分を計算するたびに、変更値を 1 回計算する必要があり、変更値は完全な順方向伝播を経る必要があります。次に、各トレーニング例に対して、100 万回の順方向伝播 (および C を計算するためにさらに 1 回) が必要になりますが、BP アルゴリズムでは、すべてのパラメーターの偏導関数を見つけるために 1 回の逆方向伝播のみが必要であり、合計 2 回の伝播が必要です。この時点で、近似法を使用しないという問題は解決したと思います。速度が遅すぎて計算の複雑さが高すぎるためです。各伝播ごとに、パラメータが多い場合、行列計算の量が非常に大きくなり、以前のマシン速度ではまったく耐えられませんでした。そのため、BPが登場するまで、ニューラルネットワークの適用速度は加速されてきました。

上記はあくまでも私の個人的な理解ですが、ご協力いただいた徳川さんに感謝いたします。質問したり、意見を交換したりする友達を歓迎します〜
以下は私が研究に使用した資料とブログです。
《ニューラルネットワークとディープラーニング》 中国語版が必要ですか?メッセージを残してください メール ゼロベースエントリーディープラーニング(1) - パーセプトロン

<<:  機械学習の理解と考察

>>:  確率的隠れ層モデルに基づくショッピングペアリングプッシュ:アリババが新しいユーザー嗜好予測モデルを提案

ブログ    
ブログ    
ブログ    

推薦する

OpenAIは「世界クラスの人材」を採用するためにロンドンに海外支社を設立すると発表

オープンAIは6月29日水曜日、ロンドンに新オフィスを設立すると発表した。これは同社にとって米国外初...

...

期待する! 2020年までに中国の人工知能は世界の先進レベルに達するだろう

最近、北京は「科学技術革新の加速と人工知能産業の育成に関する指導意見」を発表し、北京の人工知能発展ス...

人工知能:「全能」ではない

[[391544]]私の国の人工知能の研究と応用は世界でも比較的進んでいます。メディアは、中国はこの...

識別的か生成的か: どちらが視覚的理解の未来を表すのでしょうか?

これまで、視覚システムに関する基本的な研究の多くは、動物に画像を見せ、そのニューロンの反応を測定し、...

JVM チューニングの概要: 基本的なガベージ コレクション アルゴリズム

ガベージ コレクション アルゴリズムは、さまざまな観点から分類できます。基本的なリサイクル戦略によれ...

毎日のアルゴリズム: 有効な三角形の数

[[429712]]この記事はWeChatの公開アカウント「3分でフロントエンドを学ぶ」から転載した...

Megvii Technology: 人工知能が携帯電話の「視覚」革命をリード

[51CTO.comより引用] 現在、AIの幕が開き、人類世界は蒸気時代、電気時代、情報化時代に続く...

AI 開発者の高額給与は魅力的すぎるでしょうか?国内の開発者がAIに変革するためのガイドをぜひご利用ください

著者注: AI関連のニュースを閲覧すると、「高給」「年収100万ドル」など、非常に魅力的な言葉が頻繁...

AIの威力を改めて見せつける! Baidu Map 20分間のカスタマイズされたパーソナル音声パッケージ

百度地図は9月19日、「あなたのための『音声』、そして『AI』」記者会見で「音声カスタマイズ機能」を...

スマートエコノミーの時代において、人工知能技術をどのように活用して、より多くの技術的利益をもたらすことができるのでしょうか?

人工知能技術の急速な発展は、あらゆる分野で技術革新を推進し、多数の新興産業を生み出しました。今後 1...

機械学習トレーニングデータ戦略を開発するための 6 つのヒント

人工知能 (AI) と機械学習 (ML) は今や当たり前のものとなっています。 AI は人間の認知を...

サイバーセキュリティにおける人工知能の長所と短所を探る

急速に進化するデジタル環境において、人工知能 (AI) とサイバーセキュリティの組み合わせは、進化す...