人工ニューラルネットワーク入門

[[440456]]

この記事はWeChatの公開アカウント「Zhibin's Python Notes」から転載したもので、著者はAn Keです。この記事を転載する場合は、Zhibin の Python Notes 公開アカウントにご連絡ください。

みなさんこんにちは、私はZhibinです〜

今日は人工ニューラルネットワークの基礎知識を皆さんにシェアしたいと思います〜

ディープラーニング（DL）は、検索技術、データマイニング、機械学習、機械翻訳、自然言語処理、マルチメディア学習、音声、推奨およびパーソナライゼーション技術、およびその他の関連分野で多くの成果を上げています。これにより、人工知能関連技術は大きく進歩しました。ディープラーニングを学ぶには、まずニューラルネットワークの基本的な概念を理解する必要があります。人工ニューラルネットワークの基本的な考え方はバイオニクスです。

1. ニューロンモデル

人工ニューラルネットワークは、人間の脳の構造にヒントを得て作られました。図のように

ニューラル ネットワーク アルゴリズムは、上記のネットワーク構造を模倣します。以下は人工ニューラルネットワークの構造図です。それぞれの円はニューロンを表し、それらが接続されてネットワークを形成します。

人間の脳内のニューロンの樹状突起は、外部からさまざまな強度の複数の刺激を受け取り、ニューロン細胞体内で処理し、出力結果に変換します。人工ニューロンも図に示すように同様に動作します。

上の図では、x はニューロンの入力であり、樹状突起が受け取る複数の外部刺激に相当します。 w は各入力に対応する重みであり、各入力 x の刺激強度に影響します。b は予測結果に影響を与えるために使用されるしきい値を表します。z は予測結果です。

2.MPモデル

01活性化関数

概要: 活性化関数 ニューロンでは、入力データが重み付けされて合計された後、関数が適用されます。この関数が活性化関数です。

理由: 活性化関数は、ニューラル ネットワーク モデルの非線形性を高めるために導入されます。活性化関数のない各レイヤーは、行列の乗算と同等です。非線形係数を導入すると、ニューラル ネットワークは任意の非線形関数を任意に近似できるようになり、ニューラル ネットワークを多くの非線形モデルに適用できるようになります。

一般的な活性化関数:

①シグモイド関数：

これは、ニューラル ネットワークのしきい値関数としてよく使用され、変数を 0 と 1 の間でマッピングします。式は次のとおりです。

そのイメージは以下のとおりです。

②Tanh関数

Tanh() は、基本的な双曲線関数である双曲線正弦と双曲線余弦から派生した双曲線正接です。式は次のとおりです。

そのイメージは以下のとおりです。

③ReLU関数

隠れ層ニューロンの出力に使用されます。式は次のとおりです。

そのイメージは以下のとおりです。

02MPモデル

パラメータの説明: 外部刺激は次のようにシミュレートされます。入力に対する各樹状突起の刺激処理は、入力に一定の重み () を付けるものとしてシミュレートされます。細胞核による入力の処理は、バイアス () による加算プロセスとしてシミュレートされ、活性化関数 () を使用して加算結果に非線形変換を実行し、y を取得します。

式は次のとおりです。

ベクトル形式は次のとおりです。

数学的理解: ニューロンの出力 y は入力の関数であると仮定します。

式の説明: f(X1,X2,...,Xm) に対してテイラー展開が実行され、その後 2 次および 3 次の偏微分が実行され、これは 1 次テイラー近似と同等になります。

3. まとめ

• 人工ニューラル ネットワークは人間の脳のようなものです。ネットワークが複雑になればなるほど、強力になります。層の数が増えるほど、構築されるニューラル ネットワークは複雑になります。
• トレーニングに使用するデータが増えるほど、それを実装するために必要なネットワークの層も増えます。
• この記事は人工ニューラルネットワークに関する私の個人的な意見です。間違っている点があれば指摘してください〜