機械学習ニューラルネットワークとPython実装

ニューラルネットワークは、機械学習のあらゆる側面に及ぶ幅広い用途に使用されます。この記事では、主にニューラルネットワークの基本的な理論的概念と計算について簡単に紹介します。同時に、データ分類におけるニューラルネットワークの応用についても紹介します。

[[246577]]

まず、回帰モデルまたは分類モデルを構築するときに、残差誤差を最小限に抑えるために、最小二乗法 (OLS) または平均尤度推定法 (MLE) のいずれかが使用されます。したがって、モデルを構築するときには損失関数が存在します。

ニューラルネットワークも例外ではなく、同様の損失関数を持ちます。

回帰の場合:

分類について:

次に、同じ方法を使用して W を微分し、導関数がゼロのときに極値を見つけることができます。

式中のWについて。ここでは、3 層のニューラルネットワークを例に挙げます。まず、ニューラルネットワークの関連パラメータを紹介しましょう。

最初の層は入力層、2 番目の層は隠れ層、3 番目の層は出力層です。

X1 と X2 は W1 によって重み付けされた後、隠れ層に到達し、次に W2 によって重み付けされて出力層に到達します。

で、

我々は持っています：

これまでに、基本的な 3 層ニューラルネットワークを構築しました。

損失関数を最小化したい場合は、その逆を見つける必要があります。これをバックプロパゲーションと呼びます。

W1 と W2 を別々に微分し、それぞれの極値を見つける必要があります。

右辺から逆算して、まず W2 を導出します。

損失関数の式に代入します。

次に、簡略化します。

ここまで簡略化した後、同様に W1 の導関数も取ることができます。

BP ネットワークを実行すると、損失関数の最終的なサイズを決定する逆誤差項があることがわかります。

実際の計算では、勾配解法を使用して極値点を探します。

要約すると、順方向伝播を使用してニューラルネットワークを合理化し、回帰モデルと分類モデルを実現します。そして、損失関数を逆方向に計算すると、パラメーター W が最適解を持つようになります。

もちろん、線形回帰などのモデルと同様に、正規化項を追加して W パラメーターを制約し、モデルの偏差が小さすぎてテストセットのパフォーマンスが低下するのを防ぐこともできます。

Python実装:

KERASライブラリの使用

線形回帰を解く:

 model.add(Dense(1, input_dim = n_features , activation = 'linear' , use_bias = True ))
 # 損失メトリックには平均二乗誤差を使用し、ADAMバックプロパゲーションアルゴリズムを使用する
model.compile(損失= 'mean_squared_error' 、オプティマイザー= 'adam' )
 # ネットワークをトレーニングする（重みを学習する）
 # DataFrameからNumpyArrayに変換する必要があります
履歴=モデル.fit(X_train.values, y_train.values,エポック= 100 ,
 batch_size = 1 、 verbose = 2 、 validation_split = 0 )

多重分類問題の解決:

 # モデルを作成する
モデル=シーケンシャル()
 model.add(Dense(64, activation = 'relu' , input_dim = n_features ))
モデルを追加します(ドロップアウト(0.5))
 model.add(Dense(64, activation = 'relu' ))
モデルを追加します(ドロップアウト(0.5))
 # ソフトマックス出力層
model.add(Dense(7, activation = 'softmax' ))
 model.compile(損失= 'categorical_crossentropy' 、オプティマイザー= 'adam' 、メトリック= ['accuracy'])
 model.fit(X_train.values、y_train.values、エポック= 20 、バッチサイズ= 16 )
 y_pred =モデル予測(X_test.値)
 y_te = np .argmax(y_test.values、軸= 1 )
 y_pr = np .argmax(y_pred,軸= 1 )
印刷(np.unique(y_pr))
分類レポートを印刷します(y_te, y_pr)
混乱行列を印刷します(y_te, y_pr)

最適なパラメータを選択すると、解決方法は多数あります。ここでは、設定されたすべてのパラメータを走査して最適なパラメータを取得するブルートフォース検索方法である gridsearchcv という方法を紹介します。

 sklearn.model_selection から GridSearchCV をインポートします
def create_model(オプティマイザ= 'rmsprop' ):
モデル=シーケンシャル()
 model.add(Dense(64, activation = 'relu' , input_dim = n_features ))
 モデルを追加します(ドロップアウト(0.5))
 model.add(Dense(64, activation = 'relu' ))
 モデルを追加します(ドロップアウト(0.5))
 model.add(Dense(7, activation = 'softmax' ))
 model.compile( loss = 'categorical_crossentropy' 、 optimizer optimizer = optimizer、 metrics = ['accuracy']) 
  
 リターンモデル
モデル= KerasClassifier ( build_fn = create_model 、 verbose = 0 )
オプティマイザー= ['rmsprop']
エポック= [5, 10, 15]
バッチ= [128]
 param_grid = dict ( optimizer =オプティマイザ、 epochs epochs = エポック、 batch_size =バッチ、 verbose = ['2'])
グリッド= GridSearchCV (推定器=モデル、 param_grid param_grid =param_grid)
グリッドフィット(X_train.値、y_train.値)