ディープラーニングの基本概念のチートシート

ディープラーニングは多くの初心者にとってわかりにくいかもしれません。急速に発展するにつれて、多くの新しい概念や用語が生まれます。この記事は、いくつかの一般的な用語を改めて紹介するものです。

勾配∇（微分演算子）: 勾配

勾配は、複数のベクトルを入力として受け取り、単一の値を出力する関数の偏微分です。典型的な関数は、ニューラル ネットワークの損失関数です。勾配は、変数入力が増加するにつれて出力値が増加する方向を示します。言い換えれば、損失値を減らしたい場合は、勾配の反対方向に進むだけで済みます。

バックプロパゲーション

簡単に言えば、バックプロパゲーションとは、順方向伝播の入力値によって計算された誤差を入力値に戻すことを意味し、微積分におけるチェーン呼び出しでよく使用されます。

シグモイド σ

ニューロンの出力を [0,1] の範囲に制限するために使用されるしきい値関数は、ギリシャ語でシグマと呼ばれる S 字型のグラフに少し似ています。シグモイド関数はロジスティック関数の特殊なケースです。

正規化線形単位または ReLU

Sigmoid関数の出力間隔は[0,1]ですが、ReLUの出力範囲は[0,infinity]です。つまり、Sigmoidはロジスティック回帰に適しており、ReLUは正の数を表すのに適しています。ディープラーニングでは、ReLU はいわゆる勾配消失問題の影響を受けません。

タン

Tanh 関数は、ネットワークの重みを [-1, 1] の間で制御するのに役立ちます。上の図からわかるように、0 に近いほど勾配値が大きく、勾配の範囲は [0, 1] の間であり、これはシグモイド関数の範囲と一致しています。これにより、勾配の偏差を回避することもできます。

LSTM/GRU

これは最初にリカレント ニューラル ネットワークで使用されましたが、メモリ ユニットが少ない他の場所でも使用できます。主にトレーニング中に入力の状態を維持できるため、RNN が入力の事前コンテキストを失うことによって発生する勾配消失問題を回避できます。

ソフトマックス

Softmax 関数は、ニューラル ネットワークの最後に分類機能を追加するためによく使用されます。この関数は主に多変量ロジスティック回帰に使用されますが、多変量分類問題にも使用できます。クロスエントロピーは損失関数としてよく使用されます。

L1 および L2 正規化

正則化項は、係数にペナルティ項を追加することで過剰適合を回避します。正則化項は、モデルの複雑さを示すこともできます。 L1 と L2 の違いは、L1 ではモデルのスパース性を保証できることです。正則化項を導入することで、モデルの一般化能力が確保され、トレーニング データの過剰適合を回避できます。

ドロップアウト

ドロップアウトは、過剰適合を回避し、ほぼ指数時間で複数の異なるニューラル ネットワーク構造をマージすることもできます。この方法では、各レイヤー内の明示的なレイヤーと隠しレイヤーがランダムに選択されます。これは通常、実際のレイヤー ドロップアウトの固定比率によって決定されます。

バッチ正規化

ディープラーニングでは、レイヤーが多すぎると、いわゆる内部共変量シフト、つまりトレーニング中のネットワークパラメータの変化によるネットワーク活性化分布の変化につながります。この変数の移行を減らすことができれば、ネットワークをより速くトレーニングできます。バッチ正規化は、各処理ブロックを正規化することでこの問題を解決します。

目的関数

つまり、損失関数または最適化スコア関数です。ディープラーニング ネットワークの目標は、この関数の値を最小化して、ネットワークの精度を向上させることです。

F1/Fスコア

モデルの精度を測定するために使用される基準:

 F1 = 2 * (精度* 再現率) / (精度+ 再現率)精度=真陽性 / (真陽性 +偽陽性) 再現率 =真陽性 / (真陽性 +偽陰性)

予測されたラベル値と実際のラベル値のギャップを計算するために使用されます。基本的な定義は次のとおりです。

[この記事は51CTOコラムニスト「張子雄」によるオリジナル記事です。転載が必要な場合は51CTOを通じて著者にご連絡ください]

この著者の他の記事を読むにはここをクリックしてください