ディープラーニングでよく使われる8つの活性化関数

活性化関数（変換関数とも呼ばれる）は、ニューラルネットワークを設計するための鍵となります。活性化関数は、ニューラルネットワークの出力を決定するために使用されるという意味で重要です。結果の値は、関数に応じて 0 から 1 または -1 から 1 などにマッピングされます。活性化関数にはスクワッシング関数と呼ばれる別名があり、活性化関数の範囲が制限されている場合に使用されます。活性化関数はニューラルネットワークの各ノードに適用され、そのニューロンを「発火」/「活性化」するかどうかを決定します。

活性化関数を選択することがなぜ重要なのか。

活性化関数の選択は、隠し層と出力層に実装するときに重要です。モデルの精度と損失は活性化関数に大きく依存します。さらに、モデルに対する期待に基づいて選択する必要があります。たとえば、バイナリ分類問題では、シグモイド関数が最適な選択です。

活性化関数のタイプ。これらは大まかに 2 つのカテゴリに分けられます。

線形活性化関数。

非線形活性化関数。

表示の便宜上、次のライブラリをインポートします。

数学をmとしてインポート
matplotlib.pyplot をpltとしてインポートします。
 numpyをnpとしてインポートする
テンソルフローをtfとしてインポートする
テンソルフローからkerasをインポート
tensorflow.kerasからレイヤーをインポートする

シグモイド

シグモイド活性化関数はロジスティック関数とも呼ばれます。シグモイド関数は回帰問題や分類問題で非常によく使用されます。シグモイド関数によって与えられる値の範囲は 0 から 1 です。

シグモイド(x)を定義します:
 1 / (1 + m.exp(-x))を返すシグモイドの値 = []
 xの値 = []
 iが範囲(-500,500,1)内にある場合:
私 = 私*0.01
 x の値を追加します(i)
シグモイドの値.append(シグモイド(i))plt.plot(xの値,シグモイドの値)
 plt.xlabel( "xの値" )
 plt.ylabel( "シグモイドの値" )

タンH

この関数はシグモイド活性化関数と非常によく似ています。この関数は、-1 から 1 の範囲の任意の実数値を入力として受け入れ、任意の実数値を出力します。入力が大きい (正の値が大きい) ほど、出力値は 1.0 に近くなり、入力が小さい (負の値が大きい) ほど、出力は -1.0 に近くなります。 Tanh 活性化関数は次のように計算されます。

 tanh(x)を定義します:
 (m.exp(x) - m.exp(-x)) / (m.exp(x) + m.exp(-x))を返すvalues_of_tanh = []
 xの値 = []
 iが範囲(-500,500,1)内にある場合:
私 = 私*0.001
 x の値を追加します(i)
 tanh の値.append(tanh(i))plt.plot( x の値、tanh の値)
 plt.xlabel( "xの値" )
 plt.ylabel( "tanhの値" )

ソフトマックス

Softmax 活性化関数は、合計が 1.0 になる値のベクトルを出力します。これは、クラスメンバーシップの確率として解釈できます。 Softmax は、尤度出力の「勝者がすべてを獲得する」機能を可能にする argmax 関数の「ソフト」バージョンです。

定義softmax(x):
 e_x = np.exp(x - np.max (x))
 e_x / e_x.sum ( )values_of_x = [i*0.01、 iは範囲(-500,500)]を返します。
 plt.plot(スコア、softmax(xの値))
 plt.xlabel( "xの値" )
 plt.ylabel( "ソフトマックスの値" )

RELU 整流器リニアユニット

ReLU はおそらく、隠し層に使用される最も一般的な関数です。また、Sigmoid や Tanh など、以前によく使われていた他の活性化関数の制限を効果的に克服することもできます。具体的には、飽和ユニットなどの他の問題が発生する可能性はあるものの、深層モデルのトレーニングを妨げる勾配降下法消失問題の影響は受けにくくなります。

 ReLU(x)を定義します。
戻る 最大(0,x) の relu 値 = []
 xの値 = []
 iが範囲(-500,500,1)内にある場合:
私 = 私*0.01
値_of_x.append(i)
値_of_relu.append(ReLU(i))plt.plot(値_of_x,値_of_relu)

リーキーReLU

ReLU の問題: ReLU に負の値が与えられると、すぐにゼロになり、モデルがデータから適切に適合またはトレーニングする能力が低下します。つまり、ReLU 活性化関数への負の入力は、グラフ内でその値を即座にゼロに変換し、その結果、負の値が不適切にマッピングされて結果のグラフに影響を及ぼします。

この問題を克服するために、Leaky ReLU が導入されました。

定義leaky_ReLU(x):
戻る 最大(0.1*x,x) の L_relu の値 = []
 xの値 = []
 iが範囲(-500,500,1)内にある場合:
私 = 私*0.01
 x の値を追加します(i)
 values_of_L_relu.append(leaky_ReLU(i))plt.plot(values_of_x,values_of_L_relu)

以下の関数はすべて RELU のバリエーションです。基本的には Leaky に似ており、活性化関数が負の場合に戻り値を最適化します。

エル

activation_elu = レイヤー.Activation('elu')x = tf.linspace(-3.0, 3.0, 100)
 y = activation_elu(x) # レイヤーは一度作成されると、 functionplt.figure(dpi=100)と同じように呼び出すことができます。
 plt.plot(x, y)
 plt.xlim(-3, 3)
 plt.xlabel(“入力”)
 plt.ylabel(“出力”)
 plt.show()

セル

activation_selu = レイヤー.Activation( 'selu' )x = tf.linspace(-3.0, 3.0, 100)
 y = activation_selu(x) # レイヤーは一度作成されると、 functionplt.figure(dpi=100)と同じように呼び出すことができます。
 plt.plot(x, y)
 plt.xlim(-3, 3)
 plt.xlabel( "入力" )
 plt.ylabel( "出力" )
 plt.show()

シュッシュ

activation_swish = レイヤー.Activation('swish')x = tf.linspace(-3.0, 3.0, 100)
 y = activation_swish(x) # 一度作成されると、レイヤーは関数 plt.figure(dpi=100)と同じように呼び出すことができます。
 plt.plot(x, y)
 plt.xlim(-3, 3)
 plt.xlabel(“入力”)
 plt.ylabel(“出力”)
 plt.show()