ディープラーニングで知っておくべき13の確率分布

[[313005]]

機械学習の実践者として、確率分布について知っておく必要があります。ここでは、主に Python ライブラリを使用したディープラーニングに関連する、最も一般的な基本的な確率分布に関するチュートリアルを紹介します。

確率分布の概要

• 共役とは共役分布関係があることを意味します。

ベイズ確率論では、事後分布 p(θx) と事前確率分布 p(θ) が同じ確率分布族に属する場合、事前分布と事後分布は共役分布と呼ばれ、事前分布は尤度関数の共役事前分布と呼ばれます。共役事前情報については、Wikipedia をご覧ください (https://en.wikipedia.org/wiki/Conjugate_prior)。

• 多重分類とは、ランダム分散が 2 より大きいことを意味します。
• n 回は事前確率 p(x) も考慮することを意味します。
• 確率についてさらに詳しく知りたい場合は、[パターン認識と機械学習、Bishop 2006]を読むことをお勧めします。

分布確率と特性

1. 均一分布（連続）

コード: https://github.com/graykode/distribution-is-all-you-need/blob/master/uniform.py

一様分布は、[a, b]上で同じ確率値を持ち、単純な確率分布です。

2. ベルヌーイ分布（離散）

コード: https://github.com/graykode/distribution-is-all-you-need/blob/master/bernoulli.py

• 事前確率p(x)はベルヌーイ分布を考慮していません。したがって、最大尤度を最適化すると、簡単に過剰適合する可能性があります。
• バイナリクロスエントロピーを使用したバイナリ分類。これはベルヌーイ分布の負の対数と同じ形式になります。

3. 二項分布（離散）

コード: https://github.com/graykode/distribution-is-all-you-need/blob/master/binomial.py

• パラメータ n と p を持つ二項分布は、一連の n 回の独立した実験における成功数の離散確率分布です。
• 二項分布は、事前に取り出す数量を指定して事前確率を考慮した分布です。

4. マルチベルヌーイ分布、カテゴリ分布（離散）

コード: https://github.com/graykode/distribution-is-all-you-need/blob/master/categorical.py

• マルチベルヌーイはカテゴリ分布と呼ばれます。
• クロスエントロピーは、負の対数としてとられた多重ベルヌーイ分布と同じ形式になります。

5. 多項分布（離散）

コード: https://github.com/graykode/distribution-is-all-you-need/blob/master/multinomial.py

ベルヌーイ分布が二項分布と関連しているのと同じように、多項分布はカテゴリ分布と関連しています。

6. ベータ分布（連続）

コード: https://github.com/graykode/distribution-is-all-you-need/blob/master/beta.py

• ベータ分布は二項分布およびベルヌーイ分布と共役です。
• 共役を使用すると、既知の事前分布を使用して事後分布を取得することが容易になります。
• 一様分布は、特殊なケース (α=1、β=1) を満たす場合、ベータ分布と同一になります。

7. ディリクレ分布（連続）

コード: https://github.com/graykode/distribution-is-all-you-need/blob/master/dirichlet.py

• ディリクレ分布は多項分布と共役です。
• k=2 の場合、ベータ分布になります。

8. ガンマ分布（連続）

コード: https://github.com/graykode/distribution-is-all-you-need/blob/master/gamma.py

• gamma(a, 1)/gamma(a, 1)+gamma(b, 1) が beta(a, b) と同じであれば、ガンマ分布はベータ分布です。
• 指数分布とカイ二乗分布はガンマ分布の特殊なケースです。

9. 指数分布（連続）

コード: https://github.com/graykode/distribution-is-all-you-need/blob/master/exponential.py

指数分布は、α が 1 の場合のガンマ分布の特殊なケースです。

10. ガウス分布（連続）

コード: https://github.com/graykode/distribution-is-all-you-need/blob/master/gaussian.py

ガウス分布は非常に一般的な連続確率分布です。

11. 正規分布（連続）

コード: https://github.com/graykode/distribution-is-all-you-need/blob/master/normal.py

正規分布は、平均が 0、標準偏差が 1 の標準ガウス分布です。

12. カイ二乗分布（連続）

コード: https://github.com/graykode/distribution-is-all-you-need/blob/master/chi-squared.py

• 自由度 k のカイ二乗分布は、k 個の独立した標準正規乱数変数の二乗の合計の分布です。
• カイ二乗分布はベータ分布の特殊なケースである。

13.t分布（連続）

コード: https://github.com/graykode/distribution-is-all-you-need/blob/master/student-t.py

t 分布は対称的なベル型の分布で、正規分布に似ていますが、裾が重く、平均値よりはるかに低い値を生成する可能性が高くなります。