機械学習の未来はここにある：ガウス過程とニューラルネットワークは同等である

ガウス過程は以前から存在していましたが、それに対する関心が大きく再燃したのはここ 5 ～ 10 年ほどのことです。これは、ソリューションの計算の複雑さに一部起因しています。モデルでは行列の逆変換が必要なため、複雑さは O(n3) となり、高速化が困難です。このため、コンピューティング能力が非常に弱かったため、しばらくの間、解決が困難でしたが、過去数年間、ML を背景にした多大な研究と資金提供により、解決が大幅に可能になりました。

ガウス過程の最も優れた特徴の 1 つは、ニューラル ネットワークと非常によく似ていることです。実際、ガウス過程 (GP) は、そのパラメータが自身のパラメータよりも iid が高い単層完全接続ニューラル ネットワークと同等であることはよく知られています。

これについては明確にしておきたいのですが、以下に挙げる証拠は単純ですが、広範囲にわたる影響を及ぼします。中心極限定理は、一見複雑な現象を統一することができます。その場合、最もパフォーマンスの高いモデルは、その分野がまだ完全に成熟していない機械学習モデルのサブセットと見なすことができます。

はい、GP は常に研究されてきましたが、DNN を構成する非線形パターン (ジャンプなど) を特徴付けることができる深層ガウス過程 (特に、XOR ロジックをモデル化できる) が研究者によって開発されたのはここ数年のことです。したがって、この点から、非常に多くの利益があることがわかります。

私はこの証拠を調べたいと思っていましたが、それはかなり単純です。以下の記事は、Li 氏らによる Google Brain 新聞から引用したものです。この記事を非常に便利に作成していただいた Li 氏らに感謝いたします。

小さなシンボル

注意: 「media」のすべてに下付き文字を付けることはできません。そのため、アンダースコア (M_l) が表示されている場合は、下付き文字として l が付いた M を意味していると想定してください。つまり、Mi + m

隠し幅 N_l (層 L の場合) を使用して L 層を持つ完全に接続されたニューラル ネットワークを考えます。 x∈Rdɪをネットワークへの入力とし、zlをその出力（層L）とする。 l 番目の層の i 番目の活性化コンポーネントは、xli および zli として表されます。 l 番目の層の重みとバイアス パラメータの iid 値はゼロであり、バイアス パラメータは平均がゼロで σ 2_w/N_l であると想定されます。

ニューラルネットワーク

これで、ニューラル ネットワーク出力の i 番目のコンポーネント (zli) は次のように計算されることがわかりました。

入力 x への依存性を示します。重みとバイアスパラメータは iid であると想定されるため、xli と xli' の pos 活性化関数は j=/j' に対して独立です。

ここで、zli(x) は iid 項の合計であるため、中心極限定理に従います。したがって、無限幅 (N1->∞) の極限では、zli(x) もガウス分布になります。

ガウス過程

同様に、多次元 CLT から、任意の有限変数セット z は共同多変量ガウス分布になることが推測できます。これは、ガウス過程の正確な定義です。

したがって、zli(x)=GP(μ1,K1)は平均μ1と共分散K1を持つガウス過程であり、それ自体はiとは独立していると結論付けることができます。パラメータの平均はゼロなので、μ1=0ですが、K1(x, x')は次のようになります。

ここで、この共分散は、W0 と b0 の分布を積分することによって得られます。 i=/=j である任意の 2 つの zli と zlj は共分散がゼロの共ガウス分布であるため、隠れ層によって生成された同じ関数を使用しているにもかかわらず、独立していることが保証されることに注意してください。

いくつかの証明は単純かつ論理的であり、中心極限定理の魔法は、すべてをガウス分布の下で統一することです。ガウス分布は、変数 (または次元) の周辺化と条件付けによってガウス分布が得られ、関数形式がかなり単純であるため、閉じた形式のソリューションに凝縮できるため (そのため、最適化手法はほとんど必要ありません)、優れています。

私の論理をどう思うか教えてください。疑問があれば質問してください。また、何か見落としている点があれば教えてください。

私の最新の記事を常にチェックしてください!