ディープラーニング、ノイズ除去オートエンコーダを使用して生データを予測する方法は?

[[214638]]

ノイズ除去オートエンコーダー (DAE) は、破損したデータを入力として受け入れ、破損していない元のデータを出力として予測するようにトレーニングされるオートエンコーダーの一種です。

ノイズ除去オートエンコーダのコスト関数の計算グラフ。ノイズ除去オートエンコーダは、破損したバージョン ~x からクリーンなデータ ポイント x を再構築するようにトレーニングされます。これは、損失 L = -log pdecoder(x|h = f(~x)) を最小化することで実現できます。ここで、~x は、破損プロセス C(~x| x) 後のサンプル x の破損バージョンです。

スコア マッチングは *** 尤度に代わるものです。これは、確率分布の一貫した推定値を提供し、モデルがデータ分布と同じスコアを各データ ポイント x で取得するように強制します。

ガウスノイズと平均二乗誤差を再構成誤差として使用する、特定のクラスのノイズ除去オートエンコーダー (シグモイド隠れユニットと線形再構成ユニットを使用) のノイズ除去トレーニング プロセスは、RBM と呼ばれる特定のクラスの無向確率モデルのトレーニングと同等です。

トレーニング サンプル x は、低次元多様体 (太い黒線) の近くに赤い十字として表されます。等確率の損傷プロセス C(~x|x) を表すために灰色の円を使用します。灰色の矢印は、トレーニング例がこの破損プロセスを経た例にどのように変換されるかを示しています。

データが 2D 空間に集中している 1D 曲線多様体の周囲でノイズ除去オートエンコーダによって学習されたベクトル場。各矢印は、再構成されたベクトルからオートエンコーダへの入力ベクトルを引いた値に比例し、暗黙的に推定された確率分布に従ってより高い確率を指します。ベクトル場は、推定密度関数（データ多様体上）の最大値と密度関数の最小値の両方でゼロになります。たとえば、渦巻き腕は局所的最大値が互いに接続された 1 次元多様体を形成します。局所的最小値は、2 つのアームの間の隙間の中央付近で発生します。再構築エラーのノルム（矢印の長さで示される）が大きい場合、矢印の方向に移動すると確率が大幅に増加する可能性があり、これは確率が低い場所ではほとんど当てはまります。オートエンコーダーは、これらの低確率ポイントを高確率の再構築にマッピングします。確率***の場合、再構成がより正確になるため、矢印が縮小します。

現在のところ、ノイズ除去オートエンコーダが確率分布を表現することを学習する方法に限定されています。より一般的には、オートエンコーダを生成モデルとして使用し、その分布からサンプルを取得することが考えられます。