まだ理解していないフーリエ変換。ニューラルネットワークはそれを学習するのにたった30行以上のコードしか使用しませんでした

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

私たちの生活において、天体観測から MP3 プレーヤーのスペクトルまで、すべてはフーリエ変換なしでは不可能でしょう。

簡単に言えば、離散フーリエ変換 (DFT)とは、複雑な波形を異なる周波数成分に分割することです。

たとえば、音波レコーダーを使用して音を表示すると、実際には、生活の中での音のほとんどは非常に複雑で、混沌としています。

フーリエ変換により、これらの混沌とし​​た音波は正弦波に変換され、私たちが普段目にする音楽スペクトルの姿になります。

しかし、実際の計算では、このプロセスは実は非常に複雑です。

音波を連続関数とみなすと、一連の三角関数の重ね合わせとして一意に表現できます。ただし、重ね合わせのプロセスでは、各三角関数の重み係数が異なります。増やす必要があるものもあれば、減らす必要があるものもあり、増やす必要がないものもあります。

フーリエ変換は、これらの三角関数とそれぞれの重みを求めることです。

なんと偶然でしょう！この検索プロセスはニューラル ネットワークと非常によく似ています。

ニューラル ネットワークの本質は、実際には関数を近似することです。

ニューラルネットワークをトレーニングしてフーリエ変換を解くことはできないのでしょうか?

これは実際に実現可能であり、最近誰かが彼のトレーニングプロセスと結果をオンラインで投稿しました。

DFT = ニューラルネットワーク

ニューラルネットワークをトレーニングするにはどうすればいいですか?このネットユーザーが提示したアイデアは以下の通り。

まず、離散フーリエ変換 (DFT) を人工ニューラル ネットワークとして考えます。これは、バイアスや活性化関数がなく、重みに特定の値を持つ単層ネットワークです。出力ノードの数は、フーリエ変換計算後の周波数の数に等しくなります。

具体的な方法は以下の通りです。

これが DFT です:

• k はN サンプルあたりのサイクル数を表します。
• N は信号の長さを表します。
• サンプル n における信号の値を表します。

信号はすべての正弦波信号の合計として表すことができます。

yk は、信号 x 内の周波数 k の正弦波に関する情報を提供する複素値です。yk から正弦波の振幅と位相を計算できます。

行列形式では、次のようになります。

以下は、k の特定の値に対するフーリエ値です。

ただし、通常は、完全なスペクトル、つまり [0,1,...N-1] の k の値を計算します。これは、行列で表すことができます (k は列ごとに増加し、n は行ごとに増加します)。

簡略化すると次のようになります。

これは、バイアスとアクティベーション関数のないニューラル ネットワーク層なので、見覚えがあるはずです。

指数行列には、複素フーリエ重みと呼ばれる重みが含まれています。通常、ニューラル ネットワークの重みはわかりませんが、ここではわかります。

• 複数形なし

ニューラル ネットワークでは通常、複素数は使用しません。これに対応するには、行列のサイズを 2 倍にして、左側に実数が含まれ、右側に虚数が含まれるようにする必要があります。

意思

DFT に代入すると次のようになります。

次に、実数部 (余弦形式) を使用して行列の左半分を表し、虚数部 (正弦形式) を使用して行列の右半分を表します。

簡略化すると次のようになります。

意思

これをフーリエ重みといいます。

y^とyは実際には同じ情報を含んでいるが、y^

複素数は使用されていないため、長さは y の 2 倍になります。

つまり、

または

振幅と位相を表すが、通常は

ここで、ネットワークにフーリエ層を追加します。

フーリエ重みを使用してフーリエ変換を計算する

ニューラルネットワークを使って実装できるようになりました

高速フーリエ変換 (FFT) を使用して正しいことを確認します。

 matplotlib.pyplot を plt としてインポートします。
 y_real = y[:, :信号長]
 y_imag = y[:, 信号長:]
 tvals = np.arange(信号長).reshape([- 1 , 1 ])
 freqs = np.arange(signal_length).reshape([ 1 , - 1 ])
 arg_vals = 2 * np.pi * tvals * freqs / signal_length
正弦波 = (y_real * np.cos(arg_vals) - y_imag * np.sin(arg_vals)) / 信号長
再構築された信号 = np.sum(正弦波、軸 = 1 )
 print( 'rmse:' , np.sqrt(np.mean((x - reconstructed_signal)** 2 )))
 plt.サブプロット( 2,1,1 )
 plt.plot(x[ 0 ,:]) をプロットします。
 plt.title( '元の信号' )
 plt.サブプロット( 2,1,2 )
 plt.plot(再構築された信号)
 plt.title( 'DFT 後の正弦波から再構成された信号' )
 plt.tight_layout()
 plt.show()

実効平均値: 2.3243522568191728e -15

得られた小さな誤差値は、計算された結果が目的のものであることを証明します。

• 別のアプローチは信号を再構築することです。

 matplotlib.pyplot を plt としてインポートします。
 y_real = y[:, :信号長]
 y_imag = y[:, 信号長:]
 tvals = np.arange(信号長).reshape([- 1 , 1 ])
 freqs = np.arange(signal_length).reshape([ 1 , - 1 ])
 arg_vals = 2 * np.pi * tvals * freqs / signal_length
正弦波 = (y_real * np.cos(arg_vals) - y_imag * np.sin(arg_vals)) / 信号長
再構築された信号 = np.sum(正弦波、軸 = 1 )
 print( 'rmse:' , np.sqrt(np.mean((x - reconstructed_signal)** 2 )))
 plt.サブプロット( 2,1,1 )
 plt.plot(x[ 0 ,:]) をプロットします。
 plt.title( '元の信号' )
 plt.サブプロット( 2,1,2 )
 plt.plot(再構築された信号)
 plt.title( 'DFT 後の正弦波から再構成された信号' )
 plt.tight_layout()
 plt.show()

実効平均値: 2.3243522568191728e -15

最後に、DFT 後の正弦波信号から再構成された信号と元の信号がうまく重なり合っていることがわかります。

勾配降下法によるフーリエ変換の学習

ここで、ニューラル ネットワークが実際に学習する部分が来ます。このステップでは、以前のように重みを事前に計算する必要はありません。

まず、FFT を使用してニューラル ネットワークをトレーニングし、離散フーリエ変換を学習します。

テンソルフローをtfとしてインポートする
信号長 = 32
 # トレーニング用の重みベクトルを初期化します:
 W_learned = tf.Variable(np.random.random([signal_length, 2 * signal_length]) - 0.5 )
 # 比較のための予想重量:
 W_expected = create_fourier_weights(信号長)
損失 = []
 rmses = []
 i が範囲( 1000 )内である場合:
    # 各反復ごとにランダムな信号を生成します。
    x = np.random.random([ 1 , 信号長]) - 0.5
    # FFT を使用して期待される結果を計算します。
    fft = np.fft.fft(x)
    y_true = np.hstack([fft.real, fft.imag])
    tf.GradientTape() をテープとして使用:
        y_pred = tf.matmul(x, W_learned)
        損失 = tf.reduce_sum(tf.square(y_pred - y_true))
    # 勾配降下法で重みをトレーニングする:
    W_gradient = テープ.gradient(損失、W_learned)
    W_learned = tf.Variable(W_learned - 0.1 * W_gradient)
    損失.append(損失)
    rmses.append(np.sqrt(np.mean((W_learned - W_expected)** 2 )))

最終損失値1 .6738563548424711e- 09
最終重みのrmse値3.1525832404710523e -06

結果は上記の通りであり、ニューラル ネットワークが実際に離散フーリエ変換を学習できることが確認されています。

DFTを学習するためのネットワークのトレーニング

高速フーリエ変換法を使用するだけでなく、ネットワークを通じて入力信号を再構築することによって DFT を学習することもできます。 (オートエンコーダと同様)。

オートエンコーダ（AE）は、半教師あり学習や教師なし学習で使用される人工ニューラルネットワーク（ANN）の一種です。その機能は、入力情報を学習対象として、入力情報に対する表現学習を行うことです。

 W_learned = tf.Variable(np.random.random([signal_length, 2 * signal_length]) - 0.5 )
 tvals = np.arange(信号長).reshape([- 1 , 1 ])
 freqs = np.arange(signal_length).reshape([ 1 , - 1 ])
 arg_vals = 2 * np.pi * tvals * freqs / signal_length
 cos_vals = tf.cos(arg_vals) / 信号長
sin_vals = tf.sin(arg_vals) / 信号長
損失 = []
 rmses = []
 i が範囲( 10000 )内である場合:
    x = np.random.random([ 1 , 信号長]) - 0.5
    tf.GradientTape() をテープとして使用:
        y_pred = tf.matmul(x, W_learned)
        y_real = y_pred[:, 0 :信号長]
        y_imag = y_pred[:, 信号長:]
        正弦波 = y_real * cos_vals - y_imag * sin_vals
        再構築された信号 = tf.reduce_sum(正弦波、軸 = 1 )
        損失 = tf.reduce_sum(tf.square(x - 再構築された信号))
    W_gradient = テープ.gradient(損失、W_learned)
    W_learned = tf.Variable(W_learned - 0.5 * W_gradient)
    損失.append(損失)
    rmses.append(np.sqrt(np.mean((W_learned - W_expected)** 2 )))

最終損失値4 .161919455121241e- 22
最終重みのrmse値0.20243339269590094

著者はこのモデルで多くのテストを実行しましたが、最終的に得られた重みは上記の例ほどフーリエ重みに近いものではありませんが、再構築された信号は一貫していることがわかります。

代わりに振幅と位相を入力してみましょう。

 W_learned = tf.Variable(np.random.random([signal_length, 2 * signal_length]) - 0.5 )
損失 = []
 rmses = []
 i が範囲( 10000 )内である場合:
    x = np.random.random([ 1 , 信号長]) - .5
    tf.GradientTape() をテープとして使用:
        y_pred = tf.matmul(x, W_learned)
        y_real = y_pred[:, 0 :信号長]
        y_imag = y_pred[:, 信号長:]
        振幅 = tf.sqrt(y_real** 2 + y_imag** 2 ) / 信号長
        位相 = tf.atan2(y_imag, y_real)
        正弦波 = 振幅 * tf.cos(arg_vals + 位相)
        再構築された信号 = tf.reduce_sum(正弦波、軸 = 1 )
        損失 = tf.reduce_sum(tf.square(x - 再構築された信号))
    W_gradient = テープ.gradient(損失、W_learned)
    W_learned = tf.Variable(W_learned - 0.5 * W_gradient)
    損失.append(損失)
    rmses.append(np.sqrt(np.mean((W_learned - W_expected)** 2 )))

最終損失値2 .2379359316633115e- 21
最終重みのrmse値0.2080118219691059

再構築された信号が再び一貫していることがわかります。

ただし、前と同様に、振幅と位相を入力して得られる最終的な重みは、フーリエ重みとまったく同じではありません（ただし、非常に近い値になります）。

このことから、最終的な重みは最も正確ではないものの、局所的な最適解が得られるという結論が導き出されます。

このようにして、ニューラル ネットワークはフーリエ変換を学習しました。

• この方法についてはまだ疑問が残ることを指摘しておく価値がある。

まず、計算された重みが実際のフーリエ重みとどの程度異なるかが説明されていません。

さらに、モデルにフーリエ層を含めることでどのような利点が得られるのかは明らかではありません。