1 つの記事で RNN (リカレント ニューラル ネットワーク) の基礎を理解する

[[211628]]

1. ニューラルネットワークの基礎

ニューラル ネットワークは、あらゆる関数に適合できるブラック ボックスと考えることができます。十分なトレーニング データがあれば、特定の x が与えられれば、目的の y が得られます。構造図は次のとおりです。

ニューラル ネットワーク モデルをトレーニングした後、入力層に x を与えると、ネットワークを通過した後、出力層で特定の y を取得できます。このように強力なモデルがあるのに、なぜ RNN (リカレント ニューラル ネットワーク) が必要なのでしょうか。

2. RNN (リカレントニューラルネットワーク) が必要な理由は何ですか?

入力は 1 つずつしか処理できず、前の入力は次の入力とは関係ありません。ただし、一部のタスクでは、シーケンス情報をより適切に処理する能力、つまり、前の入力が後続の入力と関連している能力が必要になります。

たとえば、文章の意味を理解する場合、各単語を個別に理解するだけでは不十分で、これらの単語のシーケンス全体を処理する必要があります。ビデオを処理する場合、各フレームを個別に分析するのではなく、これらのフレームのシーケンス全体を分析する必要があります。

NLP の最も単純な品詞タグ付けタスクを例にとると、「I eat apple」という 3 つの単語は、「I/nn eat/v apple/nn」という品詞でタグ付けされます。

このタスクの入力は次のとおりです。

私はリンゴを食べます（単語を区切った文）

このタスクの出力は次のとおりです。

I/nn eat/v apple/nn （品詞タグ付けされた文）

このタスクでは、もちろん通常のニューラル ネットワークを直接使用できます。ネットワークのトレーニング データ形式は、i -> i/nn、複数の個別の単語 -> 品詞タグ付き単語です。

しかし、文の中では、前の単語が現在の単語の品詞予測に大きな影響を与えることは明らかです。たとえば、apple を予測する場合、前の単語「eat」は動詞であるため、apple が名詞である確率は動詞である確率よりもはるかに高くなることは明らかです。これは、動詞の後に名詞が続くことは一般的ですが、動詞の後に動詞が続くことはまれであるためです。

そこで、同様の問題を解決し、シーケンス情報をより適切に処理するために、RNN が誕生しました。

3. RNN構造

まず、入力層、隠れ層、出力層で構成される単純な再帰型ニューラル ネットワークを見てみましょう。

初心者はこの図を理解できるだろうか。とにかく、最初に学習し始めたときは混乱しました。各ノードは入力値を表すのか、レイヤーのベクトルノードのセットを表すのか? 隠しレイヤーはどのようにしてそれ自体に接続されるのか? など。この図は比較的抽象的な図です。

このように理解しましょう。矢印と W の付いた円を削除すると、最も一般的な完全接続ニューラル ネットワークになります。

x は入力層の値を表すベクトルです (ここではニューロン ノードを表す円は描かれていません)。s は隠し層の値を表すベクトルです (ここでは隠し層にノードが描かれていますが、この層は実際には複数のノードであり、ノードの数はベクトル s の次元と同じであると想像することもできます)。

U は入力層から隠れ層への重み行列、o も出力層の値を表すベクトルです。V は隠れ層から出力層への重み行列です。

それでは、W が何であるかを見てみましょう。再帰型ニューラル ネットワークの隠れ層の値 s は、現在の入力 x だけでなく、前の隠れ層の値 s にも依存します。重み行列 W は、今回の入力となる隠れ層の前回の値の重みです。

この抽象グラフに対応する特定のグラフを示します。

上の図から、前の瞬間の隠れ層が現在の瞬間の隠れ層にどのように影響するかが明確にわかります。

上記の図を拡張すると、リカレントニューラルネットワークは次のように描くこともできます。

今ではより明確になっています。ネットワークが時刻 t に入力を受け取った後、隠れ層の値は 、出力値は です。重要な点は、 の値が だけでなく にも依存するということです。リカレントニューラルネットワークの計算方法は次の式で表すことができます。

式は次のとおりです。

4. まとめ

さて、ここでは RNN の最も基本的な知識ポイントを大まかに説明しました。これにより、RNN を直感的に感じ、なぜ RNN が必要なのかを理解するのに役立ちます。後ほど、その逆導出知識ポイントをまとめます。

***RNN の概要を説明します。