詳細 | 自然言語処理におけるディープラーニング研究の概要: 基本概念から最先端の成果まで

[[181446]]

1. 自然言語処理入門

自然言語処理 (NLP) とは、言語を処理または「理解」して特定のタスクを実行できるシステムを作成することです。これらのタスクには次のようなものが含まれます。

• 質問への回答（Siri、Alexa、Cortanaの機能）
• 感情分析（文章に含まれる肯定的または否定的な意味を判断する）
• 画像キャプション（入力画像のタイトルを生成する）
• 機械翻訳（テキストを別の言語に翻訳する）
• 音声認識
• 品詞タグ付け
• 名前付きエンティティ認識

従来の自然言語処理手法には、言語学自体に関する多くの知識が必要です。音素や形態素などの用語を理解することは不可欠であり、この専門知識を習得するには完全な言語学コースが必要です。次に、従来の自然言語処理が次の単語をどのように理解するかを見てみましょう。

私たちの目標が、単語に関する情報（感情を説明する、定義を見つけるなど）を収集することだとします。私たちは言語の専門知識を活用して、単語を 3 つの部分に分解しました。

この単語の接頭辞「un」は反対または対概念を表し、「ed」はこの単語の時制（過去形）を制限できることがわかっています。 「興味」という単語の主要部分を理解することで、単語全体の意味や感情を簡単に推測することができます。かなり単純なように思えますね。しかし、英語にはさまざまな接頭辞と接尾辞があるため、すべての可能な組み合わせと意味を理解するには非常に熟練した言語学者が必要になります。

1. ディープラーニングの応用方法

ディープラーニングは、最も基本的なレベルでは、表現学習の手法です。畳み込みニューラル ネットワークを使用すると、物事を分類するために使用されるさまざまなフィルターの構成を確認できます。ここでは、同様のアプローチを採用し、大規模なデータセットを使用して単語の表現を作成します。

2. この記事の概要

この記事では、まず自然言語処理のためのディープ ネットワークの基本的な構成要素を理解し、次に最近の研究論文からのいくつかのアプリケーションについて説明します。ほとんどの人は、なぜリカレントニューラルネットワーク (RNN) を使用するのか、なぜ Long Short-Term Memory (LSTM) が便利なのかを明確に理解していませんが、研究論文について議論した後は、ディープラーニングが自然言語処理に非常に役立つ理由をより深く理解していただければと思います。

2. 単語ベクトル

ディープラーニングと数学は切り離せないため、各単語を d 次元ベクトルとして表現します。 dを6に設定します。

それでは、値をどのように入力するかを考えてみましょう。ベクトルが単語だけでなく、単語の文脈、意味、セマンティクスも表すような方法で値を入力したいと考えています。これを行う 1 つの方法は、共起マトリックスを作成することです。次の文を例に挙げてみましょう。

この文では、各単語の単語ベクトルを構築します。

共起マトリックスには、コーパス (またはトレーニング セット) 内で各単語が他の単語の隣に出現する回数が含まれます。次のマトリックスを見てみましょう。

この行列の行を抽出すると、単語ベクトルの簡単な初期化が可能になります。

この単純なマトリックスから非常に有用な洞察が得られることに注目してください。たとえば、「love」と「like」という単語はどちらも名詞（NLP と dogs）に 1 回関連していることに注目してください。 「I」に接続されている回数も 1 なので、この 2 つの単語は動詞であることがわかります。単純な文ではなく、より大きなデータセットがあれば、この類似性はますます明白になり、「love」と「like」のように、他の同義語も、一般的に同様のコンテキストで使用されるため、同様の単語ベクトルを持ち始めることが想像できます。

さて、良い出発点が得られましたが、コーパスが大きくなるにつれて、各単語の次元が直線的に増加することもわかります。 100 万語 (NLP の基準ではそれほど多くありません) がある場合、100 万 x 100 万のサイズの行列が生成され、非常にスパース (多くのゼロを含む) になります。ストレージ効率の観点から見ると、これは決して最善ではありません。これらの単語ベクトルを表現する最適な方法を見つけるための高度なテクニックも数多くあります。最も有名なのは Word2Vec です。

3. Word2Vec

単語埋め込み初期化技術の基本的な考え方は、単語埋め込みにできるだけ多くの情報を保存しながら、次元を管理可能な範囲（25〜1000次元が理想的）に保つことです。 Word2Vec を使用すると、各単語の周囲の単語を予測できます。先ほど述べた「私はNLPが大好きで、犬が好きです。」という文章を例に挙げてみましょう。まずこの文の最初の 3 つの単語を見てみましょう。そのため、ウィンドウ サイズ m を 3 に設定する必要があります。

ここでの私たちの目標は、中心となる単語「love」を抽出し、この単語の前後に来る可能性のある単語を予測することです。どうやってこれを実現するのでしょうか? 関数を最大化/最適化することによってです! 一般的に言えば、関数は既存の中心単語を与えられたコンテキスト単語の対数確率を最大化します。

詳しく見てみましょう。上記のコスト関数は基本的に、「I」と「love」、および「NLP」と「love」の対数確率を増加させたいことを示しています (どちらの場合も、love が中心となる単語です)。変数 T はトレーニング文の数を表します。もう一度対数確率を見てみましょう。

Vc は中心単語の単語ベクトルです。各単語には 2 つのベクトル表現 (Uo と Uw) があり、1 つは単語が中心単語として使用される場合、もう 1 つは単語が外部単語として使用される場合です。これらのベクトルは確率的勾配降下法を使用してトレーニングされます。これは、私たちが理解する必要がある複雑な方程式の 1 つに違いありません。そのため、何が起こっているのかを視覚的に理解するのがまだ難しい場合は、さらに詳しく知るために、他のリソースを調べることができます。

簡単に言うと、中心となる単語が与えられると、Word2Vec はコンテキスト単語の対数確率を最大化し、確率的勾配降下法 (SGD) によってベクトルを変更することで、さまざまな単語のベクトル表現を見つけようとします。

注: 論文「単語と句の分散表現とその構成性」では、一般的な単語のネガティブサンプリングとサブサンプリングを使用して、より正確な単語埋め込みを取得する方法について詳しく説明しています。 ）

Word2Vec の最も興味深い貢献は、異なる単語ベクトル間の線形関係を示すことです。トレーニング後、単語の埋め込みはさまざまな文法的および意味的概念を捉えているように見えます。

単純な目的関数と最適化技術を使用して、これらの線形関係を形成できるのは驚くべきことです。

ボーナス: 単語ベクトルを初期化するもう 1 つの優れた方法: GloVe (共起行列と Word2Vec を組み合わせたもの): http://nlp.stanford.edu/pubs/glove.pdf

4. リカレントニューラルネットワーク (RNN)

単語の埋め込みができたので、それが再帰型ニューラル ネットワークにどのように適合するかを見てみましょう。リカレント ニューラル ネットワークは現在、ほとんどの自然言語処理 (NLP) に必須となっています。 RNN の最大の利点は、以前のタイムステップのデータを効率的に使用できることです。これは、リカレント ニューラル ネットワークの小さな部分がどのように見えるかを示しています。

下部には単語ベクトル (xt、xt-1、xt+1) があります。各ベクトルには、同じ時間ステップ (ht、ht-1、ht+1) における隠れ状態ベクトルがあります。これらをモジュールと呼びます。

再帰型ニューラル ネットワークの各モジュールの隠れ状態は、前の時間ステップの隠れ状態ベクトルと単語ベクトルの関数です。

上付き文字をよく見ると、入力に掛ける重み行列 Whx と、前のタイム ステップの隠れ状態ベクトルに掛ける再帰重み行列 Whh があることがわかります。これらの再帰重み行列はすべての時間ステップで同じであることを覚えておくことが重要です。これは、再帰型ニューラル ネットワークの重要なポイントです。考えてみれば、これは従来の 2 層ニューラル ネットワークとは大きく異なります。従来、各層 (W1 と W2) ごとに異なる重み行列 W を使用するのが一般的でしたが、ここでは再帰重み行列はネットワーク全体で同じです。

特定のモジュール (Yhat) の出力を取得するには、別の重み行列である WS を h に掛ける必要があります。

ここで、少し立ち止まって、リカレント ニューラル ネットワークの利点を理解しましょう。従来のニューラル ネットワークとの最大の違いは、リカレント ニューラル ネットワークは入力シーケンス (この例では単語) を受け取ることができることです。これを、入力として単一の画像しか受け取ることができない一般的な畳み込みニューラル ネットワークと比較することができます。ただし、再帰型ニューラル ネットワークでは、入力は短い文のように小さくても、5 つの段落を含む記事のように大きくてもかまいません。さらに、入力シーケンスの順序は、トレーニング中に重み行列と隠しベクトルがどのように変化するかに大きく影響する可能性があります。隠れ状態は、トレーニング後に過去 (前のタイムステップ) からの情報を取得することが期待されます。

5. ゲートリカレントユニット（GRU）

それでは、ゲート再帰ユニット (GRU) を見てみましょう。このユニットの目標は、再帰型ニューラル ネットワークの隠れ状態ベクトルを計算するためのより洗練された方法を提供することです。このアプローチにより、情報を保存し、長距離の依存関係をキャプチャできるようになります。従来の RNN アーキテクチャで長期的な依存関係が問題となる理由を考えてみましょう。バックプロパゲーションでは、エラーは最新のタイムステップから最も古いタイムステップまでリカレントニューラルネットワークを通過します。初期勾配が小さい数値 (0.25 未満など) の場合、3 番目または 4 番目のモジュールを通過するまでに勾配は事実上消滅します (連鎖律によって勾配が乗算されます)。そのため、それ以前の時間ステップでの隠し状態は更新されません。

従来の再帰型ニューラル ネットワークでは、隠れ状態ベクトルは次の式を使用して計算されます。

GRU は、更新ゲート、リセット ゲート、および新しいメモリ コンテナーの 3 つのコンポーネントに分割された隠し状態ベクトル h(t) を計算する別の方法を提供します。両方のゲートは、入力ワードベクトルと前のタイムステップでの隠れ状態の関数です。

主な違いは、各ゲートが異なる重みを使用し、それが異なる上付き文字で示されることです。 更新ゲートは Wz と Uz を使用し、リセット ゲートは Wr と Ur を使用します。

新しいメモリ コンテナーは次のように計算されます。

（白抜きの点はアダマール積を表します）

ここで、式を注意深く見ると、リセット ゲートの値が 0 に近い場合、この項全体も 0 になり、前のタイム ステップ ht-1 の情報が無視されることがわかります。この場合、計算単位は単に新しい単語ベクトル xt の関数になります。

h(t) の最終的な式は次のようになります。

ht は、リセット ゲート、更新ゲート、メモリ ストレージの 3 つの部分を持つ関数です。これを理解する最良の方法は、zt が 1 と 0 に近づくときに何が起こるかを視覚化することです。 zt が 1 に近づくと、新しい隠れ層ベクトル ht はほぼ前の隠れ層に依存し、(1-zt) が 0 になるため、現在のメモリ ストレージは無視されます。 zt が 0 に近い場合、新しい隠し層ベクトルは現在のメモリ ストレージにほぼ完全に依存し、以前の隠し層の状態は無視されます。これら 3 つの要素を直感的に見ると、次のように要約できます。

1. アップデートゲート:

• zt が 1 に近づくと、ht は現在のワード ベクトルを完全に無視し、以前の隠し状態を単純にコピーします (明確でない場合は、ht 方程式を確認し、zt が 1 に近づくときに 1-zt がどのような変化を起こすかに注意してください)。
• zt が 0 に近づくと、ht は前のタイムステップの隠し状態を完全に無視し、新しいメモリのみに依存します。
• このゲーティングにより、モデルは、前の隠し状態からの情報が現在の隠し状態にどの程度影響するかを制御できます。

2. リセットゲート:

• rt が 1 に近づくと、メモリは以前の隠し状態の情報を保持します。
• rt が 0 に近づくと、メモリは以前の隠し状態の情報を無視します。
• このゲーティングにより、モデルは将来に関係のない一部の情報を破棄できるようになります。

3. メモリ コンテナ: リセット ゲートに依存します。

GRUの有効性を示すためによく使われる例は次のとおりです。次のような段落に遭遇したとします。

関連する質問は、2 つの数字の合計はいくらかということです。ただし、中間の文は現在の問題にはまったく影響を及ぼさないため、ゲートをリセットして更新すると、ネットワークは中間の文をある意味で「忘れて」、特定の情報 (この場合は数字) のみが隠し状態を変更する必要があることを学習します。

6. 長短期記憶ユニット（LSTM）

すでに GRU に精通している場合は、LSTM を理解するのはそれほど難しくないでしょう。 LSTM も一連のゲートで構成されています。

もちろん、ここにはさらに多くの知識が関係します。 ただし、LSTM は GRU の派生として理解できるため、ここではあまり詳しく分析しませんが、各ゲートと各計算についてさらに深く理解したい場合は、Chris Olah が書いた素晴らしいブログ投稿 (http://colah.github.io/posts/2015-08-Understanding-LSTMs/) をクリックして確認してください。この記事は現在、LSTM に関する最も人気のあるチュートリアルであり、舞台裏でどのように動作するかを知りたい人にとって間違いなく大きな助けとなるでしょう。

7. LSTMとGRUの比較と対比

まずは類似点から始めましょう。 両方のユニットコンポーネントには、単語と文の間の長期的な依存関係を記録できる特別な機能があります。 この長期的な依存関係は、場合によっては 2 つの単語またはフレーズが異なる時点で出現する可能性があるが、それらの間の関係が最終目標を達成する上で重要であることを意味します。 LSTM と GRU は、いくつかのゲートを使用して文中の特定の情報を無視または保持することで、これらの依存関係をキャプチャできます。

2 つの基本ユニットの違いは、ゲートの数にあります (GRU には 2 つ、LSTM には 3 つ)。これは、入力が渡すことができる非線形関係の数に影響し、最終的には全体的な計算に影響します。 さらに、GRU には LSTM と同じメモリ セル (C_t) がありません。

8. 論文を読む前に

このセクションでは、NLP に役立つ他のディープ モデルがあることを簡単に紹介します。リカレント ニューラル ネットワークと CNN は実際に使用されることもありますが、ほとんどのディープラーニング NLP システムのバックボーンである RNN ほど普及していません。 NLP とディープラーニングの関係について十分な知識が得られたので、いくつかの論文を見てみましょう。 NLP にはさまざまな問題 (機械翻訳から質問応答システムまで) があるため、この分野で読むべき論文はたくさんありますが、この記事で非常に洞察に富んだ 3 つの論文を見つけました。 NLP の分野は 2016 年に大きな進歩を遂げましたが、まずは 2015 年の論文から始めましょう。

1. 記憶ネットワーク

論文: https://arxiv.org/pdf/1410.3916v11.pdf

導入

最初に議論する論文は、質問応答システムのサブフィールドで非常に影響力のあるものです。 Jason Weston、Sumit Chopra、Antoine Bordes によって書かれたこの論文では、メモリ ネットワークと呼ばれるモデルのクラスを紹介しています。

このアイデアは、テキストに関する質問に正確に答えたい場合には、テキストの全体的な内容を覚えておく必要があるという事実から生まれました。もし私があなたに「RNN は何を表すのか」と質問したら（あなたがこのブログ投稿を全部読んだと仮定して）、あなたは私に答えることができるでしょう。 これは、すでに読んで知識を吸収し、記憶に保存しているからです。必要なのは、情報を探し出して、それを一貫した言葉で表現するのに数秒を費やすことだけです。 脳がどうやってこれを実現するのかは分かりませんが、情報を保存する場所が必要だという考えです。

この論文で説明するメモリ ネットワークは、連想メモリが含まれているため、やや特殊です。この連想メモリは読み取りと書き込みが可能です。 注目すべきは、このタイプのネットワークは、CNN や Q ネットワーク (強化学習に使用)、その他の従来のネットワークでは見つからないということです。その理由の 1 つは、質問応答タスクが、ストーリー全体を通じての登場人物の進行を記録したり、タイムラインに重要なイベントを記録したりするなど、長期的な依存関係をモデル化または追跡できるシステムに大きく依存しているためです。 CNN または Q ネットワークでは、ネットワークがさまざまなフィルターを学習したり、状態をアクションにマッピングしたりする必要があるため、メモリ モジュールはネットワークの重みシステムに組み込まれています。 一見すると、RNN と LSTM はこのメモリ機能を実装できるかもしれませんが、通常、質問応答システムにとって非常に重要な過去の入力を記憶することはできません。

ネットワークアーキテクチャ

さて、最初のテキストが与えられた場合、このネットワークがどのように機能するかを見てみましょう。ほとんどすべての機械学習アルゴリズムと同様に、入力はまず特徴表現に変換されます。これには、プログラマーによって決定される単語の埋め込み、品詞のタグ付け、解析などが必要です。

次のステップは、表現I(x)を考え出し、受け取った新しい入力xを反映するようにメモリmを更新できるようにすることです。

メモリ m は、個々のメモリ mi のシーケンスとして考えることができます。これらの個々のメモリ mi は、メモリ全体 m、特性 I(x)、および \ またはそれ自体の関数になることができます。関数Gは、表現I(x)全体を単一のメモリセルmiに格納するのと同じくらい簡単です。新しい入力に基づいて関数 G を変更し、過去のメモリを更新できます。 3 番目と 4 番目のステップでは、質問に応じてメモリを読み取り、特徴表現 o を取得し、それをデコードして最終的な回答を出力します。

関数 R は RNN であり、メモリからの特徴表現を質問に対する読みやすく正確な回答に変換するために使用されます。

それでは、ステップ 3 を詳しく見てみましょう。 O モジュールには、特定の質問 x に対する可能な回答に最も一致する特徴表現を出力するようにしたいと考えています。ここで、質問は個々のメモリセルと比較され、メモリセルが質問をどの程度サポートしているかに基づいて採点されます。

スコアリング関数の argmax を取得し、質問を最もよくサポートする出力表現を見つけます (1 つだけでなく、複数の最高スコアのユニットを取得することもできます)。スコアリング機能は、さまざまな質問の埋め込みと選択されたメモリ ユニット間の行列積を計算することです。 （詳細は論文をお読みください）。 2 つの単語ベクトルを乗算して類似性を調べるときに、これを考慮します。この出力表現は、RNN や LSTM、または読み取り可能な結果を​​出力する別のスコアリング関数に入力されます。

トレーニング方法は教師ありトレーニングであり、トレーニング データには元のテキスト、質問、補足文、および基本の真の回答が含まれます。これが目的関数です。

興味のある読者のために、以下の論文ではこのようなメモリ ネットワークを構築する方法について説明しています。

エンドツーエンドのメモリネットワーク (https://arxiv.org/pdf/1503.08895v5.pdf) (必要なのは教師あり出力のみで、文章は必要ありません)

動的メモリネットワーク (https://arxiv.org/pdf/1506.07285v5.pdf)

ダイナミックコーアテンションネットワーク (https://arxiv.org/pdf/1611.01604v2.pdf) (2か月前にリリース、スタンフォード質問応答データセットで最高得点を獲得)

2. 感情分析のためのツリーLSTM

論文: https://arxiv.org/pdf/1503.00075v3.pdf

導入

次の論文では、フレーズのトーンや意味が肯定的か否定的かを判断する感情分析の分野における進歩を分析します。より正式には、感情は状況や出来事に対する見方や態度として定義できます。現在、LSTM は感情分析ネットワークで最も一般的に使用されているコンポーネントです。 Kai Sheng Tai、Richard Socher、Christopher Manning によるこの論文では、LSTM を非線形構造に連鎖させる興味深いアプローチを紹介しています。

この非線形配置の背後にある考え方は、自然言語には、単語を特定の順序で並べるとフレーズを形成するという特性があるということです。語順によって形成されるこれらの句の意味は、句を構成する単語の意味とは異なります。この機能を表現するには、LSTM のネットワーク ユニットをツリー構造に配置する必要があります。ツリー構造では、さまざまなユニットが子ノードの影響を受けます。

ネットワークアーキテクチャ

Tree LSTM と標準 LSTM の違いの 1 つは、後者の隠し状態が現在の入力と前のタイム ステップでの隠し状態の関数であることです。ただし、この構造では、その隠れ状態は、現在の入力とサブユニットの隠れ状態の関数になります。

新しいツリー構造では、サブユニットのゲートの省略など、いくつかの数学的な変更が導入されています。詳細に興味のある読者はこの論文を読んでください。しかし、私の焦点は、なぜこれらのモデルが線形 LSTM よりも優れたパフォーマンスを発揮するのかを理解することです。

Tree-LSTM では、単一のユニットがすべての子ノードの隠し状態を吸収できます。セルが子セルを個別に評価できるため、これは興味深いです。トレーニング中に、ネットワークは特定の単語（感情分析では「重要ではない」や「非常に重要」など）が文全体の感情にとってどれほど重要であるかを学習します。そのノードに高い評価を与える機能により、ネットワークの柔軟性が向上し、ネットワーク パフォーマンスが向上します。

3. ニューラル機械翻訳

論文: https://arxiv.org/pdf/1609.08144v2.pdf

導入

最後の論文では、機械翻訳の課題を解決するためのアプローチについて説明します。著者は、Google 機械学習の分野で最も先見性のある学者である Jeff Dean、Greg Corrado、Orial Vinyals などです。この記事では、Google 翻訳サービスの基盤となっている機械翻訳システムについて紹介します。 Google の以前の制作システムと比較すると、このシステムでは翻訳エラーが平均 60% 削減されます。

自動翻訳の従来のソリューションには、フレーズベースの変数マッチングが含まれます。このアプローチには言語ドメインに関する多くの知識が必要であり、設計は最終的に脆弱すぎて一般化に欠けることが判明しました。従来のソリューションの問題の 1 つは、入力された文が少しずつ翻訳されることです。結果として、より効率的な解決策は、文章全体を一度に翻訳することです。これにより、より広い範囲の文脈とより自然な単語の並べ替えが可能になります。

ネットワークアーキテクチャ

この論文の著者らは、8 つのデコーダー層とエンコーダー層でエンドツーエンドでトレーニングできるディープ LSTM ネットワークを紹介しています。システムは、エンコーダー RNN、デコーダー RNN、アテンション モジュールの 3 つのコンポーネントに分解できます。大まかに言えば、エンコーダーのタスクは入力文をベクトル表現に変換することであり、デコーダーは入力表現を生成し、アテンション モジュールはデコーダーにデコード プロセス中に何に注意を払うべきかを指示します (これが入力文の完全なコンテキストを使用するという考え方です)。

残りの部分では、このサービスの拡張に関する課題に焦点を当てます。コンピューティング リソース、レイテンシ、大容量の展開などのトピックがすべて詳細に説明されています。

IX. 結論

このブログでは、ディープラーニングが自然言語処理タスクにどのように役立っているかをまとめました。この分野における将来の目標としては、消費者向けサービス チャットボットの改善、完璧な機械翻訳、そしてできれば、質問応答システムにおける構造化されていないテキストや長いテキスト (Wikipedia ページなど) のより深い理解などが挙げられます。

元記事: https://adeshpande3.github.io/adeshpande3.github.io/Deep-Learning-Research-Review-Week-3-Natural-Language-Processing

[この記事は、51CTOコラムニストのMachine Heart、WeChatパブリックアカウント「Machine Heart（id:almosthuman2014）」によるオリジナル翻訳です]

この著者の他の記事を読むにはここをクリックしてください