エンティティ認識と関係抽出におけるディープラーニングの応用に関する簡単な分析

1. 固有表現認識

名前付きエンティティ認識 (NER) は、次の図に示すように、自然言語テキストから関連するエンティティを見つけて、その場所と種類をマークします。固有表現認識は、自動質問応答、関係抽出、情報検索など、NLP 分野のいくつかの複雑なタスクにおける基本的な問題です。その効果は後続の処理の効果に直接影響するため、NLP 研究における基本的な問題です。

NER は常に NLP 分野の研究のホットスポットであり、現在では医学や生物学などの専門分野でもますます応用されています。この種の業界では専門用語が多数存在することが多く、名詞同士の関係も多様です。 NERの研究は、初期の辞書やルールベースの方法から、統計的機械学習ベースの方法、そして近年のディープラーニングベースの方法へと進化してきました。NER研究の進歩の傾向は、下の図に示されています。

統計的機械学習に基づく方法には、主に、隠れマルコフモデル (HMM)、最大エントロピー (ME)、サポートベクターマシン (SVM)、条件付きランダムフィールド (CRF) などがあります。

隠れマルコフモデル (HMM) は、主にビタビアルゴリズムを使用して名前付きエンティティのカテゴリシーケンスを解決します。これは、トレーニングと認識において非常に効率的で高速です。隠れマルコフモデルは、情報検索や短いテキストの名前付きエンティティ認識など、リアルタイムのパフォーマンスを必要とし、大量のテキストを処理する必要がある一部のアプリケーションに適しています。

エントロピーモデル (ME) はコンパクトな構造と優れた汎用性を備えています。ただし、トレーニング時間の複雑さが高く、トレーニングコストが耐えられないほどになることもあるという欠点があります。明示的な正規化計算が必要なため、計算オーバーヘッドが比較的大きくなります。

従来から一般的に認められている、より優れた処理アルゴリズムは条件付きランダム フィールド (CRF) です。これは、入力ランダム変数のセットの条件下で、別の出力ランダム変数のセットの条件付き確率分布モデルです。その特徴は、出力ランダム変数がマルコフ ランダム フィールドを構成すると仮定することです。これは判別確率モデルであり、ランダム フィールドの一種です。 CRF は、自然言語テキストや生物学的配列などのシーケンス データをラベル付けまたは分析するためによく使用されます。NER における CRF の基本的な用途は、一連の特徴に基づいて各単語のラベルを予測することです。

上の図では、X は文中の各単語に対応する特徴、Y は単語に対応するラベルと見なすことができます。ここでのラベルは、対応するシーンの人物や場所などの名前です。

CRF の利点: 局所最適解に基づいて、z が与えられた場合の可能なシーケンス y の確率分布を計算します。

近年のディープラーニングの急速な発展により、RNN や LSTM などのモデルが NLP タスクで広く使用されるようになりました。これらのモデルは、強力なシーケンス モデリング機能を備えているのが特徴です。コンテキスト情報をうまくキャプチャでき、ニューラル ネットワークの非線形性を適合させる機能があります。これらは CRF よりも優れています。 LSTM の利点は、長い時系列におけるサンプル間の関係性を取得できることですが、BiLSTM は入力文の前後の特徴をより効果的に取得できます。 BiLSTM+CRF は、ほとんどの NLP シナリオで非常に優れた結果を示しています。たとえば、単語分割タスクでは、従来の単語分割器と比較して、BiLSTM は文章特徴の双方向取得を活用でき、単語分割効果が人間の認知感覚に近くなります。

2. 関係性の抽出

現在の NLP 研究では、関係抽出タスクはデータの簡素化と知識グラフの構築に広く使用されています。ユーザーが入力した自然言語の一部から、エンティティの正しい識別に基づいてそれらの間の関係を抽出することは、緊急に解決する必要がある重要な問題です。この問題を解決するための現在の方法は、シリアル抽出とジョイント抽出の 2 つのカテゴリに分けられます。一般的に、従来のシリアル抽出方法は、エンティティ抽出に基づいてエンティティ間の関係を識別することです。この方法では、初期のエンティティ認識の結果が関係抽出の結果に影響し、エラーが蓄積される可能性があります。この問題に対処するために、従来の機械学習に基づく共同モデルが提案され、このタイプの NLP タスクで共同学習を実行するために徐々に使用されるようになりました。

ジョイントモデルアプローチは、主にニューラルネットワークのエンドツーエンドモデルに基づいており、エンティティ抽出と関係抽出を同時に実現し、エンティティとその中の関係情報をより適切に組み合わせることができます。

論文「ハイブリッド ニューラル ネットワークに基づくエンティティと関係の統合抽出」では、著者らは、固有表現認識 (NER) と関係分類 (RC) のためのハイブリッド ニューラル ネットワーク モデルを提案しました。 NER と RC は同じ BiLstm ネットワークを使用して入力をエンコードし、NER 予測の結果に従ってエンティティをペアリングし、CNN ネットワークを使用してエンティティのテキスト間の関係を分類します。

関係分類のための CNN (RC)

基礎となるモデル パラメータの共有により、トレーニング中に両方のタスクがバックプロパゲーション アルゴリズムを通じて共有パラメータを更新し、2 つのサブタスク間の依存関係を実現します。

論文「バイオメディカルテキストからのエンティティと関係抽出のためのニューラルジョイントモデル」では、著者はジョイント学習法をバイオメディカルエンティティの認識と関係抽出に適用しています。関係を分類する際、入力文はまず依存関係分析にかけられ、依存関係構文ツリーが構築されます。次に、このツリー構造が Bilstm+RNN ネットワークに入力され、関係が分類されます (以下を参照)。

上記の方法から、2つのタスクのネットワークはパラメータを共有することで共同学習されていることがわかります。最初にNERに対してトレーニングを実行し、次にNERの結果に基づいて関係分類を実行します。

今年の ACL 優秀論文「新しいタグ付けスキームに基づくエンティティと関係の共同抽出」では、名前付きエンティティの認識と関係抽出を組み合わせた共同アプローチを使用して、関係抽出のための新しいタグ付け戦略を提案しました。新しいタグ付けスキームを使用して抽出タスクをタグ付けタスクに変換し、次にディープラーニング手法を使用してエンドツーエンドのタグ付けモデルを通じて最終結果を抽出します。新しい注釈スキームの例は次のとおりです。

上の図では、「CP」は「国-大統領」を表し、「CF」は「会社-創設者」を表します。これにより、元の 2 つのサブタスクがシーケンス ラベリングの問題に完全に変換されます。著者は、エンティティ全体における現在の単語の位置を示すために、ラベル付けに「BIES」(Begin、Inside、End、Single) を使用しています。関係タイプは、事前に設定された関係タイプ セットから取得されます。 「1」と「2」は、関係におけるエンティティの役割情報を表すために使用されます。ここで、「1」は、現在の単語がトリプル (Entity1、RelationType、Entity2) の Entity1 に属することを意味します。同様に、「2」は、現在の単語が Entity2 に属することを意味します。2 つの隣接する連続エンティティは、注釈の結果に従ってトリプルに結合されます。たとえば、タグにラベルを付けることによって、「United」と「States」が結合されてエンティティ「United States」が形成され、「United States」とエンティティ「Trump」が結合されてトリプル {United States、Country-President、Trump} が形成されることがわかります。

この論文の著者は、単語が 1 つのトリプルのみに属する場合を主に検討しています。著者は、トリプルの重複問題、つまり複数のトリプルに同じ単語が含まれる場合についてはまだ検討していません。エンドツーエンド モデルを次の図に示します。

このモデルは、エンコードには引き続き BiLSTM を使用し、デコードにはパラメータ共有で LSTM を使用します。

このモデルは、既存のナレッジ グラフ リソースを充実させるために使用できます。たとえば、自動質問と回答、インテリジェント検索、パーソナライズされた推奨事項など、今日のさまざまなインテリジェント アプリケーションはすべて、ナレッジ グラフのサポートを必要とします。

3. まとめ

パラメータ共有法は、ニューラル ネットワークに基づくエンティティ認識と関係抽出の共同学習でますます使用されています。この方法は、複数のタスクで幅広い用途があり、実装がシンプルで簡単です。これら 2 種類のタスクをより適切に組み合わせて、エンドツーエンドの関係抽出タスクを実行する方法は、研究の次のステップにおける重要なトレンドであり、より優れた方法の出現を期待しています。