ICLR 2020 におけるナレッジグラフ研究の包括的な概要

ICLR 2020 におけるナレッジグラフ研究の包括的な概要

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

ICLR 2020が進行中ですが、概要ノートも続々と出ています。以前、ICLR 2020 でグラフ機械学習のトレンドについて取り上げましたが、この記事ではナレッジグラフのトピックについて考察します。

著者は、ボン大学の 2018 年博士課程の学生である Michael Galkin 氏で、ナレッジ グラフと会話型人工知能を研究対象としています。 AAAI 2020開催にあたり、AAAI 2020で公開されたナレッジグラフ関連論文の総合的な分析も行いました。詳細は「ナレッジグラフ@AAAI2020」をご覧ください。

[[324488]]

本稿では、ICLR 2020におけるナレッジグラフ関連の論文14件を5つの観点から紹介します。 5 つの角度は次のとおりです。

1) KG を使用した複雑な QA のためのニューラル推論

2) KG拡張言語モデル

3) 知識グラフ埋め込み:時間的および帰納的推論

4) GNNによるエンティティマッチング

5) ロール プレイング ゲームにおけるナレッジ グラフ (ボーナス: テキスト RPG における KG!)

早速、具体的な内容を見ていきましょう。

注: 記事に記載されている論文については、WeChat パブリック アカウント「AI Technology Review」をフォローし、バックグラウンドで「Knowledge Graph @ICLR2020」と返信するとパッケージをダウンロードできます。

1. 複雑なQAにおけるニューラル推論のための知識グラフの使用

今年の ICLR2020 では、複雑な QA および推論タスクに関する研究とデータセットがますます増えており、これは非常に良いことです。昨年は、マルチホップ読解データセットに関する研究が数多く発表されただけでしたが、今年は、ナレッジグラフが大いに役立つ領域である構成性と論理的複雑さの研究に特化した論文が多数発表されています。

1. 構成的一般化の測定:現実的なデータに基づく包括的手法

記事リンク: https://openreview.net/pdf?id=SygcCnNKwr

Keysersら[21]は、QAモデルの構成一般化を測定する方法を研究しました。つまり、トレーニングとテストの分割は同じエンティティセット(広義には論理アトム)で動作しますが、これらのアトムの構成は異なります。著者らは、約 24 万の質問と 35,000 の SPARQL クエリ パターンを含む新しい大規模な KGQA データセット CFQ (Compositional Freebase Questions) を設計しました。

CFQ の構築プロセスの背後にある直感。出典: Google ブログ

ここで興味深い点は、1) EL 記述ロジックを使用して質問に注釈を付ける (2005 年頃、DL はディープラーニングではなく記述ロジックを意味していました)、2) データセットはセマンティック解析を指しているため、すべての質問は Freebase ID (URI) にリンクされており、お気に入りのエンティティ リンク システム (ElasticSearch など) をプラグインする必要がないことです。モデルは関係とその構成の推論に重点を置くことができます。3) 問題には複数のレベルの複雑さがある場合があります (主に、基本グラフ モデルのサイズと SPARQL クエリのフィルターに対応します)。

著者らは、LSTM と Transformers のベースラインをタスクに適用しましたが、どちらも共通の標準に従っていないことがわかりました (それに応じてトレーニング/検証/テストの分割を構築しました)。精度は 20% 未満でした。これは KGQA 愛好家にとって大きな課題であるため、新しいアイデアが必要です。

2. 記号知識ベースを用いたスケーラブルなニューラル推論法

記事リンク: https://openreview.net/pdf?id=BJlguT4YPr

Cohen らは、ニューラル クエリ言語 (NQL) と微分化可能な知識ベースの研究課題を継続し、大規模な知識ベースにおけるニューラル推論の方法を提案しました。

著者はReified KBを紹介しました。事実はスパース マトリックス (COO 形式など) で表現され、事実のエンコードには 6 つの整数と 3 つの浮動小数点数 (一般的な 200 個の浮動小数点 KG 埋め込みよりもはるかに少ない) が必要になります。次に著者らは、マルチホップ推論に適した近傍での行列演算を定義します。

この効率的な表現により、巨大な KG を GPU メモリに直接保存できます。たとえば、1,300 万のエンティティと 4,300 万のファクトを含む WebQuestionsSP の Freebase ダンプは、3 つの 12 Gb GPU に収まります。さらに、QA を行う際には、候補を生成する (通常は外部の微分不可能な操作) 代わりに、グラフ全体を推論することができます。

この論文では、著者らはいくつかの KGQA タスクとリンク予測タスクで ReifiedKB を評価しました。これらのタスクでは、現在の SOTA 方式と比較してパフォーマンスが非常に優れています。

実際、この研究は、SOTA が論文が受け入れられるかどうかの基準であってはならないというケース スタディとして役立ちます。そうしないと、これらの新しい概念と方法を見逃してしまいます。

3. 仮想知識ベース上の微分可能推論

記事リンク: https://openreview.net/pdf?id=SJxstlHFPH

Dhingra らの研究は、上記の Cohen らの研究と概念が似ています。彼らは、索引付けされたテキスト知識ベース上で差分推論を行う手法である DrKIT を提案しました。

DrKITの直感。出典:Dhingra他

このフレームワークは少し複雑に見えるかもしれないので、いくつかのステップに分けます。

1) まず、質問(マルチホップ推論が必要な場合があります)が与えられると、エンティティ リンカーはエンティティのセット(下の図の Z0)を生成します。

2) 事前に計算されたインデックス (TF-IDF など) を使用して、エンティティのセットをメンションのセット (スパース マトリックス A として表される) に拡張します。

3) 右側では、質問は BERT のようなエンコーダーを通過してコンパクトなベクトルを形成します。

4) すべての言及は、BERT のようなエンコーダーを通じてエンコードされます。

5) MIPS (最大内積探索) アルゴリズムを使用して、スコアリング関数 (言及、エンティティ、質問の関連性スコアを測定するために使用) を計算し、Top-k ベクトルを取得します。

6) 行列AにTop-Kオプションを乗じたもの。

7) 結果に別のスパース共参照行列 B (立体にマッピングされる) が乗算されます。

これはシングルホップの推論ステップを構成し、抽出されたエンティティを仮想 KB 内の関係に沿って追跡することと同等です。出力は次の反復でさらに使用される可能性があるため、N ホップ タスクでは N 回繰り返されます。

さらに、著者らは Wikidata に基づく新しいスロット充填データセット (データセットの構築には SLING パーサーを使用) を導入し、MetaQA と HotpotQA で DrKIT を評価しました。全体的に、結果は非常に良好です。

4. 質問応答のためのWikipediaグラフ上の推論パスの取得の学習

記事リンク: https://openreview.net/pdf?id=SJgVHkrYDH

Asai らの研究は HotpotQA に焦点を当てており、微分可能な方法で推論パス (段落チェーン) を取得することを学習できるオープンドメイン QA のアーキテクチャである Recurrent Retriever を提案しています。

リカレント検索アーキテクチャ。出典:浅井他

従来、RC モデルは、いくつかの既製の検索モデルを採用して可能な候補を取得し、ニューラル読み取りパイプラインを実行します。この作業では、検索を差別化することで、システム全体をエンドツーエンドのトレーニング可能なモデルにプログラミングすることを期待しています。

1) Wikipedia (英語) 全体はグラフとして構成されており、そのエッジは段落と対象ページ間のハイパーリンクを表しています。たとえば、Natural Questions の場合、サイズは約 3,300 万ノードと 2 億 500 万エッジになります。

2) 検索部分で使用されるRNNは、質問qと候補段落pをエンコードした後に得られる隠れ状態h0に初期化されます。これらの候補段落は、最初に TF-IDF によって生成され、次にグラフ内のリンクによって生成されます。 (上記写真左前方)

3) (q, p)ペアをエンコードしたBERT [CLS]トークンがRNNに入力され、次の関連する段落を予測します。

4) RNN が特別な [EOE] トークンを生成すると、リーダー モジュールはパスを取得し、順序を変更して、一般的な抽出ルーチンを適用します。

著者らは、ビームサーチとネガティブサンプリングを採用して、ノイズの多いパスに対する堅牢性を高め、パス内の関連する段落を適切に強調表示します。 Recurrent Retrieval は、HotpotQA の完全な Wiki テスト設定で 73 という優れた F1 スコアを達成しました。この作品のコードは公開されました。

5. ニューラルシンボリックリーダー:読解のための分散表現とシンボリック表現のスケーラブルな統合

記事リンク: https://openreview.net/pdf?id=ryxjnREFwH

6. テキスト推論のためのニューラルモジュールネットワーク

記事リンク: https://openreview.net/pdf?id=SygWvAVFPr

次に、複雑な数値推論に関する 2 つの研究について説明します。

数的推論では、質問に答えるために、与えられた文章に対して数学的な操作(カウント、ソート、算術演算など)を実行する必要があります。例えば:

テキスト: 「...ジャガーズのキッカー、ジョシュ・スコビーは48ヤードのフィールドゴールを成功させました...そしてネイト・ケイディングのキッカーは23ヤードのフィールドゴールを決めました...」 質問: 「最も長いフィールドゴールを蹴ったのは誰ですか?」

これまでのところ、このタスクには DROP (SQuAD スタイル、段落に少なくとも 20 個の数字を含む) と MathQA (より短い質問、より長い計算チェーン、根拠、および回答オプションが必要) の 2 つのデータセットしかありません。したがって、このタスクに関するナレッジグラフは多くありません。それにもかかわらず、これは興味深い意味解析タスクのままです。

ICLR 2020 では、このトピックに関する論文が 2 つ発表されます。 1 つは Chen らによるニューラル シンボリック リーダー NeRd (Neural Symbolic Reader) の研究であり、もう 1 つは Gupta らによるニューラル モジュール ネットワーク NMN (Neural Module Networks) の研究です。

NeRdと他のアプローチの比較。出典: Chen et al

どちらの作品も、事前定義されたドメイン固有言語 (DSL) から操作 (演算子) を生成するリーダーと RNN ベースのデコーダーで構成されています。パフォーマンスの点では、NeRd の方が優れています。その理由は、演算子がより表現力豊かで、組み合わせプログラムを構築する際のデコーダーがシンプルだからです。一方、NMN はテンソル相互作用を使用して各演算子をモデル化するため、特定のタスクを実行するには、より多くのカスタム モジュールを手動で作成する必要があります。

さらに、NeRd の作者は、弱教師付きトレーニングに使用できる一連のプログラムの構築に多大な労力を費やし、しきい値付きの Hard EM アルゴリズムを使用して、誤ったプログラム (誤ったプログラムに基づいて正しい答えを出すプログラム) を除外しました。 NeRd は、DROP テスト セットで F1 スコア 81.7、EM スコア 78.3 を達成しました。

NMN は評価され、DROP データの 25% がそのモジュールによって回答可能となり、DROP 開発テストで F1 スコア 77.4、EM スコア 74 を達成しました。

2. ナレッジグラフ強化言語モデル

知識を言語モデルに統合することが、現在では一般的な傾向となっています。

7. 事前学習済み百科事典: 弱教師付き知識事前学習済み言語モデル

記事リンク: https://openreview.net/pdf?id=BJlzm64tDH

今年の ICLR で、Xiong らは [MASK] トークンの予測に加えて、エンティティが置き換えられたかどうかを予測するモデルが必要であるという新しいトレーニング目標を提案しました。

著者らは、事前にトレーニングされた Wikipedia コーパスを処理し、ハイパーリンクに基づいて Wiki エンティティの表面形式 (ラベル) を同じタイプの別のエンティティに置き換えます。 P31 の「インスタンス」関係に基づいて、Wikidata からタイプ情報を取得します。下の図に示すように、スパイダーマンに関する段落では、Marvel Comics というエンティティを DC Comics に置き換えることができます。

WKLM の事前トレーニング目標。出典: Xiong ら

モデルのタスクは、エンティティが置き換えられたかどうかを予測することです。

WKLM (弱教師付き知識事前トレーニング済み言語モデル) は、TransE のトレーニング プロセスと同様に、MLM 目標 (マスキング率は BERT の 15% ではなく 5%) とデータ ポイントあたり 10 個のネガティブ サンプルを使用して事前トレーニングされています。

著者らは、10 個の Wikidata リレーションで WKLM のファクト補完パフォーマンスを評価し、BERT-large と GPT-2 が約 16 であったのに対し、WKLM は約 29 ヒット/10 のレートを達成したことを発見しました。

その後、著者らは WebQuestions、TriviaQA、Quasar-T、Search-QA データセットで WKLM を微調整して評価し、ベースラインを上回るパフォーマンスを示しました。

要約すると、これは多数の実験と十分なアブレーション分析に基づいた、斬新でシンプルだが実質的なアイデアです。

3. 知識グラフの埋め込み: 順次推論と帰納的推論

Wikidata のような大規模なナレッジ グラフは決して静的ではありません。コミュニティは毎日何千もの事実を更新し、一部の事実は古くなったり、新しい事実には新しいエンティティの作成が必要になります。

順次推論。時間といえば、アメリカの大統領をリストアップしたい場合、トリプルベースのナレッジグラフには、当然アダムスとトランプの両方がリストアップされます。時間を考慮に入れなければ、アメリカには同時に 45 人の大統領がいることになるのでしょうか?この曖昧さを回避するには、純粋な RDF の制限を回避するために、それを具体化 (具体的なケースごとに曖昧さを解消) するか、より表現力豊かなモデルを採用する必要があります。たとえば、Wikidata ステートメント モデルでは、各ステートメントに修飾語を追加できます。大統領を例にとると、修飾語の代わりに大統領の任期の開始時刻と終了時刻を入れて、特定の主張が真である期間を示すことができます。 Temporal KG Embeddings アルゴリズムの目標は、そのような時間を考慮した知識グラフ表現を提供することです。ナレッジ グラフの埋め込みでは、時間の次元は実際には埋め込まれた単語 (身長、長さ、年齢、数値や文字列値とのその他の関係など) の一部にすぎません。

帰納的推論。既存の知識グラフ埋め込みアルゴリズムのほとんどは、すべてのエンティティが既知の静的グラフ、いわゆるトランスダクティブ設定で動作します。新しいノードとエッジを追加する場合は、埋め込み全体を最初から再計算する必要がありますが、数百万のノードを持つ大規模なグラフの場合、これは明らかに賢明なアプローチではありません。帰納的設定では、以前には見えなかったノードを、それらの関係と近傍に基づいて埋め込むことができます。このテーマに関する研究は増え続けており、ICLR 2020 では興味深い論文がいくつか発表されました。

8. 時間的知識ベース補完のためのテンソル分解

記事リンク: https://openreview.net/pdf?id=rke2P1BFwS

Lacroix らは、埋め込みモデルの時間的次元を考慮した新しい正規化コンポーネントを追加して ComplEx 埋め込みモデルを拡張しました。

この研究は、いくつかの点で非常に意義深いものです。1) アイデアは、連続したタイムスタンプ (年、日、およびそれらの数値属性など) を正規化子に挿入することです。2) 著者は、すべての述語に時間属性がある TComplEx と、「生まれた年」などの「永続的な」属性が異なる方法で処理される TNTCompEx を提案しています。実験では、TNTCompEx の方がパフォーマンスが優れていることが示されています。3) 著者らは、Wikidata ステートメントに基づいて開始時間と終了時間の修飾子を追加した新しい大規模なデータセットを導入しており、これには約 400,000 のエンティティと 700 万の事実が含まれています。

時間を考慮した ComplEx (TNTComplEx) スコア。出典: Lacroix 他

上記では、モデルがフランス大統領を説明する事実の可能性をどのようにスコアリングするかがわかります。エマニュエル・マクロンは 2017 年以降スコアが高くなっていますが、フランソワ・オランドは 2012 年から 2017 年にかけてスコアが高くなっています。

9. 時系列グラフ上の帰納的表現学習

記事リンク: https://openreview.net/pdf?id=rJeW1yHYwH

さらに一歩進んで、Xu らは、新しいエッジとともに、これまで見えなかった新しいノードを追加できる誘導設定を含む、時間の経過と共に変化するグラフをモデル化するための時間グラフ注意メカニズム TGAT (Temporal graph attention) を提案しました。この考え方は古典的な調和解析におけるボクナーの定理に基づいており、時間次元はフーリエ変換の時間カーネルによって近似できます。時間的埋め込みは標準の埋め込み(ノード埋め込みなど)と連結され、すべてが自己注意モジュールに入力されます。

出典: Xu et al

著者らは、単一関係グラフ(KG の複数関係グラフではない)を使用して標準的な伝達および誘導 GNN タスクで TGAT を評価し、TGAT は良好なパフォーマンスの向上を示しました。個人的には、この理論は、多重関係 KG をサポートするためにさらに拡張できると考えています。

従来のトランスダクティブ KG 埋め込み設定に戻りましょう。

— GNNですか?はい!— 多対多の関係ですか?はい!— 関係を構築するために埋め込みますか?はい! — ナレッジグラフに適していますか?はい! — ノード/グラフ分類タスクに適していますか?はい。

10. 構成ベースのマルチリレーショナルグラフ畳み込みネットワーク

記事リンク: https://openreview.net/pdf?id=BylA_C4tPr

Vashishth らが提案した CompGCN アーキテクチャは、これらすべての利点をもたらします。標準的なグラフ畳み込みネットワークとメッセージ パッシング フレームワークでは、通常、グラフを考慮するときにエッジは型なしと見なし、エッジ埋め込みを構築しません。

ナレッジ グラフはマルチリレーショナル グラフであり、エッジの表現はリンク予測タスクにとって非常に重要です。クエリ (Berlin,?,Germany) の場合、childOf ではなく capitalOf を予測する必要があるのは明らかです。

CompGCN では、入力 KG は最初に反関係 (最近広く使用されている) と自己ループ関係 (GCN の安定性を実現するため) で埋められます。 CompGCN はエンコーダー/デコーダー アプローチを採用しており、グラフ エンコーダーがノードとエッジの表現を構築し、デコーダーがリンク予測やノード分類などの下流タスクのスコアを生成します。

CompGCN の直感。出典: Vashishth 他

ノード表現は、隣接ノードからのメッセージを集約することによって取得されます。これは、着信エッジと発信エッジ (グラフ内の Wi、Wo とそれらの自己ループ) をカウントします。ここで、相互作用関数は (主語、述語) ペアをモデル化します。

著者らは、加法的 (TransE スタイル)、乗法的 (DistMult スタイル)、および循環相関 (HolE スタイル) の相互作用を試しました。ノード メッセージを集約した後、エッジ表現は線形レイヤーを通じて更新されます。ほぼ任意のデコーダーを選択できますが、著者は TransE、DistMult、および ConvE デコーダーを選択しました。 CompGCN は、リンク予測とノード分類の両方のタスクで R-GCN を上回り、他の SOTA モデルと同等のパフォーマンスを発揮します。最もパフォーマンスの高い CompGCN は、ConvE デコーダーを備えた再帰相関ベースのエンコーダーを使用します。

11. ナレッジグラフ埋め込みモデルの確率較正

記事リンク: https://openreview.net/pdf?id=S1g8K1BFwS

最後に、Tabacoff と Costabello は KGE モデルの確率的較正を考慮しました。簡単に言えば、モデルが事実が 90% の信頼度で正しいと予測した場合、そのモデルは 90% の確率で正しいということになります。ただし、多くの場合、そうではありません。たとえば、下の図では、TransE はより小さい確率 (少し「悲観的」) を返す傾向があることが示されています。

出典: タバコフとコスタベロ

著者らは、キャリブレーションを測定するために Brier スコアを採用し、Platt スケーリングと等張回帰を使用してキャリブレーション スコアを最適化し、「ハードネガティブ」が与えられない一般的なリンク予測シナリオでネガティブサンプルをサンプリングするための戦略を提案しています。その後、KGE モデルを調整し、信頼できる結果が返されることを確認できます。これは非常に優れた分析であり、結果は、KGE モデルを使用して、一部の産業タスクにおけるアルゴリズム/製品に対する信頼性を高めることができることを示しています。

4. エンティティマッチングにGNNを使用する

異なるナレッジ グラフには、エンティティ モデリング用の独自のスキーマがあります。つまり、異なる属性セットは部分的にのみ重複する場合があり、URL がまったく重複しない場合もあります。たとえば、Wikidata のベルリンの URL は https://www.wikidata.org/entity/Q64 ですが、DBpedia のベルリンの URL は http://dbpedia.org/resource/Berlin です。

これらの異種の URL で構成されるナレッジ グラフがある場合、両方の URL が同じ実際のベルリンを表しているとしても、ナレッジ グラフはそれらを別々のエンティティとして扱います。もちろん、オープン ドメイン ナレッジ グラフでよく使用される owl:sameAs 述語など、明示的にこれらの URL をペアに一致させるカスタム マッピングを作成/検索することもできます。大規模な知識グラフのマッピング問題を維持することは、かなり面倒な作業です。以前は、オントロジーベースのアライメント ツールは、主にこのようなマッピングに依存してエンティティ間の類似性を定義していました。しかし今では、そのようなマッピングを自動的に学習する GNN があるので、必要なトレーニング セットはわずかです。

エンティティ マッチングの問題について、記事「Knowledge Graphs@AAAI2020」で簡単に説明しました。 ICLR 2020では、この研究に新たな進歩がありました。

12. ディープグラフマッチングコンセンサス

記事リンク: https://openreview.net/pdf?id=HyeJf1HKvS

Fey らは、2 つの主要な段階からなる DGMC フレームワーク (Deep Graph Matching Consensus) を導入しました。

ディープグラフマッチングコンセンサスの直感。出典: Fey et al

1) 2 つのグラフ、ソース グラフ (Gs) とターゲット グラフ (Gt) を同じ GNN (同じパラメーター、ψ_θ1 と表記) でトレーニングして、初期ノード埋め込みを取得します。次に、ノード埋め込みを乗算し、シンクホーン正規化を適用することによって、ソフト対応行列 S が得られます。ここでは、タスクに最適な任意の GNN エンコーダーを使用できます。

2) 次に、メッセージ パッシング (グラフの色付けとも呼ばれます) が近傍 (ψ_θ2 というラベルの付いたネットワーク) に適用され、最後にソース ノードとターゲット ノード間の距離が計算されます (ψ_θ3)。これは近傍のコンセンサスを表します。

著者らは、ランダム グラフのマッチング、オブジェクト検出タスクのグラフのマッチング、英語、中国語、日本語、フランス語での DBpedia のマッチングなど、幅広いタスクで DGMC を評価しています。興味深いことに、DGMC は関係タイプを削除するときに良好な結果を生成できます。これは、ソース KG とターゲット KG の間に基本的に単一の関係があることを示しています。

これにより、次のような疑問が生じます。Hits@10 ですでに 90% 以上を達成している場合、すべての属性タイプと制限セマンティクスを本当に考慮する必要があるのでしょうか。

13. チャネル非依存埋め込みとハンガリアンアテンションによる深層グラフマッチングの学習

記事リンク: https://openreview.net/pdf?id=rJgBd2NYPH

Yu らは、集約されたエッジ埋め込みに重点を置き、新しいハンガリアン アテンションを導入するという 2 つの異なる機能を持つディープ マッチング フレームワークを発表しました。ハンガリーアルゴリズムは割り当て問題を解決するための古典的な方法ですが、微分可能ではありません。

著者らは、ブラックボックスの出力(ハンガリーアテンション付き)を使用してネットワーク構造を生成し、このフローをさらに伝播させます。ハンガリーの注意法は直感的に理解できます。

1) 最初のステップは DGMC と同様で、いくつかのグラフ エンコーダーがノードとエッジの埋め込みを生成し、類似度マトリックスが Sinkhorn 正規化に渡されます。

2) 違いは、生成された行列がハンガリーブラックボックスに返され(DGMCのように反復メッセージを渡すのではなく)、離散行列が生成されることです。

3) 注意メカニズムを介してベンチマークと比較して活性化マップを取得し、それを処理して損失を取得します。

著者らは CV ベンチマークでのみ評価しましたが、ハンガリーアルゴリズムの時間計算量は O(n³) なので、ランタイムも公開できればもっと興味深いものになるかもしれません。

5. ロールプレイングゲームにおける知識グラフ

インタラクティブ フィクション ゲーム (Zork RPG など) は、特に世界を探索し、段落を入力して、ゲームが応答するのを待つときに、非常に楽しいです。

14. 自然言語アクション空間のためのグラフ制約強化学習

記事リンク: https://openreview.net/pdf?id=B1x6w0EtwH

Ammanabrolu と Hausknecht が、IF ゲームにおける強化学習に関する新しい研究を発表します。この研究では、状態空間とユーザーインタラクションをモデル化するために知識グラフが使用されます。

出典: Ammanabrolu および Hausknecht

たとえば、テンプレートは数十個あり、語彙には数百個の単語があります。すべての可能な組み合わせを試すことは現実的ではありません。しかし、可視エンティティのナレッジグラフを維持すると、エージェントのオプションが大幅に削減されるため、ゲームをより速く進めることができます。

彼らが提案したエンコーダー-デコーダー モデル KG-A2C (Knowledge Graph Advantage Actor Critic) では、エンコーダーはテキスト入力に GRU を使用し、グラフ アテンション ネットワークを使用してグラフ埋め込みを構築します。さらに、デコーダー ステージでは、可視オブジェクトのグラフ マスクが使用されます。ベンチマークテストでは、KG-A2C は 28 のゲームをプレイできます。

すぐに彼らは、私たち凡人よりもコンピューターゲームが上手になるでしょう。

すぐに、彼らは私たち初心者よりもビデオゲームが上手になるでしょう。

[[324489]]

6. 結論

現在、ナレッジグラフは AI、特に NLP のさまざまな分野にますます応用されつつあります。

ICML と ACL もすぐに続きますので、そこでお会いしましょう。

<<:  スマートデバイスとエッジコンピューティングはどのように発展するのでしょうか?

>>:  MIT、筋肉信号を使ってドローンを制御するシステムを開発

推薦する

特徴エンジニアリングとは何ですか?なぜ自動化が必要なのでしょうか?

[51CTO.com クイック翻訳] 今日、人工知能(AI)はますます一般的になり、必要になってき...

機械学習:教師あり学習と教師なし学習の違いは何ですか?

機械学習は、例と経験を通じてコン​​ピューターにタスクの実行を教える人工知能のサブセットであり、研究...

AI時代に医療データの品質が重要な理由

効果的な医療データ分析においては、データの品質は主観的なものになります。データから得られる情報の正確...

...

科学者は機械学習を利用して結晶構造の酸化状態の謎を解明する

化学元素は物理世界のほぼすべてを構成しています。 2016 年現在、人類が知っている元素の数は 11...

Didi、AI技術を活用して交通問題を解決するTraffic Brainをリリース

滴滴出行は1月25日、2018年スマート交通サミットでスマート交通戦略製品「Traffic Brai...

ChatGPT Plusの登録が停止、OpenAIは容量の課題に直面

11月16日、海外メディアの報道によると、OpenAIのCEOであるサム・アルトマン氏は最近、Dev...

...

FBIが警告:AIを使ってサイバー攻撃を仕掛けるハッカーの数が驚くべき速度で増加している

PCMagによると、7月31日のニュースでは、金曜日の記者との電話会議で、FBIは人工知能プログラム...

...

「モノのインターネット +」の考え方は、産業のアップグレードにどのように役立つのでしょうか?

モノのインターネットは、いくつかの自動化ツールを通じて確立された指示に従って対象オブジェクトを接続し...

アリババ・ダモ・アカデミーがAI防疫技術を再現:CT画像を20秒で解釈、認識精度は96%

この記事はAI新メディアQuantum Bit(公開アカウントID:QbitAI)より許可を得て転載...

ドローンはどうやって夏の「蚊との戦い」に勝つのでしょうか?これら3つのポイントを達成する必要があります。

夏が来ると、人類の最大の敵の一つである蚊が活発になります。彼らは2~3匹で「家に侵入」し、「ブンブン...