構造化データのためのテキスト生成技術の研究

1. テキスト生成入門

まず、現段階で人気のテキスト生成について紹介します。

1.人工知能の発展段階

人工知能の発展は多くの進歩を遂げてきました。初期にはイ・セドルがチェスでコンピューターに勝利したが、後にアルファ碁に敗れ、これが人工知能の急速な発展の始まりとなった。その後、無人運転車の知覚知能や、見たり読んだりできる人工知能モデルも多くの資金を集めました。ここ数か月、ChatGPT、GPT-4、Wenxin Yiyan が主導する会話型 AI モデルは大きな注目を集めており、認知知能の一種とさえ考えられています。基本的に人の質問や意図の90%以上を理解し、その意図に基づいて必要なテキストを生成することができます。これは、現在利用可能な最先端技術の最も中核的な技術の 1 つと考えられています。この方法は、大量の教師なし学習と人間との調整を通じて、汎用的な人工知能を実現します。継続的な開発により、人工知能技術のレベルも常に向上しています。

2. テキスト生成のコンセプト

今日お話しするテキスト生成は、今日最も人気のある研究分野の 1 つです。テキスト生成の目標は、コンピューターが人間のように自分自身を表現できるようにすることですが、基本的には達成に近づいているようです。これらの急激な技術進歩により、コンピューターは特定のニーズを満たす高品質の自然なテキストを作成できるようになりました。一般的なタスクには、従来の要約、翻訳、回答などのテキストからテキストへの生成が含まれます。従来のテキスト生成に加えて、天気予報、ゲームデータ、センサーデータなどの入力構造化データの生成もあります。これらのデータは構造化されたデータの形で保存されていますが、その特徴を理解したり見つけたりすることは容易ではありません。そのため、テキスト形式でのほうが読みやすく、理解しやすいのではないかと思います。さらに、最近では、入力画像やビデオが関連テキストの出力に対応できる混合モダリティの生成においてブレークスルーが起こっています。これらはテキスト生成の分野で行われた主な研究の一部です。

異なるモダリティを考慮しない場合、実際には入力の長さに応じて生成されます。最初は、圧縮テキストの生成など、より単純なタスクを実行するためによく使用していました。入力は比較的長く、出力は単純なタイトルや 100 文字を超える概要など、比較的短いものです。その後、文章を繰り返したり、文章を磨いたりするなど、並列テキスト生成が行われます。機械翻訳も典型的な並列テキスト生成タスクですが、異なる言語で生成するように制御します。第二に、より困難なタイプの拡張テキスト生成があります。たとえば、段落レベルのテキストを生成するという意図を提供することで、ChatGPT と GPT-4 に優れたストーリーを作成させ、さらに優れたレポートを作成させることができます。入力と出力の比率が変化し続けると、テキスト出力が長くなるにつれて、従うべきロジックと階層、およびテキスト自体の劣化の問題がより困難になるため、より困難になると考えられます。

3. テキスト生成モデル

技術的なレベルでは、2000 年頃にはすでに、いわゆるパイプライン方式と呼ばれる生成方法が採用されていました。ターゲットタスクを使用して、文章に対応するいくつかの単語単位を見つけ、これらの単位と単語を計画して並べ替え、各単位を文章にマージし、最後にテンプレートに組み込みます。これは非常に複雑な組立ラインプロセスです。

2014 年に、私たちはディープラーニングに基づいたエンドツーエンドのエンコーダー/デコーダー アプローチを採用しました。典型的なタスクは機械翻訳です。たとえば、各単語をベクトルに変換し、それをニューラル ネットワークに入力してベクトルをエンコードします。最後に、デコーダーに渡されてデコードされます。デコードするたびに、数万の大きな単語リストから最も確率の高い単語が現在の出力として実際に選択されます。このアプローチは、当時の機械翻訳やテキスト要約タスクの分野で非常に成功しました。

2018年後半、人工知能の分野で新たな革命が起こりました。今回は、事前トレーニングモデルの手法が登場しました。代表的なモデルは、GPT-1、GPT-2、GPT-3の3つです。これら 3 つのモデルを使用する場合、GPT-1 や GPT-2 などの小規模モデルでは通常、微調整パラダイムが採用されます。つまり、大量のテキストと知識を事前に学習させ、小規模データで調整して下流のタスクにより適応します。事前学習モデルの規模が非常に大きくなると、モデル内のパラメータを微調整することが難しくなります。このとき、プロンプト学習を通じて、異なるタスクごとに異なる表現を設計し、モデルが目的のコンテンツを出力するように誘導します。命令チューニングと呼ばれる最新のアプローチでは、事前トレーニング済みのモデルを変更したり、各タスクに特化した機能や表現を学習したりする必要がなく、自然言語テキストをすべて活用するだけです。

4. テキスト生成技術

事前トレーニング済みモデルが開発されるにつれて、そのサイズは指数関数的に増大します。現在、より大規模な事前トレーニング済みモデルは、それぞれ Nvidia と Meta から提供されている Megatron-Turning と OPT です。現時点では、ChatGPT と GPT-3 のモデル サイズの違いはわかっておらず、GPT-4 が 1 兆個のパラメータに到達するのか、それとも GPT-3 のように比較的小さいままなのかもわかりません。新しい事前トレーニング済み言語モデルが継続的に導入され、従来のパイプライン学習に基づくテキスト生成方法が変化しました。これらの新しいモデルは、一貫性やマイクロプランニングなどの面で過去に遭遇した問題を解決できます。単語の使い方、表現、文章の組み立てがより流暢かつ自然で、実際の人間の文章とあまり変わらない、時にはそれよりも優れていると感じさせます。今は、入力した内容を中心に、どのように記述するかということにこだわっています。これらの質問は、テキスト生成の研究者として考える価値があります。

一方で、私たちは主にテキスト、構造化データ（表など）、画像などのエンコードなど、さまざまなエンコーダーに焦点を当てていますが、GPT-4 のマルチモーダル機能はこのタスクに大きな影響を与えます。デコードにはさまざまなスタイルがあります。たとえば、ChatGPT は李白のスタイルの詩を非常にうまく生成できますが、事実上の問題がある可能性があります。また、長い文章を書くときは、論理やテーマ、繰り返しなどに注意する必要があり、長さもコントロールする必要があります。これらの問題は ChatGPT 以前にも頻繁に議論されてきましたが、今後は具体的な実装方法についてさらに研究する必要があります。

2. 構造化データのテキスト生成

次に、構造化データのテキスト生成について説明します。

狭義では、この生成タスクは、非言語構造情報に基づいて自然言語テキストを生成するプロセスであり、入力が自然言語でない限り、このカテゴリに分類される可能性があります。具体的には、財務諸表などの表を入力し、それを人間が理解しやすいシンプルなレポートとして生成することができます。これは AIGC と非常によく似ており、企業は自動書き込みシナリオを使用して、企業ユーザーのレポート作成コストを削減できるようになります。タスク全体の定義入力は構造化データであり、数値やエンティティなどのさまざまなノードを含む、ナレッジ グラフ内のトリプルと見なすことができます。出力は自然言語テキストであり、構造化データからテキストを生成するために使用できます。

この技術の応用も大きな意義を持っています。ナレッジグラフの価値は、コンピューターにとっては理解しやすいものの、人間にとっては理解しにくい点にあります。そのため、構造化されたデータは、人間が理解しやすいテキストに変換する必要があります。例えば、天気予報を放送する場合、「気温 - 32 度 - ハルビン」と単純に言うのではなく、わかりやすいテキスト形式に変換する必要があります。さらに、イベントレポートを書く際、元の入力データはExcelテーブルやその他のデータベースにトリプレットの形で保存されており、以前は編集者が書く必要がありましたが、現在ではTencentやSinaなどの一部のニュースサイトでは、自動的にわかりやすいテキストに変換できます。さらに、さまざまな種類の棒グラフや円グラフを作成しました。これらのグラフの背後にある原理は、3 つ組です。これらの 3 つ組は、読みやすく理解しやすいようにテキスト形式に変換できます。

具体的なシナリオとしては、スポーツ ゲームなどの比較的複雑な構造のテーブルを入力し、レポートを出力することが挙げられます。 ChatGPTやGPT-4の登場により、テキストを自動生成する能力が大幅に向上し、今後はこの技術を使って多くのテキストが生成されるようになるでしょう。これをエンティティ ストレージの簡単な説明として考え、このメソッドを使用して、その特定のコンテンツをブロードキャストし、人々が理解できるようにします。さまざまな地域の経済指標を財務レポートに変換することも可能で、これは各地域の状況をリアルタイムで把握する必要がある多くの銀行や金融保険会社にとって非常に重要です。また、いくつかの優れた生成方法を使用して、リスクポイントや、誰がより優れたパフォーマンスを発揮しているかなどの情報を自動的に掘り出すこともできます。

上の写真には、新華社通信とアリババが立ち上げた快速小電など、中国と海外の代表的な発電システムがいくつかリストされています。アメリカのスター企業であるNarrative ScienceやAutomated Insightsなど、注目を集めている海外のスタートアップ企業もいくつかあるが、ChatGPTやGPT-4の影響下にあるこれらの企業の具体的な状況はまだ不明だ。

ここでは、過去 20 年間の自然言語処理分野における典型的なタスクもいくつか紹介します。最も古いデータサポートタスクは 2009 年に実施され、天気予報データセットが対象となりました。 2016 年には、人物を記述する Wikipedia タスクが登場しました。これは単純なグラフの分岐として見ることができます。そして2017年に、私たちはMeituan上の各レストランの広告など、レストランの説明を研究し始めました。さらに、野球の試合など、より推論に重点が置かれたタスクもあります。 2020年以降は、推論、事実の一貫性、数値計算がより人気の分野になりました。事実の一貫性は、構造化データテキスト生成で初めて登場し、現在 ChatGPT が解決していない中心的な問題であると考えられています。事実の不一致の問題をどのように解決するかについては、当該分野の関係者がさらに詳細な調査を実施することができる。

最後に、このタスクの重要性についてお話ししたいと思います。これにより、作業の効率が大幅に向上し、ユーザーが個別のデータを理解して正しい決定を下せるようになります。構造化データについては、将来的には円グラフや折れ線グラフなどのさまざまな画像をテキスト形式に変換できるようになり、幅広い用途に活用できるようになります。実際、GPT-4 が採用している戦略は、必ずしもトリプレットの保存ではなく、視覚的なアプローチです。

構造化データテキスト生成は、従来のテキスト生成とは評価指標が若干異なります。従来のテキスト生成には、BLEU や ROUGE などの標準的な評価指標があります。構造化データの場合、抽出されたトリプル コンテンツ (コンテンツの選択)、書き込まれたコンテンツが元々入力された構造化テーブルに対応しているかどうか (リレーションの生成)、およびコンテンツの順序が一貫しているかどうか (コンテンツの順序付け) にさらに注意が払われます。独自のスコアリング方法を構築し、生成されたシステムの品質をガイドまたは説明するために、従来の手動評価も使用します。

次に、主な技術アーキテクチャを紹介します。

• 初期の頃は、パイプライン アプローチを使用して従来のコンテンツ プランニングを研究していました。どのコンテンツがトリプルであるかを判断することで選択が行われ、これらのトリプルが順序付けられた状態で配置されました。最後に、テキスト テンプレートにネストされて最終結果が生成されました。このアプローチの利点は、各ステップの意味を理解して改善できるため、制御が容易なことです。しかし、欠点としては、一部の機能を手動で書き込む必要があり、エラーが伝播する現象が発生することです。

• 次に、ディープラーニングベースの方法を使用して、エンコーダー/デコーダーを通じてテキストを生成しました。エンコーダーは、構造化データ用に特別に設計された階層型エンコーダーです。注目テキストとコピーテキストをデコーダーに追加することで、必要な適切な出力を生成できます。この方法の利点は、データ駆動型で実装できることです。十分なデータが収集されていれば、比較的良質なテキストを生成できます。しかし、問題は、解釈可能性が高く、特定のエラーを制御するのが難しいことです。

ChatGPT の出現により、NLP や NLG の分野全体は存在しなくなったと多くの人が考えています。実際、非常に複雑な構造のテーブルの場合、モデリング機能は思ったほど強力ではないことがまだわかっています。まず、テーブル全体を3つのグループの形式またはJSON形式でChatGPTに入力します。ここでいくつかエラーが発生しましたが、その解決方法については後で説明します。

まず、スコアについて話すときに間違ったデータが選択または生成されたため、事実の不一致が生じました。たとえば、キングスとブルックリンは 99-90 で同点と記載されていますが、実際は 107-99 であるはずです。

第二に、サイズに対する理解が不十分です。たとえば、チーム内で最高得点を獲得した選手は 24 ポイントを獲得したと表示されていますが、実際には表を見ると、誰かが 25 ポイントというより高い得点を獲得したことがわかります。 ChatGPT は多くのアップデートを経てきましたが、このような選択的なエラーや非論理的な表現は、ChatGPT が数字を理解する能力がまだ弱いことを示しています。

III. 現在の主要課題

次に、私たちの研究の主な内容でもある、現在の主な課題について紹介します。

特定のスタイルのテーブルの結果をより適切に表示できるようになることを期待しています。ただし、現時点では結果を分析するのは困難です。たとえば、イベント テーブルには、他のデータセットと比較して 600 を超える異なるセルとトリプレットが含まれています。また、長さも長いので、すべての情報を入れるのは不可能です。記述のために適切な構造化された情報や単位をどのように選択するか、また、数値の大きさをいかに適切に表現して、適切に出力できるようにするかという問題を解決する必要があります。たとえば、多くの場合、表のデータに完全に従う必要はありません。2 つのチーム間のスコアとポイント差を提示する必要があり、その結果を計算機で計算する必要がある場合もありますが、これはタスク自体には備わっていない機能です。また、各人が独自のスタイルでニュース記事を書くかどうか、過去の記事のスタイルを参考にして全体の内容を書くことができるかどうかなど、スタイルに関する制限もあります。これらはすべて、コンテンツのさまざまな側面に関する当社の研究です。

1. コンテンツの選択

ChatGPT の場合、入力は通常テキストであり、これはコンテキストのみを含む典型的なシリアル化された入力です。しかし、構造化されたテーブルの場合、各列と各行の間には典型的な相関関係があります。たとえば、列は現在のチームで誰が最高得点を獲得したかを表し、行は得点、リバウンド、アシストの数、ダブルダブルまたはトリプルダブルを達成したかどうかなどを示します。同時に、チームのパフォーマンスの違いなど、チームの過去の情報も考慮する必要があります。したがって、この情報をより適切に表現する方法を検討する必要があります。

この目的のために、研究者らは階層的モデリングを実施し、まず行エンコーダーを使用してさまざまな数値の比較を決定し、列エンコーダーを使用して異なる次元の情報を統合し、異なるトリプレットを使用して文字の全体的な表現をモデル化し、選択するかどうかを決定しました。

前述のRG、CS、CO評価指標に基づくと、効果は非常に明白であり、各指標において最適な効果が得られています。この階層的なアプローチは、実際には構造化データに近いのですが、先ほどの ChatGPT と比較すると、実際には JSON モデルとして使用されていました。

2. デジタル表現

モデルにデジタル表現をより良く学習させるにはどうすればよいでしょうか。ChatGPT は数字のサイズを選択する際に間違いを犯すことが判明したため、非常にコアなコンテンツである書き込みプロセスに数字のサイズの情報を埋め込む必要があります。 ChatGPT は通常、本質的に 0/1 の問題である確率モデリングに基づいてコンテンツを生成するため、両者の間に矛盾が生じ、ChatGPT は数値の問題に対するモデリング機能がわずかに不足しています。

数値の大小関係をモデル内の表現に変換し、大小関係を比較できるようにしています。同じタイプのコンテンツ表現を取得し、比較情報を数値表現プロセスに埋め込みます。この方法により、表や構造化された情報をより正確に理解できるようになります。これは、事前トレーニングのプロセス中に数字の大きさを比較する能力を学習することと同等です。次に、各トリプルをモデル化するときに、モデルのコンテンツ選択能力を向上させるために多次元の報酬を設計します。

最後に、新しい方法は結果的にも優れたパフォーマンスを達成しました。検討する価値のある質問の 1 つは、数値のサイズを測定する機能を追加するかどうかです。異なる競技やデータに対して2次元空間マッピングの比較実験を行いました。赤は従来のモデリング手法、青は数字の大きさを加えた手法を表しています。結果は、数字のサイズを追加した後、モデルのさまざまな次元の表現が典型的な線形関係を示し、異なる数字間の特性または表現をより広く広げ、生成されるコンテンツをより適切に選択できることを示しています。

3. 数値推論

さらに、数値推論中に元の表に表示されない情報をモデルが合理的に推測し、この情報に基づいて要約または分析的な結論を提供できることも期待しています。トーナメント表を例にとると、一方のチームの合計得点を表す 107 と、もう一方のチームの合計得点を表す 103 などの情報のほかに、元の表と一致しない数字が多数あります。たとえば、2 人のプレーヤーが協力して 9 ポイントを獲得し、両チームの間に 4 ポイントの差があり、これは僅差の勝利に相当します。この情報は実際には元の表からは入手できず、計算するにはデジタル コンテンツに関する推論が必要です。

生成プロセス中にスロット充填アプローチを使用できます。デュアルデコーダー戦略を採用します。テキスト デコーダーに加えて、エンティティ、タイプ、スコアをテーブルでモデル化し、トリプルを使用して構造化することもできます。テキストをデコードするときは、テキスト自体のデコードに加えてキー スロットを使用します。これらのスロットはフリップフロップやゲートに似ています。スロットがアクティブになると、式の計算が導入されます。この方法でさまざまな数字をデコードできるようにしてみました。たとえば、現在の 3 ポイントシュートの場合、差は 107 対 104 で 3 ポイントであることがデコードされます。しかし、実際のシナリオでは、基本言語モデルに計算能力がないため、答えを直接計算することはできません。したがって、計算機に入れて結果を計算し、その結果を元のテキストに戻して使用することができます。このアプローチにより、数値推論能力をテキストに効果的に組み込むことができます。

テーブルの構造とデータをよりよく理解するために、私たちのタスクと組み合わせて、tablemask と呼ばれる戦略を提案しました。テーブルからランダムにいくつかをスクレイピングし、その行と列を使用して復元を試みることができます。たとえば、プレイヤーのスコアが減点された場合、合計スコアから他のすべての領域のスコアを減算して、プレイヤーのスコアを取得できます。このようにして、例に基づいてトレーニングを実行し、事前にトレーニング済みの数式計算機のデコード機能を確保することができます。その後、デコード機能がテキスト デコーダーに組み込まれ、この 2 つが連携してより良い結果が得られます。

実験データから判断すると、テキスト生成タスクの実行に加えて、より興味深い結果を生み出せるかどうかも確認したいと考えています。 「ニックスがグリズリーズを破った」などの比較をいくつか行い、それに「#」を付けて、モデルに次の単語を生成させました。当時は多くの人が事前のトレーニングなしでトランスフォーマーを使用していたからです。数値コンストラクタの方法を調整することで、70% 以上の数値を正しく生成できることがわかり、これらの数値は計算によって取得され、元のテーブルには存在しません。

同時に、他の良い例もいくつか見つかり、元のコンテンツにはない情報を生成することが実際に可能であることがわかりました。たとえば、前半の 2 つのチームのスコアを生成する場合、実際のデータには各クォーターのスコアしかなく、前半の合計スコアは含まれていません。 2 つのチームの前半のスコアの合計を個別に計算し、それらを合計してから、2 つの数値をインポートし直して、合理的な生成結果を取得する必要があります。

4. スタイルコントロール

文章のスタイルも指定できるようにしたいと考えています。以前の導入は、より価値のある情報を生成する傾向がありました。現在は、さまざまな人々のスタイルに合わせて、よりカスタマイズ可能でパーソナライズされたコンテンツを生成できるかどうかを検討しています。章レベルのスタイル転送タスクを提案します。これまでのスタイル転送は、モデルにレオナルド・ダ・ヴィンチ風の絵画を描くことを要求するなど、イメージ視覚の分野から始まりました。テキストの後半では、モデルに肯定的な表現を生成させたり、より正式な表現を生成させたりすることが考えられます。

前述の段落レベルのスタイル制御とは、ニュース レポートに必要な表とスタイル マテリアルが指定されている場合、これらのマテリアルが記事に統合されることを意味します。このデータはネイティブに一致していないため、このスタイルに適合する記事を書くことは、教師なしの方法でのみ実行できる困難な作業です。この課題を解決するために、コンテンツの信頼性と言語スタイルを確保するためのさまざまな種類の学習損失関数を設計し、記事を元のテキストに戻して書き直すためのガイドとなる逆翻訳のようなコンテンツを生成しました。

モデリングに関しては、テーブルと参照テキストを階層的にモデル化し、注目度の相互作用のマトリックス計算を実行し、最後にそれを使用して記事生成をガイドします。

文体表現の点では比較的良好な効果が得られている。元のテキストの数字を削除して入力するだけです。このスタイルの一致は 100% であり、一部のコンテンツの実現可能性の精度、再現率、BLEU 値は依然として非常に良好です。実際、このモデルはコンテンツ生成の点でも非常にうまく機能します。たとえば、左側に表とテキストを入力すると、そのスタイルで理想的なコンテンツを生成できます。モデルのモデリング能力が限られているため、まだ多少の間違いはありますが、ほとんどの場合、必要なテキストを学習して正しく生成することができます。

IV. 結論

最後に、簡単にまとめておきます。まず、ChatGPTの登場により、構造化データからのテキスト生成の応用はますます一般的になり、今後はいくつかの典型的な問題を見つけることが難しくなるでしょう。第二に、テキスト生成評価の現在の進歩はまだ楽観的ではないため、ChatGPT はテキスト生成の評価に役立ちます。さらに、ChatGPT の構造化データ用のテンプレート フォームを設計する方法など、ChatGPT にいくつかの特別な最適化を行う必要もあります。同時に、特別なプロンプトを設計することもできます。この分野にはまだ研究の余地があります。また、現在はトリプルという形でモデリングしていますが、まとめるとクロスモーダルな図という形になります。このマルチモーダルな形で表を処理できるかどうかも検討する必要があります。

5. 質疑応答

Q1: table2txt を使用する場合、行エンコーダーまたは列エンコーダーはテーブル内のデータをトリプルに解析し、それをモデルにフィードしてモデリングしますか?

A1: はい、それは確かに非常に良い質問です。それは確かにトリプレットとして私たちのモデルに入力されます。当時は、変流器エンコード方式のように必ずしもシリアル化されていなかったからです。たとえば、人物の名前とそれに対応するスコアをスコアに追加し、その 3 つを 3 つ組にして、MLP の単純な形式でエンコードします。これは非常にうまく機能しており、このアプローチは非常に優れていると考えています。

Q2: 大規模な構造化データ (大規模で幅の広いテーブル、Freebas) をモデル化するためのより良いアイデアはありますか?

A2: 他の例でも実験しました。先ほどお見せしたのは ChatGPT ですが、これはいくつか問題を引き起こします。社内でもテストしたところ、GPT-4 はある程度の構造化された情報も読み取れることがわかりました。例えば、ある程度の表現力がある JSON として保存すれば、読み取ることもできます。さらに、入力効果は ChatGPT よりも優れており、基本的に明らかなエラーは見つかりません。

Q3: 多変量時系列構造化データテーブルのモデリングについて、モデリングのための良いアイデアはありますか?

A3: シリアル化モデリングを行う際に、位置埋め込みに似たタイムスタンプを追加するアプローチを参考にできると思います。これが最も直接的な方法です。

Q4: ナレッジグラフ研究における GPT の最大の課題とインスピレーションは何ですか?今後、ナレッジグラフの研究に根本的な変化はあるでしょうか?

A4: それは確かに今考える価値のある質問だと思います。これが、私たちがこのサミットを開催している理由でもあると思います。知識をパラメータ化された形式で保存することは非常に良いことだと誰もが認識しており、多くの場合、基本的に知識グラフを検索したり外部の知識を取得したりする必要がなく、適切な答えが得られるからです。たとえば、新しい Bing を使用すると、リアルタイム検索を通じて補足としてテキスト情報を返すことができるため、タイムリーさと正確性が明らかに向上します。このプロセス全体において、地図が果たす役割は確かに検討する価値があります。個人的には、方法を見つけられると感じています。いくつかの記事では、モデルを使用してグラフを復元し、グラフ内のノードを予測できることが示唆されています。私のモデルに知識を埋め込むこの方法は、元のテキストを最初にマスクしてから復元して、テキストのコンテキストを学習できるようにする方法に似ていると言えます。次に、グラフ内のノードを削除し、モデルにグラフを復元させると、さまざまな知識間の相関関係を学習できます。確かに答えるのが難しい質問です。