200語あれば本一冊分は読める。GPT-3はすでに小説の要約を書くことができる

[[425896]]

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

今、AI は 120,000 語の小説をわずか 200 語で読むのを手伝ってくれます。

たとえば、『高慢と偏見』からの 121,567 語の文章は次の通りです。

△画像出典：OpenAI公式サイト

AIは次の4つの段階にまとめることができます。

元のテキストは、最初に 276 の要約 (24,796 語) に要約され、次にさらに 25 の要約 (3,272 語) に圧縮され、最後に 4 つの要約 (475 語) に圧縮されました。

最終的な結果は 175 語の要約であり、これは元のセグメントの 1000 分の 1 の長さにすぎません。

大まかな翻訳の後、主要なプロットを述べます。

このレベルの理解力があれば、あるインスタントラーメン製造機を見たときに涙を流さずにはいられない。

これは、あらゆる長さの本の要約を書くことができる OpenAI の最新モデルです。

平均して、100,000 語を超えるトレーニング テキストは、最終的には 400 語未満に圧縮されます。

これも OpenAI の優れたナイフスキルから生まれたものです。そうです、これはトレーニング用に GPT-3 データセットから書籍/小説の部分を抽出して得られたモデルです。

では、早速、この微調整された GPT-3 モデルを見てみましょう。

再帰的なタスク分解

まず、「テキストの段落を要約する」というタスクをアルゴリズム的に分解してみましょう。

テキストが十分に短い場合は、直接要約します。長い場合は、テキストを小さなチャンクに分割し、各チャンクを再帰的に要約します。

これにより、要約タスク ツリーが形成されます。

リーフ タスクのみが、本の元のテキストに対して動作します。

さらに、生成された要約は同じ深さに配置され、順番に連結される必要があります。

たとえば、上の図の青いタスクの前回の要約出力は、点線で表されています。このように、各要約は前のタスク (前のテキスト) から自然に流れ出るため、離れている段落でも本当に「文脈をつなげる」ことができます。

次に、トレーニングを開始します。

1. 上記のタスク ツリーに従って、書籍とそのサブサマリーを再帰的にタスクにグループ化します。
2. トレーニングを伴うサマリータスクに対応するノードをツリーから抽出します。
3. トレーニング データを取得し、ノードに入力します。
4. トレーニング データを使用してモデルを微調整します。

このうち、すべてのトレーニング データは GPT-3 のブック セクションから取得されます。

研究者たちは、物語性のない本を避け、フィクション（平均10万語以上）を優先した。なぜなら、こうした文脈に重きを置いたテキストは要約作業がより難しいからだ。

このトレーニング プロセスは、新しいモデル、異なるノード サンプリング戦略、および異なるタイプのトレーニング データ (デモと比較) を使用して反復できます。

デモンストレーション データの場合、動作クローニング (BC) に標準のクロス エントロピー損失関数が使用されます。

比較データには、人間の好みに合わせてトレーニングされた報酬モデルに対して強化学習 (RL) が使用されます。

強化学習には、サンプリング タスクの 3 つのバリエーションもあります。

• 木全体
• 最初のサブツリー
• 最初の葉

トレーニングが完了したら、要約が行われ、タスクの最終目標は物語のタイムラインと全体的なテーマをたどることです。

各要約サブタスクの目標は、テキストを 5 ～ 10 倍圧縮し、長さを 128 ～ 384 シンボルに制限することです。

既存の類似モデルよりも優れている

実験段階では、研究者らは、ファンタジー、ホラー、ロマンス、ミステリーなど約20のジャンルを網羅した、Goodreads 2020リストで最も人気のある40冊の本を使用した。

次に、2 人の人間の研究者とモデルに同時に要約を依頼し、両者間の要約品質の一貫性が 80% 近くになることが求められました。

モデルサイズは175Bと6Bに分かれており、トレーニングモードも前述の強化学習の3つのバリアントタスクに分かれています。

最終結果では、最初のサブツリー RL とフルツリー RL の要約タスクが人間のレベルに最も近いことがわかります。

さらに、175B モデルの要約の 5% 以上が 6 点 (7 点満点) を獲得し、要約の 15% 以上が 5 点を獲得しました。

研究チームは、最近提案された BookSum データセットでもこれをテストしましたが、結果は既存の長文要約モデルよりも優れていました。

また、要約が原文に対する疑問に答えられるかどうかも評価方法の一つです。

そこで、チームは要約モデルを NarrativeQA の質問応答データセットに適用し、質問応答について明示的にトレーニングされていないにもかかわらず、すべての指標で最先端の結果を達成したことを確認しました。

著者について

この研究はOpenAIのOpenAI Alignmentチームによるもので、同チームは現時点でこのモデルをオープンソース化する計画はないと述べた。

論文の筆頭著者であるジェフ・ウー氏はMITで学士号と修士号を取得し、OpenAIに入社する前はGoogleで働いていた。

共同筆頭著者の Long Ouyang 氏は、ハーバード大学で学士号を取得し、スタンフォード大学で認知心理学の博士号を取得しました。彼の主な研究分野は、認知科学と確率的プログラミングです。

紙：
https://arxiv.org/abs/2109.10862

OpenAI公式サイト紹介:
https://openai.com/blog/summarizing-books/