ゼロサンプルのパフォーマンスが小サンプルのパフォーマンスを上回り、Google の新しい 1370 億パラメータモデルは GPT-3 よりも強力

[[422681]]

NLP の分野では、事前トレーニングの微調整とプロンプトチューニングの手法により、さまざまなタスクにおける GPT-3 などの大規模モデルのパフォーマンスを向上させることができますが、ゼロショット学習タスクにおけるこのような大規模モデルのパフォーマンスはまだ顕著ではありません。ゼロショットシナリオでのモデルのパフォーマンスをさらに調査するために、GoogleのQuoc Leなどの研究者は、1,370億のパラメータを持つ自己回帰言語モデルBase LMをトレーニングし、そこに新しい命令チューニング技術を採用しました。その結果、命令チューニング技術を備えたモデルは、自然言語推論、読解、オープンドメインの質疑応答などの未知のタスクでゼロショットのパフォーマンスを発揮し、GPT-3の小サンプルのパフォーマンスを上回ることが示されました。

大規模言語モデル (LM) は、少量学習タスクに適していることが示されています。例えば、OpenAIが提案したGPT-3には1750億のパラメータがあり、質問に答えたり、翻訳したり、記事をより良く書いたりできるだけでなく、数学的な計算機能も備えています。微調整なしで複数の NLP ベンチマークで最先端のパフォーマンスを実現します。

しかし、GPT-3 のような大規模言語モデルは、ゼロショット学習タスクではうまく機能しません。たとえば、GPT-3 のゼロショットパフォーマンスは、読解、質問応答、自然言語推論などのタスクでは、数ショットパフォーマンスよりもはるかに劣ります。

この論文では、Google の研究者 Quoc Le らが、ゼロショットの状況で大規模な言語モデルのパフォーマンスを改善し、それによって対象者を拡大するための簡単な方法を探求しています。彼らは、NLP タスクは「この映画のレビューの感情は肯定的か否定的か」や「『お元気ですか』を中国語に翻訳してください」などの自然言語の指示で記述できると考えています。

この研究では、137B のパラメータを持つ事前トレーニング済みモデルを使用し、指示調整タスクを実行して、自然言語指示で表現された 60 を超える NLP タスクを調整しました。彼らは、その結果得られたモデルを Finetuned LANguage Net、つまり FLAN と名付けました。

論文アドレス: https://arxiv.org/pdf/2109.01652.pdf
GitHub アドレス: https://github.com/google-research/flan。

未知のタスクにおける FLAN のゼロショット性能を評価するために、本研究では NLP タスクをタスクタイプに応じて複数のクラスターに分割し、他のクラスターで FLAN 命令を微調整しながら各クラスターを評価します。下の図 1 に示すように、FLAN の自然言語推論能力を評価するために、この研究では、常識的推論、翻訳、感情分析など、他のさまざまな NLP タスクでモデルを微調整しました。この設定により、FLAN は命令チューニングで自然言語推論タスクを実行したことがないため、ゼロショット自然言語推論を実行する能力を評価できます。

評価の結果、FLAN によってモデルのゼロショットパフォーマンスが大幅に向上することが示されました (ベース 137B パラメータ)。 FLAN ゼロショットは、25 の評価タスクのうち 19 で 175B パラメータの GPT-3 ゼロショットを上回り、ANLI、RTE、BoolQ、AI2-ARC、OpenbookQA、StoryCloze などの多くのタスクでは GPT-3 フューショットを大幅に上回ります。アブレーション研究では、命令正規化におけるタスククラスターの数を増やすと、未知のタスクに対するモデルのパフォーマンスが向上し、命令正規化の利点はモデルが十分に大きい場合にのみ現れることがわかりました。

この研究の実証的結果は、自然言語の指示を使用してタスクを記述する言語モデルの能力を強調しています。より広い意味では、図 2 に示すように、命令チューニングは事前トレーニングと微調整の機能と微調整監督の使用を組み合わせて、推論時にテキストのやり取りに応答する言語モデルの能力を向上させます。

FLAN: 命令チューニングによるゼロショット学習の改善

命令チューニングの目的は、NLP 命令に応答する言語モデルの能力を向上させ、監督を使用して命令に記述されたタスクを実行するように LM に教えることです。言語モデルは、目に見えないタスクに対しても指示に従うことを学習します。未知のタスクにおけるモデルのパフォーマンスを評価するために、この研究では、タスクをタスクの種類に応じて複数のクラスターに分割し、他のクラスターが指示を調整している間に、1 つのタスククラスターを評価用に確保しました。

タスクとテンプレート

この研究では、Tensorflow Datasets に公開されている 62 個のテキストデータセット (言語理解および言語生成タスクを含む) を集約しました。下の図 3 は、この研究で使用されたすべてのデータセットを示しています。各データセットは 12 個のタスククラスターのいずれかに分類され、各クラスター内のデータセットは同じタスクタイプを持ちます。

この研究では、タスクをデータセットによって与えられた特定の入力と出力のペアのセットとして定義します。研究者は、各タスクについて、自然言語の指示を使用してタスクを説明する 10 個の固有のテンプレートを手動で作成しました。 10 個のテンプレートのほとんどは元のタスクを説明していますが、多様性を高めるために、研究者は各タスクに対して最大 3 つの「タスクを逆転させた」テンプレートを提供しています。下の図 4 は、自然言語推論タスク用の複数の指示テンプレートを示しています。

トレーニングの詳細

モデルアーキテクチャと事前トレーニング。実験では、密な左から右、デコーダーのみ、137B パラメータのトランスフォーマー言語モデルを使用しました。このモデルは、Web ドキュメント (コンピュータコードを含むドキュメントを含む)、会話データ、Wikipedia のセットで事前トレーニングされており、SentencePiece ライブラリ (Kudo & Richardson、2018) を使用して 2.81T BPE トークンと 32K トークンの語彙にトークン化されています。事前トレーニングデータの約 10% は英語以外です。このデータセットは GPT-3 トレーニングセットほどクリーンではなく、会話とコードが混在しています。

実験結果

研究者らは、自然言語推論、読解、オープンドメインの質問応答、常識的推論、共参照解決、翻訳など、複数のタスクにおける FLAN のパフォーマンスを評価しました。各タスクについて、すべてのテンプレートにわたるパフォーマンスの平均と標準誤差が報告されます。これは、一般的な自然言語の指示が与えられた場合の FLAN の予想されるパフォーマンスを表します。

自然言語推論タスク

以下の表 1 は、さまざまなモデルの自然言語推論テストの結果を示しています。前提と仮説が与えられた場合、モデルは前提が真である場合に仮説が真であることを確認する必要があります。ご覧のとおり、FLAN はすべてのケースで強力なパフォーマンスを示しています。

CB と RTE の異なるテンプレート間で結果に大きなばらつきがあるにもかかわらず、FLAN はプロンプトエンジニアリングなしで 4 つのデータセットすべてでゼロショットおよび少数ショットの GPT-3 を大幅に上回ります。最適な開発テンプレートを使用すると、FLAN は 5 つのデータセットで Few-Shot GPT-3 よりも優れたパフォーマンスを発揮します。 FLAN は、ANLI-R3 データセット上で教師あり BERT を上回ります。

読解力とオープンドメインの質問応答課題

読解課題では、モデルは与えられた文章に関する質問に答えるように求められました。結果は下の表 2 に示されています。 FLAN は、BoolQ および OBQA データセットで GPT-3 を大幅に上回ります。最適な開発テンプレートを使用すると、FLAN は MultiRC データセットで Few-Shot GPT-3 よりもわずかに優れたパフォーマンスを発揮します。

オープンドメインの質問応答タスクでは、FLAN は ARC-easy データセットと ARC-challenge データセットの両方でゼロショットおよび少数ショットの GPT-3 を大幅に上回ります。 Natural Questions データセットでは、FLAN はゼロショット GPT-3 よりも優れていますが、スモールショット GPT-3 よりも弱いです。

常識的推論と共参照解決タスク

5 つの常識推論データセットでのさまざまなモデルの結果を表 3 に示します。FLAN は StoryCloze データセットでは GPT-3 よりも優れており、CoPA および PiQA データセットでは GPT-3 に匹敵します。ただし、HellaSwag および ReCoRD データセットでは、Base LM と FLAN はどちらも GPT-3 よりも弱いです。

両方の共参照解決タスクにおいて、最良の開発テンプレートを使用した FLAN は Winogrande データセットのゼロショット GPT-3 よりも優れていますが、Base LM と FLAN はどちらも WSC273 データセットの GPT-3 よりも劣っています。

翻訳する

研究者らは、GPT-3論文で評価された3つのデータセット（WMT’14のフランス語-英語、WMT’16のドイツ語-英語およびルーマニア語-英語）でFLANの機械翻訳パフォーマンスもテストしました。

テスト結果を以下の表4に示します。Base LM のゼロサンプル翻訳パフォーマンスは弱いですが、小サンプル翻訳結果は GPT-3 に匹敵します。 FLAN は、6 つの評価指標のうち 5 つで、少数ショットの Base LM よりも優れています。 GPT-3 と同様に、FLAN は英語への翻訳タスクで優れたパフォーマンスを示し、教師あり翻訳のベースラインと比較しても優れています。