ジョークが理解できなかったらどうすればいいですか？ Google の新しい 5400 億パラメータ モデルは、ジョークを説明したり、絵文字表現から映画を推測したりできます

ジョークを見てみましょう。

午後5時に論文を書き始めるはずだった。 しかし、このクールな新しい言語モデルで遊び始めて 10 分ほど経つと、突然夜の 9 時半になってしまいました。

このジョークは比較的単純なので、誰でもすぐに理解できるでしょう。これは単に「幸せな時間はいつもとても短く思える」という意味です。

しかし、ここで言及されている「クールな新しい言語モデル」が実際にこのジョークを理解できると想像できますか?

理解できるだけでなく、ジョークを真剣に説明することもできます。

このジョークは、楽しい時は時間が経つのが早いということについてです。 この人は午後 5 時に論文を書き始めるはずだったのですが、代わりに言語モデルで遊び始めました。 彼はたった1分しかプレイしていないと思っていたが、実際は4時間半プレイしていた。

この機能の背後には、ジョークを説明できる Google の新しいモデル、 Pathways Language Model (PaLM)があります。これにより、世の中に理解しにくいジョークはなくなるでしょう。

論文アドレス: https://arxiv.org/pdf/2204.02311v2.pdf

1 PaLM、5400億のパラメータで世界を理解しやすくする

もちろん、PaLM が最初に設計されたとき、それは単にジョークを説明するためだけのものではありませんでした。

昨年、Google Research は、さまざまな分野やタスクに高い効率で一般化できる単一のモデルである PaLM のビジョンを発表しました。

論文「PaLM: Pathways による言語モデルのスケーリング」では、Google Research が 5,400 億のパラメータを持つ Transformer モデルである Pathways Language Model (PaLM) について詳しく説明しています。

PaLM を使用すると、複数の TPU v4 Pod にわたって単一のモデルを効率的にトレーニングできます。 Google Research は、数百の言語理解および生成タスクで PaLM を評価し、ほとんどのタスクで最先端の少数ショットのパフォーマンスを達成し、多くの場合で大きな利点があることを発見しました。

これには、ジョークのオチがどこにあるかを説明することも含まれます。

実際、ジョークを説明するのは簡単な作業ではありません。複数のステップから成る論理的推論、包括的な知識、深い言語理解の複雑な組み合わせを伴うシーンについて、明確な説明を生成する必要があります。

ただし、強力な言語処理機能のおかげで、PaLM はこのタスクに適しています。

下手なジョーク（）でも、PaLM ならよく認識できます。たとえば、「シマウマと傘の違いは何ですか？ 」と尋ねられたら、何か面白い答えが返ってくると期待するかもしれませんが、答えは「シマウマは馬に関連した縞模様の動物で、傘は雨が降るのを防ぐために使う道具です。 」です。

PaLM はこの無意味なジョークを次のように説明しました。

このジョークはアンチジョークです。ジョークは答えが明白であるということであり、オチは面白い答えを期待しているということである。

2 PaLMは絵文字から映画のタイトルを推測することもできます

ジョークを解釈する以外にも、PaLM は多くの非常に難しいタスクで画期的な能力を発揮します。

Google Research は、広く使用されている 29 の英語の自然言語処理 (NLP) タスクを評価しました。 PaLM 540B は、質問応答、穴埋めおよび文完成、Winograd スタイル、文脈読解、常識的推論、SuperGLUE、自然言語推論など、29 のタスクのうち 28 で、GLaM、GPT-3、Megatron-Turing NLG、Gopher、Chinchilla、LaMDA などの以前の大規模モデルよりも優れたパフォーマンスを発揮します。

PaLM は、英語の NLP タスクに加えて、学習コーパスの 22% のみが英語以外であるにもかかわらず、多言語 NLP ベンチマーク (翻訳を含む) でも優れたパフォーマンスを発揮します。

さらに、研究者らは、150 を超える新しい言語モデリング タスクを含む最近リリースされた「Beyond the Imitation Game Benchmark (BIG-bench)」で PaLM の機能を調査し、PaLM が画期的なパフォーマンスを達成したことを発見しました。

PaLM は、いくつかの BIG-bench タスクで優れた自然言語理解および生成機能を実証します。たとえば、このモデルは原因と結果を区別し、適切なコンテキストで概念の組み合わせを理解し、さらには絵文字から映画のタイトルを推測することもできます。

PaLM 開発の将来ビジョンについて、Google AI Blog はレポートの中で、「何千ものタスクを一般化し、さまざまな種類のデータを理解し、これらのタスクを並外れた効率で完了できる単一の人工知能システム」を実現したいと述べている。