コードを入力すること、詩を書くこと、論文を書くこと、すべてが可能です!史上最大のAIモデルGPT-3がGithubを席巻

[[334935]]

最近、GPT-3が人気になってきました！インターネット上で GPT-3 のさまざまなデモをご覧になったことがあると思います。 OpenAI によって作成されたこの大規模な機械学習モデルは、独自の論文を書くだけでなく、詩を作曲したり、独自のコードを書いたりすることもできます。

GPT-3 の威力を見てみましょう。まず、質問応答タスクにおける GPT3 のパフォーマンスを見てみましょう。

あなたの質問が素晴らしい頭の体操であろうと、高度に論理的な数学の問題であろうと、それは流暢に答えることができます。

開発者の Sharif Shameem 氏は、ビデオに示されているように、必要なレイアウトを入力するだけで JSX コードを生成するジェネレーターを GPT-3 を使用して作成しました。

また、誰かが Google スプレッドシートで新しい GPT3 関数を開発しました。この関数は、簡単な数学演算に加えて、米国の各州の人口と建国年を自動的に見つけることができます。

さらに、Twitter アカウントも見つけることができます:

残念ながら、GPT-3 を試したい場合は、まず試用ライセンスを取得する必要がありますが、このモデルによって作成されるアプリケーションは無限にあるようです。これを通じて、平易な英語で SQL データベースをクエリしたり、コードに自動的に注釈を付けたり、コードを自動的に生成したり、人気のある記事のタイトルを書いたり、さらには人気のある記事を書くのを手伝ったりすることができます。

GPT-3とは何ですか?

GPT-3 はニューラル ネットワークを活用した言語モデルです。ほとんどの言語モデルと同様に、GPT-3 はラベルなしのテキスト データセット (トレーニング データには Common Crawl と Wikipedia が含まれます) で広範囲にトレーニングされます。テキストから単語やフレーズがランダムに削除され、モデルは周囲の単語のみをコンテキストとして使用して単語やフレーズを埋めることを学習する必要があります。これは、強力で一般化可能なモデルを生成する単純なトレーニング タスクです。

GPT-3 モデル アーキテクチャ自体は、単方向トランスフォーマー言語モデルに基づいています。このアーキテクチャは 2 ～ 3 年前に人気になりました。人気の NLP モデル BERT と GPT-3 の前身である GPT-2 はどちらもトランスフォーマー上に構築されています。アーキテクチャの観点から見ると、GPT-3 は実はあまり目新しいものではありません。

GPT-3 が人気の理由は、モデルサイズが 1,750 億にまで増加し、45 TB のデータを使用してトレーニングされているため、これまでに作成された最大の言語モデルとなっていることです。巨大なパラメータモデルのおかげで、他のモデルではできない多くのことを実現できます。前述のように、翻訳者、作家、詩人、プログラマーなどにすることができます。

GPT-3 の 1750 億のモデルパラメータが少し抽象的だと思うなら、例を挙げて理解してもらえるはずです。

• BERTモデルには3億のパラメータがある
• GPT-3モデルの前身であるGPT-2には15億のパラメータがある
• NvidiaのMegatron-BERTには80億のパラメータがある
• 170億のパラメータを持つMicrosoft Turing NLP

2位のMicrosoft Turing NLPのデータパラメータでさえ、GPT-3と同じレベルではありません。

GPT-3 論文の著者は 31 名で、論文は 72 ページにも及ぶことは特筆に値します。ネットユーザーからは、「論文のページ数を競い合うのは PTM の仕事なのか?」という声が上がっています。

いつものように、GPT-3 はすぐに GitHub プロジェクト ページをリリースしました。そこではさまざまな興味深いデモを見つけることができ、最後に Github アドレス: https://github.com/openai/gpt-3 も見つかります。