GPT-3オープンソースのPutianバージョン：事前学習済みモデルGPT Neoと同等の再現

[[389187]]

GPT-3 はオープンソースですか? Eleuther AI のオープンソース プロジェクト GPT-Neo: Colab で微調整できる、GPT-3 と同等の再現可能な事前トレーニング済みモデル (13 億および 27 億) を公開しました。

...もちろん、この GPT-3 はあの GPT-3 ではありません。

最近、Eleuther AI は GitHub で GPT-Neo というオープンソース プロジェクトを立ち上げました。これは GPT-3 と同等の再現事前トレーニング済みモデル (13 億および 27 億) であり、Colab で微調整できます。

GPT-Neo は、実際の G​​PT-3 と比較するとパラメータ数はまだ少ないですが (より大きなバージョンでも、最小の GPT-3 モデルと同じ数のパラメータしかありません)、オープンソースで無料であり、依然として「同性の友達」としての認知を得ています。

このプロジェクトは現在、GitHub で約 3,000 個のスターを獲得しています。

Eleuther AIは、将来的にはGPT3モデルパラメータの10Bバージョンとオリジナルサイズバージョンをさらにオープンソース化していくとも述べています。

莆田版GPT-3

Eleuther AI の Web サイトでは、GPT-Neo について「GPT アーキテクチャに大まかに基づいたスタイルのトランスフォーマー ベースの言語モデルのシリーズのコード名であり、トレーニングしてオープン ソース化する予定です。主な目標は、GPT-3 のサイズのモデルを複製し、無料で一般にオープン ソース化することです」と説明しています。

途中で、代替アーキテクチャとアテンション タイプを試し、中間モデルを公開し、発見した内容をブログに書き込む予定です。

GPT-Neo モデルは Tensorflow-mesh で構築されており、同期されたモデルとデータの並列処理を使用して GPT-3 以降に拡張できます。

Eleuther AI によれば、ほとんどのモデルを構築し、GPT-2 サイズのモデルをトレーニングし、いくつかの実験的なアーキテクチャを実装したとのことです。

現在のコードベースは、GPT-3 サイズのモデルに拡張できるはずです。

彼らの次のステップは、GPT-2 の規模でモデルを再現するために一生懸命取り組むことです。

「これまで、私たちが 1 つのステップでトレーニングした最大のモデルは、2000 億のパラメータです。」

GPT3: ほとんどの人はそれを買う余裕がない

6月にOpenAIは、いくつかの自然言語ベンチマークで優れた結果を達成した機械学習モデルであるGPT-3の詳細を説明した論文を発表しました。 1,750 億のパラメータ（過去のトレーニング データから学習するモデルの部分）を備えたこのモデルは、この種のモデルとしては最大規模であると同時に、最も複雑なモデルの 1 つでもあり、独自の類推を作成したり、特定のスタイルで記述したり、基本的なコードを完成させたりすることも可能です。

GPT-3 の前身である GPT-2 および GPT-1 と比較すると、OpenAI はモデルやトレーニング データセットをオープンソース化せず、代わりに商用 API を通じてモデルを提供することを選択しました。同社は、OpenAIとビジネス関係にあるマイクロソフトにのみGPT-3のライセンスを供与することで、アクセスをさらに制限することを選択した。

Microsoft は OpenAI に 10 億ドルを投資し、OpenAI の研究をさらに進めるために設計された Azure ホスト型スーパーコンピューターを構築しました。

OpenAI の価格戦略を見てみましょう。

無料探索版（私など） ：3ヶ月間、または10万トークンのいずれか早い方まで無料でご利用いただけます。使用しないとご利用いただけません。

作成バージョン（一般ユーザー） ：月額 100 USD、月額 200 万トークン、超過 1,000 トークンは 8 セントで計算されます。

ビルドバージョン (VIP) : 月額 400 USD、月額 1,000 万トークン、超過 1,000 トークンは 6 セントで計算されます。

スケールエディション（プレミアムエディション） ：大規模な生産レベルのユーザーの場合は、担当者にご連絡いただければ、専用のサービスをご提供いたします。

この 200 万トークンにはいくつの単語を含めることができますか?これは約 3,000 ページのテキストに相当します。

これは直接的ではないかもしれません。たとえば、シェイクスピアの全作品には約 90 万語が含まれており、トークンに換算すると約 120 万語になります。

貧困は人々を進歩させる。

現在、GPT-3 をオープンソースで再現し始めている人もいますが、現時点で最も期待されているのはおそらく GPT-Neo でしょう。

Eleuther AIについて

Eleuther AI は、オープンソースの人工知能研究に取り組む研究者の草の根集団です。

Connor Leahy、Leo Gao、Sid Blackの3人が共同設立したこのプロジェクトは、昨年11月にGPT-Neoオープンソースプロジェクトの立ち上げを発表しました。このプロジェクトはGPTシリーズの設計原則に基づいており、GPTシリーズのさまざまなプロジェクトを再現することを目的としています。

その中でも、シドは世界最高の TPU ハッカーの 1 人です。

しかし、このグループの人々は大騒ぎしすぎていると考える人もいます。

「私が聞いたところによると、彼らは実現不可能な大きな主張をしている。」

「例えば、OpenAI の発表から数日後に DALL-E リポジトリをリリースしましたが、これは壊れていました。また、アーキテクチャが拡張できないため、GPT-3 のコピー数を 15 億コピーにロールバックしました。」

プロジェクトアドレス:
https://github.com/EleutherAI/gpt-neo