世界中で人気のGPT-3がなぜ人々の仕事を破壊しているのか？

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

GPT-3 は、サンフランシスコの AI 企業である OpenAI によって開発された、生成型事前トレーニング済み Transformer の第 3 世代を指します。このプログラムは数年にわたって開発されており、最近では AI テキスト生成の分野で革新の波を巻き起こしています。

多くの点で、これらの進歩は 2012 年以降に起こった AI 画像処理の飛躍的進歩に似ています。

コンピュータービジョン技術は、自動運転車から顔認識、ドローンまであらゆるものの開発を促進してきました。したがって、GPT-3 やその類似品の新しい機能が同様に広範囲にわたる影響を及ぼす可能性があると考えるのは当然です。

すべてのディープラーニング システムと同様に、GPT-3 はデータのモデルです。膨大なテキストコレクションでトレーニングされ、統計的な規則性に基づいてマイニングされます。

重要なのは、このプロセスでは人間の介入は必要ないということです。プログラムは、指示なしに情報を検索し、それを使用してテキスト プロンプトを完成させます。

膨大なトレーニングデータ

GPT-3 が特別なのは、それが動作する規模と、達成できるタスクの驚くべき範囲です。

GPT の最初のバージョンは 2018 年にリリースされ、1 億 1,700 万個のパラメータが含まれていました。 2019年にリリースされたGPT-2には15億個のパラメータが含まれています。

比較すると、GPT-3 には 1,750 億のパラメーターがあり、これは前身の 100 倍、同種のこれまでの最大の NLP モデルの 10 倍に相当します。

GPT-3 のトレーニング データ セットも非常に大きいです。英語版ウィキペディア全体（約 600 万エントリ）は、トレーニング データのわずか 0.6% を占めるだけです。

残りのトレーニング データは、デジタル化された書籍やさまざまな Web リンクから取得されます。これには、ニュース記事、レシピ、詩などだけでなく、プログラミング コード、SF、宗教的予言など、想像できるほぼすべてのテキストが含まれます。

インターネットにアップロードされたあらゆる種類のテキストは、不快なコンテンツも含めて、トレーニング データになる可能性があります。たとえば、疑似科学、陰謀論、人種差別などです。このコンテンツも AI に提供されます。

この驚くべき深さと複雑さは出力の複雑さにつながり、GPT-3 を非常に柔軟なツールにします。

過去数週間にわたり、OpenAI は GPT-3 商用 API を AI コミュニティのメンバーに提供することで、こうした実験を奨励してきました。これにより、多くの新しい用途が生まれました。

以下は、GPT-3 を使って作成されたもののほんの一部です。

GPT-3でできること

1.質問ベースの検索エンジン: Google と同様に、質問を入力すると、GPT-3 が回答として関連する Wikipedia の URL に誘導します。

2.歴史上の人物と会話するチャットボット：GPT-3は多くのデジタル化された書籍でトレーニングされているため、特定の哲学者に関連する多くの知識を吸収しています。つまり、GPT-3 を起動して、哲学者バートランド・ラッセルのように話させることができるのです。

3. いくつかのサンプルを使って言語と文法の問題を解きます。

4.テキスト記述に基づくコード生成: シンプルなテキストを使用して、選択したデザイン要素またはページ レイアウトを記述すると、GPT-3 が関連するコードをポップアップ表示します。

5.医学的な質問に答える: 英国の医学生が GPT-3 を使用して医療に関する質問に答えました。プログラムは正しい答えを出すだけでなく、その根底にある生物学的メカニズムも正しく説明しました。

6. テキストベースのアドベンチャーゲーム。

7.テキストのスタイル転送: 特定の形式で記述された入力テキストが与えられると、GPT-3 はそれを別の形式に変換できます。

8.ギター音楽を書く: これは、GPT-3 が独自に音楽を生成できることを意味します。

9. 創作小説を書く。

10.画像を自動的に完成させる: この作業は、GPT-2 と OpenAI チームによって行われました。これは、同じ基本的な GPT アーキテクチャを単語ではなくピクセルでトレーニングでき、テキストと同様に視覚データでタスクを自動完了できることを示しています。

ただし、これらのサンプルをすべて理解するには、何らかのコンテキストが必要です。さらに印象的なのは、GPT-3 が特定のタスクを完了するようにトレーニングされていないことです。

GPT-2 を含む共通言語モデルでは、基本レベルのトレーニングが必要であり、その後、特定のタスクを実行するために微調整されます。

しかし、GPT-3 では微調整は必要ありません。文法パズルの場合、必要な出力タイプのサンプルが数個だけ必要です（「少量学習」と呼ばれます）。

GPT-3 は非常に大規模なので、これらすべての異なる機能をその中に実装できます。ユーザーは正しいプロンプトを入力するだけで調整できます。

しかし、オンラインで流通しているコンテンツには別の問題があります。これらは慎重に選択されたサンプルであり、生成された結果は間違いなく 1 つ以上あります。誇大宣伝の要素があるに違いない。

AI研究者のデリップ・ラオ氏がGPT-3に関する誇大宣伝を分析する記事で指摘しているように、このソフトウェアの初期のデモの多くは、AIによって可能になる新しいスタートアップに目を向け、この技術の可能性を宣伝し、その落とし穴を無視することに熱心なシリコンバレーの起業家たちによるものだった。

実際、誇大宣伝は非常に激しくなり、OpenAI の CEO 自身が GPT-3 は誇大宣伝されすぎているとツイートしました。

GPT-3も愚かな間違いを犯す

GPT-3 はコードを記述できますが、全体的な有用性を判断するのは困難です。それは乱雑なコードですか? また、そのようなコードは人間の開発者にとってより多くの問題を引き起こしますか?

詳細なテストを行わないと何とも言えませんが、GPT-3 は他の領域では重大なミスを犯していることがわかっています。

ユーザーが GPT-3 によって作成された「ジョブズ」に話しかけて、現在どこにいるかを尋ねると、この「ジョブズ」は「カリフォルニア州クパチーノの Apple 本社にいます」と答えます。これは首尾一貫した答えですが、信頼できる答えであるとは言い難いです。

GPT-3 は、雑学クイズや基本的な数学の問題に答えるときにも同様の間違いを犯すことがあります。例えば、100万より前の数字を正しく答えることができませんでした（答えは990,000でした）。

しかし、これらのエラーの重要性と蔓延度を評価することは困難です。

ほぼすべての質問に答えることができるこのプログラムの正確さをどのように判断すればよいでしょうか? GPT-3 の「知識」の体系的なマップをどのように作成し、どのようにラベル付けするのでしょうか?

GPT-3 は間違いを頻繁に起こしますが、より難しいのは、入力されたテキストを微調整することで間違いを修正できることです。

GPT-3を使ってこの小説を作成した研究者のブランウェン氏は、「サンプリングによって知識の存在は証明できるが、知識の欠如は証明できない」と指摘し、GPT-3の出力の多くのエラーはプロンプトを微調整することで修正できると述べた。

ある誤ったデモンストレーションでは、GPT-3 に「トースターと鉛筆ではどちらが重いですか?」と質問したところ、「鉛筆はトースターより重いです」と答えました。

しかしブランウェン氏は、質問をする前に機械に特定のヒントを与えて、やかんの方が猫より重いとか、海の方が塵より重いとか伝えれば、機械は正しい答えを返すだろうと指摘する。

これは難しいプロセスになる可能性がありますが、トレーニング方法を知っていれば GPT-3 が正しい答えを得られることがわかります。

ブランウェン氏は、このような微調整が最終的にはコーディングのパラダイムになる可能性があると考えています。プログラミング言語がコーディングをよりスムーズにするために特殊な構文を使用するのと同じように、将来的にはこれらのプログラミング言語を完全に放棄し、自然言語のみでプログラミングするようになるかもしれません。実践者は、プログラムの弱点を考慮し、それに応じてプロンプトを調整することで、プログラムから正しい応答を引き出すことができます。

GPT-3 のエラーは別の疑問を提起します。プログラムの信頼性の低さが、その全体的な有用性を損なうのでしょうか?

顧客サービスロボットの作成から自動コンテンツレビューまで、GPT-3 のあらゆる用途が試されてきました。しかし、回答内容に誤りがあると、企業にとって重大な結果を招く可能性があります。

時々顧客を侮辱するようなカスタマーサービスロボットを作成する理由は誰にもありません。回答が信頼できるかどうかを知る方法がなければ、GPT-3 を教育ツールとして使用することはあえてできません。

専門家のコメント

Googleの匿名の上級AI研究者は、GPT-3は、より小規模で安価なAIプログラムでも実行できるいくつかの些細なタスクしか自動化できないと考えていると述べ、このプログラムの絶対的な信頼性の低さが、最終的には商業利用を損なうことになるだろうと語った。

研究者は、GPT-3 は多くの複雑なエンジニアリングの調整なしでは実際の使用にはまだ準備ができていないと指摘した。

「GPT-3はしばしば、本を読み終えていない賢い学生のように振る舞い、よく知られた事実のようなナンセンスと真っ赤な嘘を織り交ぜて、本を滑らかな物語のように見せかけようとする」とAI研究者のジュリアン・トゲリウス氏は述べた。

もうひとつの深刻な問題は、GPT-3 の出力が偏っていることです。 NvidiaのAI専門家であるアニマ・アナンドクマール教授は、GPT-3はRedditからフィルタリングされたデータで部分的にトレーニングされており、このデータに基づいて構築されたモデルは「驚くほど偏った」テキストを生成したと指摘した。

GPT-2 の出力では、次の文を完成させるように求められると、モデルはさまざまな差別的な文を生成します。「黒人男性（15 年間ポン引きとして働いていた）」、「女性（ハリヤという名前で売春婦として働いていた）」。