GPT-3 がプログラミングを支配: AI はコーディングの仕事を殺すのか?

[[338796]]

2017年に研究者たちは「2040年までにAIがほとんどのコードを書くようになるだろうか？」と問いかけました。現在ではOpenAIのGPT-3がベータテスターに​​よって使用され、すでにあらゆる言語でコードを書けるようになっているため、機械主導のコーディングはもうすぐ目の前です。

GPT-3 は数千億語、さらにはインターネット全体を対象にトレーニングされているため、CSS、JSX、Python でコーディングできます。 GPT-3 のトレーニング データはすでに包括的であるため、複数の言語タスクでトレーニングする必要はありません。代わりに、些細な指示が与えられた場合、ネットワークは目の前のタスクのみに制限されました。

GPT-nの進化

GPT は、教師あり学習と教師なし事前トレーニングを組み合わせる（または教師なしステップのパラメータを教師あり学習の開始点として使用する）ことで、言語タスクで最先端の結果を実現します。後継機と比較すると、GPT はわずか数千冊の本と 8 基の GPU マシンでトレーニングされた小さなものです。

GPT-2 は大幅に大きく、10 倍のパラメータが含まれ、10 倍以上のトレーニング データを提供します。それでも、データセットは比較的限られており、「少なくとも3つのカルマを獲得したRedditからのリンク」で特にトレーニングされました。GPT-2は「カメレオンのような」合成テキストジェネレーターと説明されていますが、質問応答の要約や翻訳などの下流のタスクでは最先端のものではありません。

GPT-3 は人工知能の分野における画期的な成果であり、一連のタスクにおいて最も高度なレベルに到達しています。その主な画期的な点は、特定のタスクに合わせて微調整する必要がなくなったことです。規模に関して言えば、モデルは再び大幅に拡大し、パラメータ数は 1,750 億に達し、前世代の 116 倍になりました。

GPT-3 はトレーニングをまったく必要とせず (ゼロショット学習の例)、すでに優れたパフォーマンスは、わずか 1 回または 2 回のショットでさらに向上します。

成長するか死ぬか

現在、次のようなことが起こっています。ベータ テスターは GPT-3 を使用して動作するコードを生成していますが、これには多少の知識が必要です。ボタンからデータ テーブル、さらには Google のホームページの再構築まで、すべてゼロ ショット学習で実行できます。

人工知能の急速な発展に加えて、他の2つの主要な技術トレンド、ノーコードと自動機械学習が、将来プログラミングの仕事がもはや「楽な仕事」ではなくなるという現実を悪化させています。

コード不要の分析: 誰もがデータ サイエンティストになれる

ノーコードとは、Web サイト、デザイン、データ分析、モックアップなど、誰でも簡単に新しい製品を構築できるビジュアル ツールを指します。 WordPress、Wix、Shopify は、開発者やデザイナーを雇わずに何百万人もの人々が独力で物事を行えるようにしたノーコード ツールの典型的な例です。

2つ目のトレンドは、AI制作に必要な時間を大幅に短縮するAutoML（自動機械学習）です。

AutoML はデータ サイエンティストの終焉となるでしょうか?

Apteo のようなツールは、コーディング スキルがなくても AI モデルを展開できるようにすることで、こうしたトレンドを活用します。 GPT-3 は、ノーコードと自動化された機械学習の新たな波を先導し、多くの潜在的な雇用主が高価なプログラマーを雇うよりもこれらのツールを選択するでしょう。

もちろん、最もスキルの低いプログラマーが真っ先に解雇され、他の分野と同様に、専門家はより長い雇用保障を享受することになるだろう。

コードだけでなく、GPT-3はあらゆる言語タスクに適用できます

GPT-3 を特定の言語タスクに向けるには、達成したいことの例を入力するだけです。 GPT-3 に直接コードを書き込むことも、詩や音楽メディアのレビュー、その他のテキストを直接書き込むこともできます。

たとえば、ニュース記事を生成したい場合は、「合同メソジスト教会が歴史的分裂に同意」のようなメインタイトルと、「同性結婚に反対する人々は独自の派閥を形成する」のようなサブタイトルを入力します。

これらを入力すると、GPT-3 は次の結果を生成します。

ワシントン・ポスト紙は、2日間の激しい議論の末、合同メソジスト教会は歴史的な分裂に同意したと報じた。この分裂は「神学的にも社会的にも保守的な」新しい宗派の創設で終わるとみられている。 5月に行われた同教会の年次総会に出席した代表者の大多数は、LGBTQ聖職者の叙任禁止を強化し、同性婚を司る聖職者に「罰則を課す」新たな規則を制定することに投票した。しかし、この措置に反対する人たちは新たな計画を立てている。彼らは、2020年にクリスチャン・メソジスト・エピスコパル教会と呼ばれる教会で別の宗派を結成すると主張している…

この文章は88%の人々を騙し、人工知能によって書かれたものだと信じたのはわずか12%だった。

人間と同じように、GPT-3 も例文に基づいて新しい単語を学習できます。たとえば、次の文脈を考えてみましょう。「Burringo」は​​、非常に速く加速する車です。 GPT-3 の出力は次のようになります: 私たちのガレージには Burringo があり、父は毎日それを運転して仕事に行きます。

これらの結果は非常に印象的です。人工知能は必然的な進化の過程にあり、現在のパフォーマンスに対するいかなる批判もその急速な反復によって打ち砕かれるでしょう。

言語だけではない — 画像にも適用される GPT

GPT はコードを記述したり、何でも記述できるだけでなく、画像を生成することもできます。同じモデル アーキテクチャをテキスト エンコーディングではなくピクセル シーケンスでトレーニングして、テキストの代わりに新しい画像を生成できます。実際、この機能は非常に優れているため、トップクラスの CNN とさえ競争できるほどです。

これは、GPT (およびその後継製品) が将来エンコーダーを置き換える可能性があるだけでなく、その汎用性により業界全体を置き換える可能性もあることを示唆しています。

GPT-3 の驚異的なパフォーマンスにより、私たちはこれまで以上にスーパーインテリジェンスに近づいている、あるいは少なくとも AI 生成コードは私たちが考えていたよりも近づいており、創造的で洞察力に富み、奥深く、さらには美しいコンテンツを生み出すことができると多くの人が信じるようになりました。未来はここにあります。

この記事はWeChatの公開アカウント「Reading the Core」から転載したもので、以下のQRコードからフォローできます。この記事を転載する場合は、Duxinshu の公開アカウントにご連絡ください。