8,000 語の作文を書いている途中で間違いに気付いた場合はどうすればよいでしょうか? GPT-3の新バージョン: 恐れることはありません、変更できます

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

先ほど、OpenAI は公式ブログと Twitter で次のように発表しました。

GPT-3 には、編集と挿入という 2 つの新しい機能が追加されており、テキストを予測するだけでなく、既存のコンテンツを変更できます。 APIが公開されました。

すぐに1000以上のいいねを獲得しました。​

以下の熱狂的なネットユーザーはすぐにコメントした。

このアイデアでビジネスを始めるにはどうすればいいでしょうか?誰かアドバイスをくれませんか？

別のネットユーザーはこう返信した。

GPT-3に質問することができます。 （笑、くすぐったかったです）

GPT-3は2020年4月のリリース以来、1750億のパラメータで人工知能分野で大きなセンセーションを巻き起こし、さまざまな問題に関する「熱心なオンラインQ＆A」でも人気を博し、「預言者」のような魔法で多くのフォロワーを獲得しました。約2年が経過した今、OpenAIは新機能をリリースしました。GPTシリーズでは、OpenAIの「魔法の」言語モデルの夢が輝き続けていることがわかります。

実際、過去 2 年間、OpenAI は GPT-3 を継続的に更新してきました。たとえば、昨年 11 月、OpenAI は GPT-3 が一定レベルの論理的推論能力を習得し、小学校の算数の問題で 55 点を獲得できる (ほぼ合格!) と主張しました。

では、OpenAI が今回 GPT-3 に与えた新しい魔法とは一体何なのでしょうか?見てみましょう。

1「編集」と「挿入」

OpenAIの公式ブログによると、同社がリリースしたGPT-3とCodexの新バージョンでは、既存のテキストに基づいて新しいコンテンツを編集したり挿入したりできるという。

これは古いバージョンとは異なります。古い GPT-3 は一方通行の道路を運転しているように、すべてを書き留めていましたが、新しい GPT-3 は、テキストやコードの一部を書き換えるなど、既存のコンテンツを変更でき、車線変更や U ターンができる双方向の複数車線の道路を運転しているようなものです。

それはどういう意味ですか？つまり、GPT-3 には一定の「エラー訂正」能力があるということです。中国の古い諺にあるように、この村を見逃さなければ、この店も見逃すことになる。どうしても見逃してしまった場合は、迂回して希望の目的地を見つけることもできます。

もちろん、「挿入」は GPT-3 の新バージョンの最初の機能ではありません。GitHub Copilot にも以前からこの機能があり、良い結果が得られました。

図1: GitHub Copilotはコードの末尾に直接コードを追加します

旧来の GPT-3 および Codex の「挿入」機能も GitHub Copilot に似ており、既存のテキストに基づいて既存のテキストの末尾にコンテンツを追加します。

新しい GPT-3 と Codex では、テキストの途中で新しいコンテンツを編集、変更、または追加できます。これは明らかに、私たち人間の考え方や書き方に沿ったものです。つまり、多くの単語を書いた後、「自分自身に高い基準を設定しすぎた」ため、または期待に応えられなかったために、最初からやり直さなければならないことがよくあります。

(上記の状況は、上司への業務報告書の作成、コーディングとバグ修正、バレンタインデーに好きな女の子へのラブレターの作成など、正当なシナリオでは一般的です。)

(この問題がある場合は、GPT-3 が役に立ちます)

入れる

GPT-3は、独自の技術的蓄積を頼りに、「テキストに新しいコンテンツをどのように挿入するか」を判断することにおいて高いレベルに到達しています。

以下の例に示すように、GPT-3 はアウトライン内の 2 つのセクション見出しのテキストを入力しようとします。以下の内容を参照しないと、モデルはセクション 2 に関係のないテキストを生成する可能性があります。以下の内容を考慮に入れると、モデルは 2 つの部分をうまく結び付けることができるテキストを生成します。​

コード編集では、「挿入」機能が大きな役割を果たします。 OpenAIは、「挿入」機能を研究する最初の動機はCodexだったと述べた。その理由は、ソフトウェア開発において、プログラマーは前後のコードを参照したり、既存の文書の途中に新しいコードを挿入したりする必要があることがよくあるからだ。

次の図に示すように、GPT-3 は不足している関数のプルーニングを正常に完了し、記述されたコードをリンクできます。繰り返しますが、この機能にはコンテキストが必要です。​

挿入機能は、リリースされた API のベータ バージョンで試用できます。

編集

ここでの「編集」は、古い GPT-3 のように既存のテキストに沿って後続の書き込みを完了することではなく、既存のテキストを「変更」することに重点を置いていることに注意してください。

また、空のプロンプトでも編集がうまく機能し、次のようなテキスト生成が可能になることも確認しました。  補完エンドポイント。上記の例では、編集を使用して、(1)詩を追加し、(2)詩を一人称に変更し、(3)適切な挨拶と署名を付けて詩を手紙に変換します。

既存のテキストを「プロンプト」として指定し、それを変更する方法を指示することで、新しい GPT-3 は既存のテキストのトーンと構造を変更したり、単語のスペルを変更するなど、対象を絞った変更を加えたりすることができます。

たとえば、以下の例では、GPT-3 の新しいバージョンを使用して、次の「編集」を行うことができます。1) 詩を追加する。2) 詩を一人称で書くように変更する。3) 詩を適切な挨拶と署名が付いた手紙に変換する。​

コードを記述するときに、「編集」エンドポイントを使用すると、リファクタリング、ドキュメントの追加、プログラミング言語の翻訳、コーディング スタイルの変更などを行うことができます。

以下の例に示すように、モデルは人口順にランク付けされた都市を含む JSON 入力から開始できます。最初の編集では、Codex は JSON からランク フィールドを削除し、州の略語をフルネームに変更しました。 2 番目の編集では、JSON ファイルを関数から返された YAML に変換します。​

2 GPT-3 の新しいバージョンをプレイするには?

2021年初頭、Li Hongyi氏はGPT-3を「暗黒大陸からのモデル」と呼んだ。 GPT-3 の新バージョンでは、テキスト編集においてさらに「人間のような」機能が追加されたのですが、Li 氏はそれについて何と言うでしょうか?

GPT-3が初めてリリースされたとき、AIテクノロジーレビューは 文章を書いたり、質問したり、メールに返信したりなど、GPT-3 で遊ぶ 50 の方法。しかし当時、GPT-3 はテストの回答の一部に論理性が欠けており、証拠を提供できないとして批判されていました。

たとえば、実験者が GPT-3 に「COVID-19 のパンデミックはいつ終わるのか」と尋ねたところ、GPT-3 の答えは「2023 年 12 月 31 日」でした。

これは将来の日なので、GPT-3 の答えが正しいかどうかを確認するには、その日まで待つしかありません。では、運が良ければ、COVID-19パンデミックが2023年12月31日までに終息すれば、「途中でエラーを修正する」能力を持つGPT-3は答えを修正するのでしょうか？

OpenAIが発表したGPT-3の新バージョンには、より人間に近い表現力や思考力があることは否定できないが、アメリカのテレビシリーズ「パーソン・オブ・インタレスト」の超知能脳の魔法に到達するにはどれくらいの時間がかかるのだろうか。おそらく、これを検証するにはまだ時間が必要です。