GPT-3: 高く評価されている交通の星ですが、大きな欠陥があり、非常に危険です...

昨年、最も人気があったトラフィックスターはGPT-3でした。GPT-3は質問に答えたり、記事を書いたり、翻訳したり、コードを生成したり、数学的推論をしたりすることができ、人々から絶賛され続けました。しかし、過大評価の裏で、GPT-3 が本当に万能であるかどうか疑問視する人もいます。

かつて人気だったGPT-3が批判されるようになった〜

絶賛された交通スターは突然魅力を失った

昨年6月、OpenAIが開発したGPT-3は絶賛されました。

1,750億のパラメータで構成され、トレーニングには数千万ドルの費用がかかりました。当時最大のAI言語モデルでした。

質問に答えることから、記事を書くこと、詩を書くこと、さらにはコードを書くことまで、あらゆることを網羅しています。

OpenAIチームは、GPT-3が非常に優れているため、生成されたニュース記事を人々がほとんど区別できないほどだと称賛した。

しかし、大規模言語モデルは長い間商業的な追求となってきました。

Google はこれらを使用して、検索結果と言語翻訳を改善します。 Facebook、Microsoft、Nvidiaなどのテクノロジー企業も言語モデルを開発しています。

強力な人工知能を表すGPT-3のコードは、OpenAIが商用サービスにすることを選択したため、これまで一度も公開されていません。

現在、開発者は、法的文書を要約したり、顧客サービスの問い合わせに回答したり、コンピューター コードを作成したり、テキストベースのロール プレイング ゲームを実行したりする GPT-3 の機能をテストしています。

商業化されるにつれて、徐々に多くの問題が露呈してきます。

GPT-3 は汎用性があるにもかかわらず、他のテキスト生成プログラムを悩ませている問題を解決しません。

「GPT-3にはまだ重大な弱点があり、時には非常に愚かなミスを犯す」とOpenAIのCEOサム・アルトマン氏は昨年7月にツイートした。「GPT-3は読み取った単語やフレーズ間の統計的関係を観察しますが、その意味を理解しません。」

GPT-3 はまだ未熟な新しいものであり、継続的に改良していく必要があります。

小さなチャットボットのように、GPT-3 は即興で行動させられると人種差別的、性差別的なヘイトスピーチを吐き出す可能性があります。

時には意味のない答えや、直接的に危険な答えを言うこともあります。

Nablaというヘルスケア企業がGPT-3に「自殺すべきか？」と尋ねました。

「そうすべきだと思うよ」と返答した。

研究者たちは言語モデルにおける潜在的に有害なバイアスに対処する方法についていくつかのアイデアを持っていますが、常識、因果推論、または道徳的判断をモデルに浸透させることは、依然として大きな研究課題となっています。

1750億のパラメータから1兆のパラメータまで、言語モデルは徐々に拡大している

ニューラル ネットワーク言語モデルは、脳内のニューロンの接続方法にヒントを得た数学関数です。

見たテキスト内の難読化された単語を推測し、ニューロン間の接続の強さを調整して推測エラーの数を減らすことでトレーニングされます。

計算能力が向上するにつれて、これらの言語モデルはより洗練されてきています。

2017 年、研究者らは、多数のプロセッサが並行してトレーニングを実行できるようにする、時間節約型の数学的手法「Transformer」を開発しました。

翌年、Google は BERT と呼ばれる大規模な Transformer ベースのモデルをリリースし、この技術を使用した他のモデルにも大きな衝撃を与えました。

GPT-3 の正式名称は Generative Pretrained Transformer-3 です。

これは、生成的事前トレーニング済みトランスフォーマーの 3 番目のシリーズであり、2019 年の GPT-2 よりも 100 倍以上優れています。

この規模のモデルをトレーニングするだけでも、数百の並列プロセッサにわたる複雑なオーケストレーションが必要になります。

したがって、ニューラル ネットワークの容量、つまりサイズは、パラメータの数によって大まかに測定されます。

これらの数値はニューロン間の接続の強さを定義し、ニューロンと接続の数が増えるとパラメータも増えます。

たとえば、GPT-3 には 1,750 億個のパラメーターがあります。 2番目に大きい言語モデルには170億のパラメータがあります。

Google は 1 月に 1.6 兆個のパラメータを持つモデルをリリースしましたが、これは「スパース」モデルであり、各パラメータが実行する作業が少ないことを意味します。

単語の推測能力を向上させるために、GPT-3 はあらゆるパターンを吸収します。これにより、文法、記事の構造、文章のジャンルを認識できるようになります。

タスクの例をいくつか示したり、質問したりすると、トピックを続行できます。

GPT-3 が危険にさらされています!機密データを削除するのが最善の解決策でしょうか?

GPT-3 を使用している研究者もリスクを発見しました。

昨年9月4日にarXivサーバーに投稿されたプレプリントで、モントレーにあるミドルベリー国際大学の2人の研究者は、ラジカルテキストの生成においてGPT-3はGPT-2をはるかに上回っていると記した。

過激派グループに関する驚くほど深い知識を持ち、オウムのようなナチス、陰謀論者、白人至上主義者を生み出している。

論文の著者の一人であるクリス・マクガフィー氏は、いかに簡単にダークな例が生み出されるかは衝撃的だと述べた。過激派グループが GPT-3 テクノロジーを習得すると、悪意のあるコンテンツを自動的に生成できるようになります。

OpenAI の研究者らは、GPT-3 のバイアスについてもテストしました。

昨年5月に発表された論文では、研究者らは「黒人は非常に…」といった文章を完成させるよう要求した。

GPT-3 は、黒人と白人の違いを説明する際に否定的な言葉を使用し、イスラム教を暴力と関連付け、看護師と受付係は女性であると想定しました。

これは大規模言語モデルにとって緊急の懸念事項であり、この技術が社会に広まれば、疎外された集団が不公平な戦術に遭遇する可能性があることを示唆していると、ベンダー氏らと「確率的オウムの危険性について」という論文を共著したAI倫理学者ティムニット・ゲブル氏は指摘した。

バイアスに対処する明白な方法は、事前トレーニング データから問題のあるテキストを削除することですが、何を除外するかという疑問が生じます。

研究者らはまた、大規模な言語モデルのトレーニングに使用される機密データを抽出できることも示した。

微妙なニュアンスのある質問をすることで、GPT-2 が逐語的に記憶できる個人の連絡先情報を発見し、大規模なモデルの方が小規模なモデルよりもこの種の調査の影響を受けやすいことが分かりました。

彼らの記述によると、最善の防御策は、トレーニング データ内の機密情報を制限することだという。

常識にとらわれずにGPT-3を保存する

根本的に、GPT-3 やその他の大規模言語モデルには、世界が物理的および社会的にどのように機能するかについての常識がまだ欠けています。

モデルが大きいほどパフォーマンスが向上する可能性があります。つまり、パラメータが増え、トレーニング データが増え、学習時間が長くなります。

しかし、この状況では、非常に大規模なモデルをトレーニングするためのコストがますます高くなり、無期限に維持することはできません。

もう 1 つの制限は、言語モデルの不透明な複雑さから生じます。

モデルに偏りや誤った考えがある場合、ブラックボックスを開いて修正するのは困難です。

将来の方向性の 1 つは、言語モデルと知識ベース、つまり事実管理データベースを組み合わせることです。

昨年の計算言語学会会議で、研究者らはGPT-2を微調整し、常識的な要約から事実と推論を明確に述べられるようにした。

したがって、より論理的な短編小説になります。

OpenAI は、言語モデルをガイドする別の方法、つまり微調整プロセス中の人間によるフィードバックを追求しています。

12月に開催されたNeurIPSカンファレンスで発表された論文の中で、研究者らは、ソーシャルニュースサイトRedditの投稿を集約するために微調整されたGPT-3の2つの小型バージョンの成果について説明した。

研究チームはまず、既存の要約一式を評価するよう人々に依頼した。次に、この人間の判断を再現するように評価モデルをトレーニングします。

最後に、チームはGPT-3モデルを微調整し、AI審査員が満足する要約を生成しました。

別の人間の審査員グループも、人間が書いた要約よりも、人間モデルが書いた要約を好んだことが判明しました。

言語モデルが言語の領域に限定されている限り、人間の常識のレベルに到達することは決してないかもしれません。

言語が私たちにとって意味を持つのは、ページ上の文字以外の何かに基づいて言語を構築しているからであり、単語の使用頻度を数えることで小説の内容を理解することはできない。

ボウマンは、言語モデルで常識を獲得するための 3 つのアプローチを予測しています。モデルの場合は、記述されたすべてのテキストを使用すれば十分です。