AI専門家が警告：GPT-3は素晴らしいが透明性に欠ける

[[342733]]

アルゴリズムに人間のように書かせることは、人工知能研究機関 OpenAI が長年追い求めてきた夢でした。彼の最新の研究成果は、判別困難な偽記事を生成するために使用されている言語生成アルゴリズムモデルGPT-3です。彼が書いたブログはHacker Newsの発行者を騙し、同ウェブサイトの人気記事にまでなりました。

その投稿はこうでした。「物事を成し遂げるには、あまり考えすぎる必要はないのかもしれません。直感に反するように思えますが、考えすぎると創造性が妨げられることもあると私は信じています。」

OpenAI がこのような効率的なアルゴリズムを実装できたのは、膨大な量のコンピューティングとデータにアクセスでき、アルゴリズム自体の容量が既存のすべてのアルゴリズムよりもはるかに大きいためです。GPT-3 の最大バージョンには 1,750 億のパラメーターがあり、この方程式によりアルゴリズムはより正確な予測を行うことができます。 GPT-2 には 15 億個のパラメータしかありません。

OpenAIはこれまでにもアルゴリズムを公開してきたが、今回はGPT-3を秘密にしておくことを選択した。同社は、GPT-3はほとんどのオペレーターが使用するには大きすぎるため、課金することでOpenAIは利益を得ることができると述べた。

OpenAIは過去1年間、投資家にとってより魅力的な企業となるよう企業構造を変更した。 OpenAIは非営利の地位を放棄し、「利益限定」モデルを採用した。OpenAIが利益を上げれば投資家に報酬が支払われるからだ。また、同社はマイクロソフトと10億ドルの提携契約を結び、両社間の協力関係を発展させ、OpenAIにマイクロソフトのクラウドコンピューティングプラットフォームへの優先アクセスを与えた。

研究者らは、OpenAIがアルゴリズムを公開しないという決定は基本的な科学原則に違反しており、同社の主張を検証することがますます困難になっているとして、疑問を呈していると述べた。

「GPT-2/GPT-3やAlphaGoのようなコードを共有しないというこれまでの議論に私は懐疑的だ」とフェイスブックAIリサーチ（FAIR）の共同ディレクターでフェイスブックのモントリオールAI研究所の責任者であるジョエル・ピノー氏は電子メールで述べた。「AIには同様のケースがたくさんある」

GPT-3 は本質的に非常に強力な英語ライティングツールです。 GPT-3 の最も重要な点は、その規模です。45 テラバイトのデータを分析することで、書き込みを学習しました。伝えられるところによると、トレーニングプロセスにはクラウドコンピューティングで数百万ドルの費用がかかり、何億もの人間の手書きの組み合わせが確認された。

これは OpenAI の長期戦略の重要な部分です。同社は長年、ディープラーニングのアルゴリズムは規模が大きくなるにつれて改善されると述べてきた。データが増えれば増えるほど、計算能力が高まり、アルゴリズムも強力になります。 OpenAI は、数百の GPU で同時にアルゴリズムをトレーニングする能力により、Dota 2 でプロの e スポーツ選手に勝つことができました。

OpenAIの幹部は、OpenAIの政策ディレクターであるジャック・クラーク氏は、アルゴリズムが大きくなればなるほど「より組織化され、より創造的で、より信頼できる」と考えていると述べている。 「運が尽きれば、価値ある試合になるだろうと期待している」と、最高技術責任者のグレッグ・ブロックマン氏は、Dota 2のボットに必要なトレーニングの量について言及した。

GPT-3 も同様のアプローチを採用しています。 OpenAI は、アルゴリズムが大きくなればパラメータも増え、より一般的な操作を実行できると考えています。たとえば、GPT-3 の最も基本的な機能は自動補完です。単語または文を入力すると、次に出現すると思われる単語や文を単語ごとに生成します。アルゴリズムに変更を加えなくても、質問に答えたり、翻訳したりすることも可能です。これは、1 つのタスクしか処理できない、特別に微調整されたアルゴリズムとは対照的です。

これをAIの聖杯、つまりアルゴリズムが人間のように学習し適応できるという汎用知能への一歩と見る人もいるが、アルゴリズムはまだ生成した単語を真に理解することはできないと言う人もいる。

OpenAIは、アルゴリズムのアーキテクチャとそれが達成した結果を説明する詳細な研究論文を発表しており、他のAI研究者はGPT-3の機能の研究に関してはOpenAIを信頼するしかありません。最近非営利団体をやめ、商用製品の開発のために資金集めを始めたこの研究会社は、以前のようにアルゴリズムを公開しなくなった。

2019年2月、OpenAIはGPT-2アルゴリズムの以前の最大バージョンは誤った情報やフェイクニュースを生成する可能性があり、公開するには危険すぎると発表しました。この声明は多くの疑問を集めました。同社はまずGPT-2の簡易版をリリースし、悪用の兆候は見つからなかったため、最終的にアルゴリズムの最大バージョンをリリースした。現時点では、GPT-3 は危険すぎるというよりは、リリースすると利益が大きすぎるように思われます。

GPT-3 は、Amazon、Google、Microsoft などの企業がアルゴリズムを収益化する方法と同様に、OpenAI が運営する API を通じてのみアクセスできます。開発者は、GPT-3 に特定の指示を送信するプログラムを作成することができ、GPT-3 は OpenAI のクラウドで応答を生成し、結果を送り返します。 API はクローズド ベータ期間中は無料ですが、OpenAI は長期的な価格設定を検討しています。つまり、研究者はアルゴリズムに特定のコマンドのみを送信でき、OpenAI はいつでもアクセスを取り消すことができます。

OpenAI は、この慣行は安全性と規模を考慮したものと考えています。同社は、偽ニュースサイトをサポートするなど、API を悪用する人物を発見した場合、その開発者のアクセスを取り消すことができます。

同社はまた、アルゴリズムは大規模で実行コストが高く、準備が整った後のトレーニングコストもかかると述べた。 「これでは、大企業以外が基盤となるテクノロジーの恩恵を受けることが困難です。API によって、中小企業や組織が強力な AI システムをより簡単に利用できるようになることを願っています。」

クラウド コンピューティングの価格設定方法のため、OpenAI のアルゴリズムのトレーニングと運用にかかる正確なコストを計算するのは困難です。 GPU のリースのコストは、特定のサーバー地域への地理的な近さや、プロジェクトの規模に基づいて交渉された料金などの要因によって大きく異なります。 OpenAIは、Microsoftとの10億ドルの提携から利益を得る可能性がある。なぜなら、その資金の一部を使って、そのミッションのために独自のスーパーコンピューターを構築するからだ。

しかし、規模や透明性の欠如といった制限により、他の科学者がアルゴリズムの有効性を再現し検証することが困難になっています。

ベンチャーキャピタルや企業の利益が関わっているにもかかわらず、AI は依然としてコンピューター サイエンスを研究するための手段であり、科学的手法は依然として適用可能です。タスクを正常に完了し、仮説を証明するためのアルゴリズムの構築など、最良の科学的実験は再現可能です。

再現可能なコンピューターサイエンスの熱心な支持者であるピノー氏は、GPT-3やAlphaGoのようなまだ公開されていないアルゴリズムを「科学的成果物」とみなしている。 「恐竜の骨を掘り起こすのと少し似ています。特定の理論を裏付ける証拠は得られますが、実際に実験を行うのと同じではありません」と彼女は電子メールで述べた。ピノー氏は、これらの遺物は将来の研究仮説を裏付けるのに役立つ可能性があるが、確かな知識の代わりにはならないと述べた。

多くの人々は、コードや訓練されたアルゴリズムへのアクセスを制限することで、人工知能の「民主化」、つまり誰でも利用できるようにすることが OpenAI によって脅かされるのではないかと懸念している。 「人工知能の使用」という用語は多面的であり、計算能力、データセット、およびアルゴリズム自体の使用を意味します。 Google の TensorFlow や Facebook の PyTorch などのオープンソース フレームワークを使用すると、アルゴリズムの構築と共有が容易になり、他にも多くのオープンソース データセットがあります。

しかし、コンピューティング能力はハードウェアから得られます。ハードウェアは限られた物理リソースであり、大企業や OpenAI のような資金力のある研究機関にとってはアクセスしやすいものです。

OpenAI の実験が AI の前進であると証明され、アルゴリズムのスケールアップがパフォーマンスの向上につながる場合、高度な AI を購入する余裕のない人々はそれを利用できなくなる。また、リソースのある大企業が、特定の AI アルゴリズムに誰がアクセスできるかのルールを設定することも可能になります。たとえば、API を使用して設定し、アルゴリズムへのアクセスと使用に対して料金を請求することもできます。

「より優れたAIを実現するには規模を拡大することが大切だと信じるなら、より優れたAIを持つのは誰かを決めるのはOpenAIだ」と、ジョージア工科大学で自然言語処理を研究する人工知能教授マーク・リードル氏は言う。

レドル氏は、自社のアルゴリズムがどのように悪用される可能性があるかについて多大な労力を費やして検討してきたOpenAIが、悪意のある目的で使用されているかどうかを判断するために、新しいAPIのすべての使用を監視するかどうか疑問視した。 「OpenAI は、自社の技術が適切に使用されているかどうかを判断するために、出力を確認するのでしょうか。これは、OpenAI の使命と、これが新しい収益モデルとどのように矛盾するかを考えると、非常に重要なことのように思えます。OpenAI は大規模に監視できるのでしょうか。」

OpenAI の「大きいほど良い」というアプローチが人工知能の前進であるということには、誰もが同意しているわけではない。たとえば、自然言語処理研究者のメラニー・ミッチェルは、GPT-3 に「模倣」テストを実施し、特定の文字シーケンスの変化パターンを認識するようにアルゴリズムに要求しました。 「abc」が「abd」になると、「efg」は何になりますか?

1980 年代に、ミシェルは、人間が常に実行してきたこの種の小規模なシミュレーション テストを解決するためのアルゴリズムを開発しました。類推を正しく行うには、すべてのコンポーネント間の関係を理解する必要があります。アルファベットの例では、アルゴリズムはアルファベットの順序と各文字の位置を理解する必要があります。このアルゴリズムは数多くのテストで優れたパフォーマンスを発揮したが、ミシェル氏は、他のアルゴリズムが数十年前に習得したいくつかの単純な概念を理解できなかったことも発見した。

「研究という点では、問題にあまりに多くの計算やパラメータを投入すると、AI は行き詰まるだろうと個人的には思います」とミシェル氏は言う。「もし私たちの目標が、強力で一般的に知能のあるマシンを作ることなら、本当の進歩は望めないと思います。」

彼女は、ディープラーニングを必要とする AI 製品を作る上で、巨大なコンピューティング能力がテクノロジー大手に有利に働くことを認めたが、逆に、現代の問題すべてがエネルギー集約型のディープラーニング アルゴリズムを必要とするわけではなく、またすべての問題を GTP-3 の規模で解決する必要はないとも述べた。

「GPT-3のパフォーマンスは驚異的だが、今日の最も先進的なAIシステムで起こっていることとよく似ている。一見インテリジェントなパフォーマンスには非人間的なエラーが混ざっており、なぜGPT-3が優れたパフォーマンスを発揮したり、ミスをしたりするのかは分からない」とミッチェル氏はアルゴリズムのテストで記した。

この記事はWeChatの公開アカウント「Reading the Core」から転載したもので、以下のQRコードからフォローできます。この記事を転載する場合は、Duxinshu の公開アカウントにご連絡ください。