テクノロジー企業史上初：MetaがGPT3パラメータサイズのAIモデルをオープンソース化

テキスト段落の生成、人間の会話のシミュレーション、数学の問題の解決において驚くほど優れたパフォーマンスを発揮する大規模言語モデルは、明らかに近年の AI 開発で最もホットな分野の 1 つです。しかし、このような大規模な言語モデルは、それ自体が有害なコンテンツを生成するだけでなく、その上に構築された下流のアプリケーションを通じてそのようなコンテンツを拡散させる可能性もあります。

理論的には、より多くの人が参加すれば、問題解決に役立つはずです。しかし、言語モデルのトレーニングには膨大な量のデータと計算能力が必要となるため、これまでは大手テクノロジー企業の独占領域となっていました。 AIの誤用を懸念する学界、倫理学者、社会科学者などの幅広いグループにとっては、傍観するしか選択肢はない。

「信頼を築く唯一の方法は徹底した透明性だと私は信じている」とメタAIのマネージングディレクター、ジョエル・ピノー氏は語った。現地時間5月3日、Meta AIは1750億のパラメータを持つ大規模言語モデル「OPT-175B（Open Pretrained Transformer、OPT）」をリリースした。

これは大手テクノロジー企業にとって前例のない動きだ。大規模言語モデルの歴史の中でも、事前学習済みモデル、学習コード、使用コードが遠慮なく公開されるのは初めてのことです。

「私たちの多くは大学の研究者です」とピノー氏は言う。「そして、こうしたモデルを構築する上で大学と産業界の能力に明らかなギャップがあることを知っています。研究者が集まってこの技術について議論することの利点は明らかです」。彼女は、他の人たちが自分たちの研究を詳しく調べ、細かく分析したり、それを基に構築したりしてくれることを期待している。彼女は、より多くの人が関与すれば、より早く画期的な成果が達成されると信じています。

OPT 言語モデルには約 1,750 億個のパラメーター (トレーニング中に調整できるニューラル ネットワークのパラメーター) があり、これは OpenAI の画期的なニューラル ネットワーク GPT-3 とほぼ同じサイズですが、有料サービス GPT-3 の並外れた機能と避けられない欠陥の両方を備えています。

ピノー氏は「これは慎重に設計された」と言い、OPTを構築する際には、言語タスクにおける精度と有害性の点でGPT-3に匹敵することを検討したと語る。 OPT は、研究者に研究用の同様の言語モデルを提供することを目的としています。

OpenAIはMetaの声明についてコメントを控えた。

OpenAIの親会社であるGoogleは、自社の検索製品に大規模言語モデルを使用することを検討しているが、透明性の欠如についても批判されている。グーグルはこの点で多くの論争を巻き起こしてきた。同社は、当時のグーグルの言語システムがウェブサイトから偏見やヘイトスピーチを学習する可能性があるという論文を発表しようとしたAI倫理研究者のティムニット・ゲブル氏を解雇したほか、最近では発表された研究に異議を唱えた従業員を解雇した。

では、なぜ Meta はこのようなことをするのでしょうか。結局のところ、Meta は Facebook や Instagram の背後にあるアルゴリズムがどのように機能するかについてほとんど語らないテクノロジー企業であり、自社にとって不利な問題については社内の研究チームに秘密にしていることでも有名です。

MITテクノロジーレビューは、Meta社がこれまでとは異なるアプローチをとっている重要な理由は、長年AIの研究開発プロセスの透明性を推進してきたピノー氏自身にあると考えている。

主要な学術会議で研究を発表する方法に関して、ピノー氏は研究者に対し、実験がどのように行われたかについてのコードと詳細な情報とともに研究結果を提出することを義務付けている。彼女は2017年にMeta（当時はFacebook）のAIラボに入社して以来、この文化を推進してきました。

「メタのオープンサイエンスへの取り組みが、私がここにいる理由です」とピノー氏は言う。「他の方法ではここで働くことはできません。」

コードに加えて、Meta は開発ログも公開しました。ログには、チーム メンバーからのトレーニング データに関する毎日の更新 (モデルにデータがいつどのように追加されたか、何が機能して何が機能しなかったか) が含まれます。研究者らは、2021年10月から2022年1月までノンストップで実行された3か月間のトレーニングプロセス中に発生したすべてのエラー、クラッシュ、再起動を100ページを超えるメモに記録した。

スタンフォード大学基礎モデル研究センター所長のパーシー・リャン氏は、大規模モデルのオープン性を次の 4 つのレベルにまとめました。

最初のレイヤーは、いくつかのアイデアの実現可能性を証明し、構築のアイデアを提供するオープンペーパーです。2番目のレイヤーは、研究者が既存のモデルの機能 (推論能力など) と制限 (バイアスなど) を調査および評価できるようにするオープン API です。3番目のレイヤーは、研究者が既存のモデルを徐々に改善し、より深い解釈可能性技術とより効果的な微調整方法を開発し、モデルの動作におけるトレーニングデータの役割をより深く理解できるようにするオープンモデルの重みとトレーニングデータです。4番目のレイヤーは、研究者が新しいアーキテクチャ、トレーニングの目的とプロセスを試し、データ融合を実行し、さまざまな分野でまったく新しいモデルを開発できるようにするオープンコンピューティングパワーです。

「オープン性が高まると、研究者はより深い問題に集中できるようになるが、リスクも高まる」とパーシー・リャン氏は明言した。

Meta が自社の大規模言語モデルをここまでオープンソース化するという決定は非常に大胆な動きであり、現在では想像もできないリスクをもたらす可能性があります。これは、OpenAI が GPT-3 の前身である GPT-2 をリリースしない理由でもあります。

「このモデルには他に恐ろしいリスクがないとは言えません」とピノー氏は述べた。「単に危険すぎるという理由で」このモデルをリリースすべきではないという考えをピノー氏は否定した。 「こうしたモデルの弱点は理解しているが、それは研究者の考え方ではない」と彼女は語った。

MITテクノロジーレビューによると、Googleの行動規範に違反したとして解雇されたAI倫理研究者のマーガレット・ミッチェル氏は、OPTのリリースは前向きな動きだと考えている。しかし彼女は透明性には限界があると考えている。 「言語モデルは十分に厳密にテストされているか？ 予測可能な利点は予測可能な害を上回っているか？ また、そのプロセスはどのようにして誤った情報や人種差別的、女性蔑視的な言語の生成を回避できるのか？」と彼女は問いかけた。

グーグルセンターでミッチェル氏と共同研究してきたワシントン大学の計算言語学者、エミリー・M・ベンダー氏も、潜在的な危害にどう対処するかを懸念している。 「機械学習テクノロジーのリスクを軽減する本当の鍵は、このシステムは何のために使用されるのか、誰が使用するのか、システムの出力は彼らにどのように提示されるのかなど、特定のユースケースのコンテキストで評価し、調査することです。」

ピノー氏にとって、こうした懸念は、コミュニケーションを減らすのではなく、よりオープンな議論を通じて対処されるべきである。 「世界中の人々は、どのような会話が適切かについてさまざまな見解を持っています。そして、人工知能はその会話の一部なのです」とピノー氏は語った。彼は、言語モデルが誰もが同意する何かを言うとは思っていないが、「しかし、私たちはそれにどう対処するのでしょうか。それは、議論中に他の人の声にもっと耳を傾けることです」