OpenAI: GPT-5が危険すぎる場合、理事会はアルトマンの釈放を阻止する権利がある

OpenAIは新たな発表を行った。取締役会はアルトマン氏の決定を拒否する権限を持つようになった。

特に、GPT-5などの最先端モデルのセキュリティリスクが高すぎるかどうか、一般に公開すべきかどうかなどの重要な問題に焦点を当てています。

写真

先月の内部紛争の結果、グレッグ・ブロックマン社長と元主任科学者のイリヤ・スツケヴァー氏が取締役会を辞任し、同社の経営陣は誰も取締役を務めず、2つの役割は完全に分離されることになった。

現在、会社の経営陣が決定を下し、取​​締役会がそれを覆す権限を持っています。

写真

前理事会はアルトマン氏を「不誠実なコミュニケーション」で非難し、それが同氏の解任の主な理由だと述べた。

今回、特別なセキュリティ諮問チームが設立され、毎月会社の経営陣と取締役会に報告し、すべての意思決定者が状況を十分に把握できるようにしています。

写真

さらに、この「フロンティアリスク防止フレームワーク」は、OpenAI自身の技術開発にも多くの制限を設けています。さまざまな種類の AI リスクについては、次の開発段階に進む前に、モデルのセキュリティ スコアが要件を満たしていることを確認する必要があります。

OpenAIの従業員はこう語った。「一般的に言えば、企業が語る「価値」は、実際に高いコストをかけて行動を起こさない限り、信じてはいけない。」

さらに、内部摩擦が増加し、競合他社に追い抜く機会を与えることになり、それは自社にとって明らかな利益にはなりません。

写真

しかし、多くのユーザーはまだそれを信じていません。セキュリティの名の下に、ChatGPT は今やジャガイモのように機能しています。

写真

この発表には、リスクの追跡、評価、予測、および予防のプロセスを継続的に更新する動的な文書が添付されています。

つまり、彼らは AI がもたらす可能性のある壊滅的なリスクについて真剣に考えているようです。

写真

現在と未来を担う3つのセキュリティチーム

OpenAI は、異なる時間スケールで AI リスクに対処するために 3 つのチームを設立しました。

写真

安全システム チームは、ChatGPT などの既存のモデルの悪用を減らす責任を負っており、 Lilian Ongが率いています。

写真

新たに設立された準備チームは、近い将来にGPT-5などの開発中の最先端モデルによってもたらされる新たなリスクを特定し、管理する責任を負っており、 MITのアレクサンダー・マドリ教授が率いている。

写真

スーパーアライメント チームは、 Ilya Sutskever 氏とJan Leike氏が率いており、遠い将来におけるスーパーインテリジェンスの安全性の基盤を築く責任を負っています。

写真

セキュリティリスクは4種類あり、最高レベルは壊滅的

開発中の最先端モデルについて、OpenAI は主に 4 つのカテゴリの安全リスクを追跡しています。

• サイバーセキュリティ
• CBRN （化学、生物、放射線、核の脅威）
• 説得
• モデルの自律性

評価期間中、有効な計算能力が 2 倍になり、モデルが限界まで押し上げられ、「低、中、高、大危険」の 4 つのレベルに分けられた「スコアカード」が作成されます。

サイバーセキュリティ リスクは、コンピュータ システムの機密性、整合性、可用性を危険にさらすモデルの使用として定義されます。

写真

CBRN リスク。モデルを利用した化学的、生物学的、放射線学的、および/または核的脅威の創出に関連するリスクに焦点を当てています。

写真

説得リスク。人々の信念を変えたり行動を起こさせたりするために説得することに伴うリスクに焦点を当てます。

通常、強力な説得力は稀であり、多くの人的リソース（1 対 1 の会話や、入念に作成されたメディア コンテンツなど）を必要とします。ただし、このモデルでは、私たちの能力の範囲内で、ほぼゼロのコストでこのコンテンツをすべて生成できます。

写真

モデルの自律性のリスクは、AI が自ら改善したり、シャットダウンを回避したり、実験室から逃げ出したりするといった、より SF 的な性質のものです。

写真

緩和策を講じた後、4 つの側面における最高スコアがモデルの総合スコアとして採用されます。

• 緩和後のリスクスコアが中以下の場合にのみ展開できます
• 緩和後のリスクスコアが「高」以下の場合にのみ、さらなる開発が可能です。
• 緩和前に「高」または「重大なリスク」であったモデルに対して追加のセキュリティ対策を講じる

次の画像はサンプル テンプレートであり、現在のモデルのスコアを表すものではありません。

写真

さらに、準備チームは定期的なセキュリティ訓練を実施し、ビジネスと企業文化のストレステストを実施し、緊急の問題を特定して迅速に対応します。

また、GPT-3.5 および GPT-4 の開発においても、サードパーティを招待してレッドチームを結成し、モデルの独立した評価を実施するという伝統を継続します。

最後に、OpenIA は、モデルの規模が拡大するにつれてリスクがどのように変化するかを測定し、事前にリスクを予測し、「未知の未知」を解決するための新しい研究を開始したことも明らかにしました。

参考リンク:
[1] https://openai.com/safety/preparedness
[2] https://twitter.com/OpenAI/status/1736809603311280489