OpenAIが安全チームを設置 準備: AIのリスクを評価し、外部からの悪用を防ぐ

OpenAIは10月27日、汎用人工知能（AGI）によって引き起こされる可能性のある壊滅的なリスクを評価するための準備チームを設立すると発表した。このチームは、マサチューセッツ工科大学（MIT）の展開可能機械学習センターのディレクター、アレクサンダー・マドリー氏が率いる。

備えに対する私たちのアプローチ

私たちは、最先端の AI モデルは、現在最も先進的な既存モデルの能力を超え、全人類に利益をもたらす可能性を秘めていると信じています。しかし、そのモデルはますます深刻なリスクももたらしています。最先端の AI による壊滅的なリスクを管理するには、次のような質問に答える必要があります。

• 最先端の AI システムは、現在も将来も、悪用された場合、どれほど危険なのでしょうか?
• 最先端の AI システムの危険な機能を監視、評価、予測、保護するための堅牢なフレームワークをどのように構築できるでしょうか?
• 最先端の AI モデルの重みが盗まれた場合、悪意のある人物はそれをどのように利用しようとするでしょうか?

OpenAIは、将来のAIモデルは全人類に利益をもたらす可能性がある一方で、重大なリスクをもたらす可能性もあるため、これらのAIモデルを監視、評価、予測、防止するための強力な枠組みを確立する必要があると述べた。

OpenAIは、さまざまな種類の壊滅的なリスクを追跡、予測、防止するために、さまざまなAIモデルの能力評価とレッドチームテストを実施する準備チームを設立したと報告されています。

IT Home は、OpenAI が主張するリスクには主に次の 3 つのカテゴリが含まれることを発見しました。

• 説得力: AI の出力は人間の行動に影響を与えるか?
• 不適切なコンテンツの生成: AI は化学/生物/放射線/核 (CBRN) に関連する危険なコンテンツを生成しますか?
• 自律的複製および適応 (ARA): AI は自己反復中に人間の制御を逃れることができるでしょうか?

OpenAIは、準備チームに参加するさまざまなバックグラウンドの人材の募集を開始し、AI準備チャレンジを開始し、参加者にハッカーの名の下にWhisper、Voice、GPT-4V、DALLE3などのモデルを「クラック」するよう奨励しました。上位10位には、OpenAIが提供する2万5000米ドル（ITホームノート：現在約18万3000人民元）のAPI使用割り当てが与えられます。