AI が生活に統合されると、能力が高ければ高いほど、管理が難しくなります。

2019 年、OpenAI は、特定の「安全制約」に準拠した AI モデルを開発するためのツール セットである Safety Gym (https://openai.com/blog/safety-gym/) をリリースしました。当時、OpenAIはSafety Gymを使用して人工知能アルゴリズムの安全性とミスを回避する能力を比較できると主張していた。

それ以来、Safety Gym は OpenAI、カリフォルニア大学バークレー校、トロント大学の研究者が提案したアルゴリズムのパフォーマンスを測定するために使用されてきました。しかし、一部の専門家は、AI「安全ツール」が効果的かどうか、言い換えれば、AIシステムをより安全にするかどうかを疑問視しています。

[[426631]]

「OpenAIが指摘するように、彼らはAIシステムができないことについてルールを作成し、AIエージェントにそのルールの範囲内で解決策を見つけさせようとしますが、その前提として多くのルールが必要です」とロンドン大学クイーン・メアリー校の人工知能研究者クック氏は述べた。「もちろん、より多くのルールや制約を追加することもできますが、AIがどのような解決策を思いつくか正確にわからなければ、望ましくない最適化が常に存在してしまうでしょう。」

クック氏は、衝突を回避する自動運転車を例に挙げ、関連するルールがない場合、AIは車間距離を約2センチメートルに保つか、その他の危険な行為を行い、それに基づいてルール内で最適化する可能性があると指摘した。自動運転車の乗客にとって、この「試行錯誤」のコストは受け入れられないものである。

Intel MobileyeやNvidiaなどの企業は、特に自動運転車の分野において、AIの決定が安全かつ「論理的」であることを保証するモデルを考案した。

2017年10月、モービルアイは、自動運転車による事故を防ぐために設計された「論理的に証明可能な」道路交通法の「決定論的公式」であるResponsibility-Sensitive Safety（RSS）と呼ばれるフレームワークをリリースしました。 Mobileye は、RSS は安全な車間距離を維持したり、他の車両に優先権を与えたりするなど、良い習慣を成文化した道路上の意思決定に対する常識的なアプローチを提供すると主張しています。

Nvidia はこの概念を「セーフティ フォース フィールド」と呼んでいます。これは、センサー データを分析して予測を行うことで危険な動作を監視し、怪我や潜在的な危険を最小限に抑えることを目指しています。 Safety Force Field は、Nvidia が現実世界の合成高速道路や都市のシナリオで検証した数学的計算を使用して、ブレーキとステアリングの制約を同時に考慮し、両方によって引き起こされる異常を特定することができます。

これらのツールの目的は安​​全性であり、表面的には良いように思えます。しかし、クック氏が指摘するように、「安全」と何が安全であるかを誰が定義するかについては、多くの社会学的な問題があります。 FICO のレポートによると、従業員の 65% は、自社の AI モデルによる決定や予測がどのように行われているのかを説明できず、ましてやそれが「安全」であるかどうかも説明できないそうです。

「社会として、私たちはある程度のリスクレベルについて合意しており、毎年一定数の車両衝突事故を予測するなど、それを法律に書き込むこともあります。しかし、人工知能に関しては、人間と違ってこれらのシステムは完全に制御可能であるため、それらの基準を引き上げたいと思うかもしれません。」クック氏は続けて、「安全性に関する懸念は理解できますが、最終的には人工知能の安全性がすべての人を満足させることはできないという事実を受け入れる必要があります。」

たとえば、今日の自動運転システムやADASシステムは人間の運転手よりも安全だと言えるが、それでもミスは起こる。これはテスラの最近の悲劇が証明している。クック氏は、AI企業が自社製品の行動に対してより法的、財政的に責任を負うようになれば、業界は「事後に問題を解決する」のではなく、システムの安全性を評価するために異なるアプローチを取るだろうと考えている。

ジョージア工科大学のデジタルメディア准教授ナシム・パービン氏は、自動運転車をめぐる議論は楽観的すぎると考えており、自動車事故で亡くなった人々の命に対する「真の思いやり」が再考の出発点になるかもしれないと考えている。彼女はこう語った。「AI システムの設計は、誤った二者択一のトレードオフを超える必要があります。意図と目標を過度に重視すると、社会システムの複雑さを考慮せずに、手っ取り早い技術的解決策に飛びつくことになります。『意図しない結果』という言葉は、AI 設計に関する深い議論を促進するものではなく、大きな障害となります...」

単一のツールでは AI システムにおける安全でない決定を防ぐことは難しいため、AI のリスクと欠陥を明らかにし、テストし、軽減できるプロセスを作成するには、製品所有者、リスク評価者、およびユーザーが潜在的な AI の欠陥とリスクについて話し合う必要があります。

[この記事は51CTOコラムニスト「牛安全」によるオリジナル記事です。転載する場合は牛安全（WeChatパブリックアカウントID：gooann-sectv）から許可を得てください]

この著者の他の記事を読むにはここをクリックしてください