オピニオン: 人工知能の失敗を考察する7つの方法

がんの検出から就職面接の実施者の決定まで、AI システムは多くのことを人間よりも速く、正確に、確実に、公平に行うことができます。しかし、人工知能も数え切れないほどの失敗を経験しており、時には致命的な失敗さえも経験しています。 AI の人気の高まりは、障害が 1 人の個人だけでなく、何百万人もの人々に影響を与える可能性があることも意味します。

AI コミュニティでは、こうした障害がもたらす可能性のあるリスクを監視するために、こうした障害を文書化することが増えています。 「こうしたシステムがどのように機能し、何を意味するのかをユーザーが理解するのに役立つ情報がほとんどないことがほとんどです」と、AI、アルゴリズム、自動化インシデントおよび論争リポジトリの創設者チャーリー・パウナル氏は語ります。「それがこうしたシステムへの信頼と信用に直接影響していると思います。組織が AI インシデントや論争で実際に何が起こっているのかを詳しく調べることに消極的な理由は、潜在的な法的リスクだけでなく、信頼性の観点からそれが組織にとって最善の利益になるかどうかなど、多岐にわたります。」

問題の一部は、多くの AI システムを動かすニューラル ネットワーク技術が、研究者にとって謎のままの形で故障する可能性があることです。 「知能そのものを我々はよく理解していないので、AIがどんな問題に優れているかは予測できない」とカリフォルニア大学バークレー校のコンピューター科学者ダン・ヘンドリックス氏は言う。

ここでは、AI の失敗例 7 つと、それらが現在の AI の弱点について明らかにしている点について説明します。科学者たちはこれらの問題のいくつかに対する可能な解決策について議論しているが、他の問題は現在説明されていないか、哲学的に言えば決定的な解決策が存在しないだけかもしれない。

01. 脆弱性

スクールバスの写真を撮り、実際の事故と同じように横向きになるようにひっくり返します。 2018年の調査によると、最先端のAIシステムは、通常は正面向きのスクールバスを正しく識別するが、回転したバスを平均97％の確率で認識できなかった。

「彼らは自信を持ってスクールバスは除雪車だと答えるだろう」とアラバマ州オーバーン大学のコンピューター科学者アン・グエン氏は言う。同氏は「私の3歳の息子でもできる」心の回転課題をAIは実行できないと語った。

この失敗は脆弱性の一例です。グエン氏は、人工知能は「以前に見たことのあるパターンしか認識できない」ことが多いと述べた。 「新しいパターンを見せれば、簡単に騙されてしまいます。」

AI の脆弱性に関する厄介な例は数多くあります。一時停止標識にステッカーを貼ると、AI が誤読する可能性があります。画像内の 1 ピクセルを変更するだけで、AI が馬をカエルと間違えることがあります。ニューラル ネットワークは、多色の静止画像がライオンの画像であることを 99.99% 確信します。医療画像が肉眼では検出できない方法で修正された後、AIシステムは100％の確率で癌を誤診しました。等々。

ヘンドリックス氏は、AI をそのような失敗に対してより堅牢にするための 1 つの方法は、できるだけ多くの混乱を招く「敵対的」な例に AI をさらすことだと述べた。しかし、まれに「ブラックスワン」イベントが発生すると失敗する可能性があります。 「コロナウイルスや経済不況のようなブラックスワン問題は人間にとっても解決が難しく、これは機械学習に特有の問題ではないかもしれない」と指摘した。

02. 固有の偏見

人工知能は、誰がローンを借りられるか、懲役刑の長さはどのくらいか、誰が最初に医療を受けられるかといった重要な決定をサポートするためにますます利用されるようになっています。人々は人工知能が人間よりも公平に意思決定を行えることを期待しているが、多くの研究により、これらの人工知能の訓練に使用されるデータが偏っている場合、集団的な自動差別につながり、社会に大きなリスクをもたらす可能性があることがわかっている。

たとえば、2019年に科学者たちは、米国全土で展開されている医療アルゴリズムに人種的偏見があることを発見し、数百万人のアメリカ人に影響を与えました。このAIは集中治療プログラムの恩恵を受ける患者を判定するように設計されたが、健康な白人患者を日常的に集中治療プログラムに登録し、病状の重い黒人患者よりも優先させていた。

カリフォルニア大学バークレー校の医師兼研究者であるジアッド・オーバーマイヤー氏とその同僚は、アルゴリズムが医療費が高額な人を最も病状が悪く、最も治療を必要とする人と誤って判断していることを発見した。しかし、制度的な人種差別により、「黒人患者は必要なときに医療を受けられる可能性が低く、したがって費用が発生する可能性も低い」と彼は説明した。

ソフトウェア開発者と協力した後、オーバーマイヤー氏と彼の同僚は、追加の変数を分析することで偏見を 84 パーセント削減する新しいアルゴリズムの設計に貢献しました。 「さらなる取り組みが必要だが、偏見をなくすことは不可能ではない」と彼は語った。彼らは最近、政府、企業、その他の組織が現在および将来使用するソフトウェアの偏見を検出し、防止するために実行できるいくつかの基本的な手順を概説したガイドを作成した。手順には、使用されているすべてのアルゴリズムの特定、ソフトウェアの理想的な目標とその達成度の理解、必要に応じて AI を再トレーニングすること、高レベルの監視機関の設立などが含まれます。

03. 破滅的な忘却

ディープフェイクとは、人工的に生成された非常にリアルな偽の画像や動画（通常は有名人、政治家、その他の公人）であり、インターネットやソーシャルメディアでますます一般的になりつつあり、実際には起こっていないことを言ったり行ったりした人物を欺いて描写することで大きな危害を引き起こす可能性があります。ディープフェイクを見破ることができるAIを開発するため、韓国の成均館大学のコンピューター科学者シャーロズ・タリク氏とその同僚は、人々が画像をアップロードしてその真偽を確認できるウェブサイトを作成した。

当初、研究者らはニューラルネットワークをある種類のディープフェイクを認識するように訓練した。しかし、数か月後、多くの新しいタイプのディープフェイクが登場し、これらの新しいディープフェイクを認識するように AI をトレーニングしたところ、AI は古いディープフェイクを認識する方法をすぐに忘れてしまいました。

これは壊滅的な忘却の例であり、AI は新しい情報を学習した後、以前に知っていたことを突然完全に忘れてしまい、基本的に過去の知識を新しい知識で上書きしてしまう可能性があります。 「人工ニューラルネットワークの記憶力は非常に悪い」とタリク氏は言う。

人工知能の研究者たちは、ニューラルネットワークが人間と同じように楽に学習を続けられるように、壊滅的な忘却を防ぐ戦略を模索しています。 1つのシンプルな手法は、新しいタスクごとに、例えば猫と犬、リンゴとオレンジを区別するといった特殊なニューラルネットワークを作成することだが、「しかし、ネットワークの数はタスクの数に比例して増加するため、これは明らかにスケーラブルではない」と、イギリスのオックスフォード大学の機械学習研究者サム・ケスラー氏は言う。

新しいタイプのディープフェイクを認識できるように AI をトレーニングするにあたり、タリク氏と彼の同僚は、古いタイプのディープフェイクをどのように認識したかに関する少量のデータを AI に与えて、AI がディープフェイクの認識方法を忘れないようにするという別のアプローチを模索した。タリクさんは、それは実際には試験の前に教科書の章の要約を復習するようなものだと言います。

ただし、医療記録などの個人情報を扱う場合など、AI が過去の知識に常にアクセスできるとは限りません。タリク氏と彼の同僚は、以前のタスクのデータに依存しない AI を作成したいと考えています。彼らは、新しいタイプのディープフェイクの見分け方をAIに自ら訓練させ、同時に古いタイプのディープフェイクを識別する方法を別のAIから学習させた。この「知識の洗練」戦略は、ソーシャルメディアで頻繁に共有される低品質のディープフェイクを識別する際に約87％の精度があることがわかった。

04. 説明可能性

AI がなぜ、誰かが犯罪者かもしれない、あるいは癌にかかっているかもしれないと疑うのでしょうか?これらおよびその他の高リスク予測の解釈には、多くの法的、医学的、その他の結果が伴います。人工知能がどのように結論に到達するかは長い間謎のブラックボックスであり、その内部の仕組みを説明しようと多くの人が試みてきた。 「しかし、私の最近の研究は、解釈可能性の分野がやや行き詰まりに陥っていることを示唆している」とオーバーン大学のアン・グエン氏は言う。

グエン氏とその同僚は、AI の決定 (たとえば、マッチ棒の画像がマッチ棒なのか、炎なのか、棒なのかを決定するものは何なのか) を説明するために研究者が開発した 7 つの異なる手法を検討しました。彼らは、これらの方法の多くが「非常に不安定」であることを発見した。 「彼らは毎回違う説明をする可能性があります」とグエン氏は語った。

さらに、あるアトリビューション手法がニューラルネットワークの 1 セットでは機能するかもしれないが、「別のセットではまったく機能しない可能性もあります」と Nguyen 氏は付け加えた。説明可能性の将来には、正しい説明のデータベースの構築が必要になるかもしれない、と彼は述べた。帰属方法はこれらの知識ベースにアクセスし、「決定の根拠を説明する可能性のある事実を検索」できると彼は言う。

05. 不確実性の定量化

2016年、フロリダ州北部で、オートパイロットが作動していたテスラ モデルSが前を左折していたトラックと衝突し、運転手が死亡した。オートパイロットシステムが関与した最初の死亡事故として報告された。テスラの公式記録によれば、オートパイロットシステムも運転手も「明るい空を背景にしたトラックの白い側面に気づかず、ブレーキをかけなかった」という。

テスラ、ウーバー、その他の企業がこのような災害を回避するのに役立つかもしれない一つの方法は、不確実性の計算と処理の能力を自動車に向上させることだ。現時点では、AIは「大きく間違っている場合でも、非常に自信を持っている」とオックスフォード大学のケスラー氏は述べた。アルゴリズムが決定を下す場合、「特に医療診断や自動運転車の場合、その決定にどの程度の自信があるかをしっかり理解しておく必要があります。そうすれば、非常に不確実な場合には、人間が介入して状況について独自の判断や評価を下すことができます。」

たとえば、オーストラリアのディーキン大学のコンピューター科学者 Moloud Abdar 氏とその同僚は、AI が皮膚がんの画像​​を悪性か良性か、あるいは黒色腫か非黒色腫かに分類する際に、いくつかの異なる不確実性定量化手法を適用しました。研究者たちは、これらの方法がAIが自信過剰の診断を下すのを防ぐのに役立つことを発見した。

不確実性の定量化は自動運転車にとって依然として課題である。現在の不確実性の定量化技術は時間がかかることが多く、「車は待ってくれない」からだとアブドゥル氏は言う。「より速い方法が必要だ」

06. 常識

南カリフォルニア大学のコンピューター科学者、Xiang Ren氏は、AIには常識、つまり人々が通常当然のことと思っている日常の幅広い知識に基づいて、受け入れられる合理的な結論を導き出す能力が欠けていると述べた。 「これらのモデルが実際に何を学習しているかに十分な注意を払わないと、モデルは故障の原因となる近道を学習することになる」と彼は語った。

たとえば、科学者は、白人至上主義者のフォーラムなど、ヘイトスピーチのレベルが異常に高い場所からのデータを使用して、AI にヘイトスピーチを見分けるよう訓練するかもしれません。しかし、このソフトウェアが現実世界にさらされると、黒人やゲイの人々が他のグループよりも「黒人」や「ゲイ」という言葉を頻繁に使用する可能性があることを認識できない可能性があります。 「たとえ投稿が、感情的な意味合いを伴わずにユダヤ人、黒人、同性愛者について言及しているニュース記事を引用していたとしても、ヘイトスピーチとして誤って分類される可能性がある」と任翔氏は述べた。対照的に、「人間は文章全体を読むことで、形容詞が憎悪的な文脈で使用されていることを認識できる」

これまでの研究では、最先端の AI は世界について最大 90% の精度で論理的な推論を行えることが示されており、常識に関して進歩を遂げていることを示唆しています。しかし、これらのモデルをテストしたところ、レン氏とその同僚は、最高の AI でも論理的に一貫した文章を生成できる精度は 32% 未満であることを発見しました。常識を養うことに関しては、彼は次のように語った。「AIコミュニティの私たちが最近非常に懸念していることの一つは、複数の次元にわたるモデルの挙動を調べるための、より包括的なチェックリストを持つことです。」

07. 数学

従来のコンピューターは数字の計算が得意だが、AIは「驚くほど数学が苦手」だとカリフォルニア大学バークレー校のヘンドリックス氏は言う。 「あなたのモデルは最新かつ最も強力で、何百もの GPU を使用してトレーニングされているかもしれませんが、それでもポケット電卓ほど信頼できるものではありません。」

たとえば、ヘンドリックス氏とその同僚は、数十万の数学の問題を AI に学習させ、段階的な解答を与えました。しかし、高校の数学競技問題1万2500問でテストしたところ、「精度はわずか5％程度だった」と同氏は語った。比較すると、国際数学オリンピックで3回金メダルを獲得した人物は、これらの問題を「計算機なし」で90%の正確率で解きました。

ヘンドリックス氏は、「十分なデータと十分なリソースを与えれば、今日のニューラルネットワークは、ほぼあらゆる種類の問題を解決する方法を学習できるが、数学の問題は学習できない」と述べた。彼は、科学における多くの問題は多くの数学的知識を必要とするため、人工知能の現在の弱点が科学研究におけるその応用を制限する可能性があると述べた。

AIがなぜ数学が苦手なのかは明らかではありません。一つの可能​​性としては、ニューラルネットワークは人間の脳と同じように、高度に並列化された方法で問題を処理するように設計されているが、数学の問題を解くには一連のステップが必要なのが一般的であり、AIがデータを処理する方法はそのようなタスクには適していない可能性がある、とヘンドリックス氏は述べた。「人間が一般に頭の中で多くの計算を行えないのと同じように」しかし、数学におけるAIの成績の悪さは「まだニッチな話題であり、この問題はあまり注目されていない」と彼は付け加えた。