MITチームの新しいテストはAIの推論と人間の思考を比較する

AI が洞察を導き出し、意思決定を行う方法は謎に包まれていることが多く、機械学習の信頼性について懸念が生じています。現在、新たな研究で、研究者らは、人工知能ソフトウェアの推論が人間の推論とどの程度一致しているかを比較し、その動作を迅速に分析するための新たな方法を明らかにした。

機械学習が現実世界でますます使用されるようになるにつれて、機械学習がどのように結論に達するのか、そしてそれが正しいかどうかを理解することが重要になります。たとえば、AI プログラムは皮膚病変が癌であると正確に予測しているように見えるかもしれませんが、臨床画像のコンテキストでは無関係な特徴に焦点を当てて予測している可能性があります。

「機械学習モデルは理解するのが非常に難しいことで有名です」と、MITのコンピューターサイエンス研究者で、AIの信頼性に関する新しい研究の主執筆者であるアンジー・ボガスト氏は言う。「モデルが何を決定したかを知るのは簡単ですが、モデルがなぜその決定を下したかを知るのは難しいのです。」

文献リンク: http://shared-interest.csail.mit.edu/

AI の推論を理解するための一般的な戦略は、プログラムが決定を下すために焦点を当てるデータ (画像や文章など) の特徴を調べることです。ただし、このようないわゆる顕著性手法では、通常、一度に 1 つの決定に対する洞察しか生成できず、各決定を手動で検査する必要があります。 AI ソフトウェアは通常、何百万ものデータ インスタンスを使用してトレーニングされるため、人間が十分な決定を分析して正しい動作または間違った動作のパターンを識別することはほぼ不可能です。

「機械学習モデルを調査および理解するためのツールを人間のユーザーに提供することは、機械学習モデルを現実世界に安全に展開するために不可欠です。」—アンジー・ボガスト

現在、MITとIBMリサーチの科学者たちは、AIの決定に対する説明を収集して調査する方法を考案し、AIの行動を迅速に分析できるようにした。 「Shared Interest」と呼ばれるこの新しい技術は、AI の決定の顕著性分析を人間が注釈を付けたデータベースと比較します。

たとえば、画像認識プログラムは写真を犬の写真として分類し、顕著性アプローチでは、プログラムが決定を下すために犬の頭と体のピクセルを強調表示したことを示す場合があります。対照的に、共通の関心に基づくアプローチでは、これらの顕著性手法の結果を、写真のどの部分が犬の一部であるかを人々が注釈付けした画像のデータベースと比較する可能性があります。

これらの比較に基づいて、共通関心アプローチでは、AI の決定と人間の推論の一貫性を計算し、8 ​​つのパターンのいずれかに分類する必要があります。一方では、プログラムが正しい予測を行い、人間と同じようにデータ内の同じ特徴を強調することで、AI が完全に人間のようなものであることが示されるかもしれません。一方、AIは完全に気を散らされ、誤った予測を行い、人間が強調した特徴を何も強調しませんでした。

AI の決定が陥る可能性のあるその他のパタ​​ーンは、機械学習モデルがデータの詳細を正しくまたは誤って解釈する方法を強調します。たとえば、共通の関心によって、AI は人間のように車両全体を識別するのではなく、タイヤなどトラクターの一部分だけに基づいて画像内のトラクターを正しく識別できることや、写真にスノーモービルが写っている場合にのみ AI が画像内のスノーモービルのヘルメットを識別できることが発見されるかもしれません。

実験では、共通の関心事は AI プログラムがどのように機能し、信頼できるかどうかを明らかにするのに役立ちます。たとえば、Shared Interest は、皮膚科医が皮膚病変の写真から癌の診断に関するプログラムの正しい予測と誤った予測の例をすぐに確認するのに役立ちます。結局、皮膚科医は、実際の病変ではなく無関係な詳細に基づいて予測をしすぎたため、プログラムを信頼できないと判断しました。

別の実験では、機械学習の研究者が Shared Interest を使用して、BeerAdvocate データセットに適用した顕著性手法をテストし、従来の手動の方法に必要な時間のほんの一部で、何千もの正しい決定と間違った決定を分析することができました。共通の関心は、顕著性手法が一般的にうまく機能することを示すのに役立ちますが、レビュー内の特定の単語を過大評価して誤った予測につながるなど、これまで知られていなかった欠陥も明らかにします。

「機械学習モデルを調査および理解するためのツールを人間のユーザーに提供することは、機械学習モデルを現実世界で安全に展開するために重要です」とボガスト氏は述べた。

研究者らは、共通の関心は彼らが採用する顕著性手法と同じくらいしか役に立たないと警告している。 Boggust 氏は、それぞれの顕著性手法には独自の制限があり、Shared Interest はこれらの制限を継承していると指摘しています。

将来、科学者たちは、医療記録で使用される表形式のデータなど、より多くの種類のデータに共通の関心を適用したいと考えています。ボガスト氏は、もう一つの潜在的な研究分野として、AIの結果の不確実性を自動的に推定する可能性があると付け加えた。

科学者たちは共通の利益のためにソースコードを公開した。

ソースコード: https://github.com/mitvis/shared-interest

関連レポート: https://spectrum.ieee.org/-2657216063