新しい技術が機械学習モデルの推論を人間の推論と比較する

研究者らが開発した新しい技術は、機械学習モデルの推論と人間の推論を比較し、ユーザーがモデルの行動パターンを見ることができるようにしている。機械学習では、モデルが特定の決定を下す理由を理解することは、その決定が正しいかどうかを理解することと同じくらい重要です。たとえば、機械学習モデルは皮膚病変が癌であると正しく予測するかもしれませんが、それは臨床写真上の無関係な点を見て予測した可能性があります。​​

専門家がモデルの推論を理解するのに役立つツールは存在しますが、これらのアプローチでは一度に 1 つの決定についての洞察しか得られないことが多く、各決定を手動で評価する必要があります。モデルは数百万のデータ入力を使用してトレーニングされることが多く、パターンを認識するのに十分な決定を人間が評価することはほぼ不可能です。

現在、MIT と IBM Research の研究者は、ユーザーがこれらの個々の説明を集約、分類、並べ替えて、機械学習モデルの動作を迅速に分析できる方法を開発しました。 「Shared Interest」と呼ばれる彼らの技術には、モ​​デルの推論が人間の推論とどの程度一致しているかを比較する定量化可能な指標が含まれています。

共通の関心は、ユーザーがモデルの決定における関連する傾向を簡単に見つけるのに役立ちます。たとえば、モデルは写真の背景にあるオブジェクトなど、気を散らす無関係な特徴によって混乱することが多いかもしれません。これらの洞察を集約することで、ユーザーはモデルが信頼できるかどうか、また実際の世界に展開できるかどうかを迅速かつ定量的に判断できるようになります。

「Shared Interest を開発する際の私たちの目標は、この分析を拡大して、モデルの動作をはるかに大きなスケールで理解できるようにすることでした」と、MIT のコンピューターサイエンスおよび人工知能研究所 (CSAIL) の可視化グループの大学院生で主執筆者のアンジー・ボガストは述べています。

ボガスト氏は、彼女の指導教官であり、可視化グループを率いるコンピューターサイエンスの准教授であるアルビンド・サティアナラヤン氏、IBMリサーチのベンジャミン・フーバー氏、および主任著者のヘンドリック・ストロベルト氏とともにこの論文を共同執筆した。この論文は、コンピューティング システムにおけるヒューマン ファクターに関する会議で発表される予定です。

ボガスト氏はIBMでの夏季インターンシップ中にストロベルト氏の指導の下、このプロジェクトに取り組み始めた。 MITに戻った後、ボガスト氏とサティアナラヤン氏はプロジェクトを拡大し、この技術を実際にどのように使用できるかを示すケーススタディの展開に貢献したストロベルト氏とフーバー氏との協力を継続しました。

人間とAIの連携

Shared Interest は、機械学習モデルが特定の決定を下す方法を示すための一般的な手法、いわゆる顕著性手法を活用します。モデルが画像を分類している場合は、モデルが決定を下せるように、画像内の重要な領域を強調表示します。これらの領域は、顕著性マップと呼ばれる一種のヒートマップとして視覚化され、多くの場合、元の画像に重ねて表示されます。モデルが画像を犬として分類し、犬の頭が強調表示されている場合、それは、画像に犬が含まれているとモデルが判断したときに、それらのピクセルがモデルにとって重要であったことを意味します。

Shared Interest は、プロミネンス法と実際のデータを比較することによって機能します。画像データセットでは、グラウンドトゥルースデータは通常、各画像の関連部分の周囲に人間が生成した注釈です。前の例では、ボックスが写真内の犬全体を囲みます。画像分類モデルを評価する際、Shared Interest は、モデルによって生成された顕著性データと、同じ画像に対して人間が生成したグラウンド トゥルース データを比較し、それらの一貫性を確認します。

この手法では、いくつかの指標を使用してこの一貫性 (または不一致) を定量化し、特定の決定を 8 つのカテゴリのいずれかに分類します。これらのカテゴリは、人間と完全に一致しているもの（モデルが正しい予測を行い、強調表示された領域が人間が生成したボックスと同じ）から、完全に気が散るもの（モデルが誤った予測を行い、人間が生成したボックスの画像機能をまったく使用していない）までの範囲にわたります。

「スペクトルの一方の端では、モデルは人間とまったく同じ理由でこの決定を下しますが、もう一方の端では、モデルと人間はまったく異なる理由でこの決定を下します。データセット内のすべての画像を定量化することで、その定量化を使用して画像を分類できます」とボガスト氏は説明しました。

この手法はテキストベースのデータでも同様に機能し、画像領域ではなくキーワードが強調表示されます。

クイック分析

研究者たちは、3 つのケーススタディを使用して、Shared Interest が非専門家と機械学習研究者の両方にとってどのように役立つかを説明します。

最初のケーススタディでは、Shared Interest を使用して、皮膚病変の写真から癌を診断できるように設計された機械学習モデルを信頼すべきかどうかを皮膚科医が判断できるように支援しました。 Shared Interest により、皮膚科医はモデルによる正しい予測と誤った予測の例をすぐに確認できるようになります。最終的に、皮膚科医は、実際の病変ではなく画像のアーティファクトに基づいて予測をしすぎたため、モデルを信頼できないと判断しました。

「ここでの価値は、Shared Interest を使用することで、モデルの動作にこれらのパターンが現れるのを確認できたことです」と Boggust 氏は言います。「約 30 分で、皮膚科医はモデルを信頼するかどうか、またモデルを展開するかどうかについて自信を持って決定することができました。」

2 番目のケース スタディでは、機械学習の研究者と協力し、モデルのこれまで知られていなかった落とし穴を明らかにすることで、Shared Interest を使用して特定の顕著性メソッドを評価する方法を示しました。彼らの技術により、研究者は、通常の手動の方法に必要な時間のほんの一部で、何千もの正しい決定と間違った決定を分析できるようになります。

3 番目のケース スタディでは、Shared Interest を使用して、特定の画像分類の例をさらに深く掘り下げました。画像の実際の領域を操作することで、what-if分析を実行し、特定の予測にとって画像のどの特徴が最も重要であるかを確認することができました。

研究者たちは、これらのケーススタディにおける Shared Interest のパフォーマンスに感銘を受けましたが、Boggust 氏は、この手法の良し悪しは、その基礎となる顕著性手法の良し悪しによって決まると警告しています。これらの手法に偏りや不正確さが含まれている場合、Shared Interest はそれらの制限を継承します。

将来的には、研究者たちは、Shared Interest をさまざまな種類のデータ、特に医療記録などの表形式のデータに適用したいと考えています。また、Shared Interest を活用して、現在の顕著性テクノロジーを改善したいと考えています。ボガスト氏は、この研究が、人間にとって意味のある方法で機械学習モデルの動作を定量化しようとするさらなる研究につながることを期待している。