ネイチャー長文記事：AIのブラックボックスを破るための「長期戦」

2020年2月、COVID-19が世界中で急速に広がり、抗原検査の入手が困難になったため、一部の医師は症例の診断に人工知能（AI）を活用した。一部の研究者は、X線写真や胸部コンピューター断層撮影（CT）スキャンを見て、COVID-19肺炎に罹患している人とそうでない人を素早く区別するためにディープニューラルネットワークを採用した。

「COVID-19パンデミックの初期には、役に立つツール、特にAIツールを開発する競争がありました」とシアトルのワシントン大学のコンピューターエンジニア、アレックス・デグレーブ氏は言う。「しかし、多くのAIモデルが近道をとることを決めていたことに研究者たちは気づいていなかったのです。」

AIは、COVID-19陽性と陰性のラベルが付けられたX線写真を分析してモデルをトレーニングし、画像間で見つかった違いを使って推論を行ったが、当時は問題に直面した。「利用できるトレーニングデータがあまりなかった」とデグレイブ氏は語った。

多くの病院がCOVID-19患者のレントゲン写真（COVID-19陽性と表示）を公開しており、また、パンデミック前に国立衛生研究所が収集した肺の画像ライブラリには、COVID-19に感染していない人のレントゲンデータ（COVID-19陰性と表示）が提供されている。これらのデータをトレーニングに使用すると、無視できないエラーが発生します。たとえば、多くのレントゲンでは、人の体の右側を示すために文字Rが使用されており、放射線科医が画像と人体の関係を正しく特定しやすくなっています。しかし、異なる病院で使用される文字Rの外観は異なります。同時に、ほとんどのCOVID-19陰性画像は単一のソースからのものであり、つまり、これらのデータを使用してトレーニングされたモデルは、写真に表示されている生体認証に基づいて推論を行うだけでなく、写真の文字Rのスタイルと位置に基づいて推論を行うことになります（図1を参照）。

図1 訓練に使用したX線画像

シアトルにあるコンピューター科学者スイン・リー氏の生物・医学科学のための説明可能なAI研究所に所属するデグレイブ氏とジョセフ・ジャニゼク氏は、2021年5月にネイチャー・マシン・インテリジェンス誌に発表した論文でこの問題を報告した。

機械学習モデルの意思決定プロセスは、研究者が通常モデルの入力と出力しか知らず、モデル内で何が起こっているかを把握することが難しいため、学者からはブラックボックスと呼ばれることがよくあります。

DeGrave 氏と Janizek 氏は、AI システムをテストし、その動作の理由を説明するために設計された手法を使用して、これらのブラック ボックスを開きます。つまり、説明可能な AI モデルを構築します。

説明可能な AI (eXplainable AI、XAI) を構築することには多くの利点があります。医療現場では、モデル システムが特定の診断を下した理由を理解することで、それが正当であると病理学者に納得させることができます。これは、場合によっては法律で説明が義務付けられているためです。たとえば、融資システムがユーザーの融資資格について決定を下す場合、米国と EU の両国では、融資の拒否が法的に禁止されている理由 (人種や性別など) に基づいていないことの証拠を要求します。

AI システムの内部の仕組みをより深く理解することは、コンピューター科学者が作成するモデルを改善および改良するのにも役立ち、特定の問題を解決する方法についての新しいアイデアにつながる可能性もあります。

ただし、XAI の利点が実現されるのは、XAI が提供する説明自体が理解可能かつ検証可能であり、モデルを構築する人々がその努力に見合う価値があると信じている場合のみです。

ニューロン

デグレイブ氏とジャニゼク氏が取り組んでいるディープ ニューラル ネットワークは、写真の内容や話し言葉の意味など、さまざまな情報に触れることで学習する驚異的な能力で高く評価されています。

これらの神経ネットワークは、特定の活性神経細胞が外部刺激に反応して特定のパターンで発火するという点で、人間の脳と同様に機能します。たとえば、ニューラル ネットワーク内の人工ニューロンは、受け取った入力に基づいて、猫を見たときと木を見たときで異なるパターンをトリガーします。ニューロンは 2 つの違いを探します。

この場合、ニューロンは数学的な関数であり、入力データはデジタル形式でシステムに入ります。たとえば、ニューロンは写真のピクセルの色を記述し、そのデータに対して計算を実行します。人体では、ニューロンは受け取った刺激が一定の電気的閾値を超えた場合にのみ発火します。同様に、人工ニューラル ネットワーク内の各数学ニューロンにはしきい値による重み付けが行われます。

計算結果が閾値を超えると、さらに計算するために別のニューロン層に渡されます。最終的に、システムは出力データと入力データの関係における統計パターンを学習します。たとえば、猫が含まれているとラベル付けされた画像は、猫が含まれていないとラベル付けされた画像とは体系的に異なります。これらの明らかな違いは、AI モデルが他の画像に猫が存在する可能性を判断するのに役立ちます。

ニューラル ネットワークの設計は、他の機械学習技術とは異なります。

ニューラル ネットワーク モデルに入力に対して作用する計算層 (つまり、隠れ層) が多くなるほど、モデルが何を実行しているかを説明することが難しくなります。 「小さな決定木のような単純なモデルは、実際にはブラックボックスではありません」とマサチューセッツ州ボストン大学のコンピューター科学者ケイト・サエンコ氏は言う。「小さな決定木は基本的に一連のルールであり、人間はモデルが何をしているかを簡単に理解できるため、本質的に解釈可能です。しかし、ディープニューラルネットワークは多くの場合非常に複雑で、数百万、あるいはおそらく数十億の計算を伴うため、学者がその内部の仕組みを説明するのは困難です。」

通常、ディープ ニューラル ネットワークの不思議な仕組みを説明する作業には、入力データのどの特徴が出力に影響を与えるかを解明することが含まれます。

デグレイブ氏とジャニゼク氏が胸部X線写真の方向マーカー（文字R）が診断にどのような影響を与えるかを判断するのに役立ったツールの1つは、顕著性マップである。これは、コンピューターが推論を行う際に画像のどの部分に最も注目しているかを示す色分けされたチャートである。図2に示すように。

Saenko 氏とその同僚は、そのようなマップを生成するために、D-RISE (Detector Random Input Sampling for Explainable AI) と呼ばれる技術を開発しました。研究者たちは、例えば花が入った花瓶（図2）の写真を撮り、画像のさまざまな部分を体系的にマスクして、特定の物体（花瓶など）を認識するタスクを与えられたAIモデルにそれを見せました。次に、各ピクセルグループのぼやけ具合が結果の精度にどのように影響するかを記録し、各部分が認識プロセスにとってどれほど重要かに応じて写真全体を色分けしました。

予想通り、花が入った花瓶の写真では、花瓶自体が鮮やかな赤や黄色に照らされており、AIが花瓶を認識する際には花瓶自体の存在が重要であることが示唆されています。しかし、この写真で強調されているのは、このエリアだけではありません。 「顕著性は花束にまで及びます」とサエンコ氏は言う。「それらは花瓶の一部としてラベル付けされていませんが、モデルは花を見るとその物体は花瓶である可能性が高いと学習します。」D-RISE は、AI モデルが結果を変える要因を強調します。

「それは、彼らがどんな間違いを犯したのか、あるいは間違った理由で何かを行っているのかどうかを理解するのに役立つ」とサエンコ氏は述べた。同氏のこの分野での研究は、米国防高等研究センターが運営し、現在は完了しているXAIプロジェクトから一部資金提供を受けている。

入力データを変更して重要な特徴を識別することは、多くの AI モデルを探索するための基本的なアプローチです。

しかし、より複雑なニューラルネットワークでは、どの特徴がモデルの推論で役割を果たし、その役割はどの程度大きいかだけでなく、ある特徴の重要性が他の特徴の変化に応じてどのように変化するかまで科学者が解明しなければならないため、この作業はより困難になると、ペンシルベニア州ピッツバーグのカーネギーメロン大学のコンピューター科学者アヌパム・ダッタ氏は言う。

「因果関係は依然として存在しており、どの特徴がモデルの予測に最も大きな因果的影響を与えるかをまだ解明しようとしているところです」とダッタ氏は言う。「しかし、それを測定するメカニズムは少し変わります」。サエンコ氏の顕著性マップと同様に、ダッタ氏は画像内の個々のピクセルを体系的にブロックし、その部分のブロックによる変化の大きさを表す数学的値を画像のその部分に割り当てます。見て

どのピクセルが最も重要であるかを把握することで、隠れ層のどのニューロンが結果に最も貢献しているかをダッタ氏は知ることができ、モデルが機能する理由をより適切に説明できるようになります。

説明可能性の利点

DeGrave 氏と Janizek 氏は、生成的敵対ネットワーク (GAN) と呼ばれる別の複雑なニューラル ネットワークを使用して、顕著性マップを測定しました。

典型的な GAN は、データ (道路の画像など) を生成するネットワークと、その出力が本物か偽物かを判断するネットワークのペアで構成されます。最初のネットワークが他のネットワークを騙す画像を確実に作成できるようになるまで、2 つのネットワークはこのように相互作用を続けます。彼らの場合、研究者らはGANにCOVID-19陽性のX線画像をCOVID-19陰性画像に変異させるよう依頼した。GANがX線画像のどの部分を変更したかを見ることで、研究者らは画像のどの部分がAIモデルに影響を与えたかを判断し、モデルの解釈可能性を高めることができた。

GAN はシンプルですが、このネットワークの微妙なダイナミクスは研究者によって十分に理解されていません。 「GANは不思議な方法で画像を生成します。ランダムに数字を入力すると、最終的に非常にリアルに見える画像が出力されます」とコンピューター科学者のアントニオ・トッラルバ氏は語った。トラルバ氏と彼のチームは、GAN を解析してそれぞれのニューロンが何をしているかを調べる責任があり、ダッタ氏と同様に、GAN 内の一部のニューロンが特定の概念に特に重点を置いていることを発見しました。 「私たちは、木のマッピングを担うニューロンのグループ、建物のマッピングを担うニューロンのグループ、そしてドアや窓のマッピングを担うニューロンのグループを発見しました」とTorralba氏は語った。

図2: 顕著性マップの例（画像では、AIが花瓶を識別する際に花瓶の花にも気付いていることがわかります）

どのニューロンがどの物体を認識または生成しているかを識別できれば、何千枚もの新しい写真をニューラルネットワークに見せなくても、ニューラルネットワークを改善できる可能性が開けると、Torralba 氏は述べた。

モデルが車を認識するようにトレーニングされているが、トレーニングに使用された画像がすべて舗装道路上の車の写真だった場合、雪道上の車の写真を見せられても、モデルは車を認識しない可能性があります。しかし、モデルの内部接続を理解したコンピューター科学者は、モデルを微調整して雪の層を舗装面と同等のものとして認識し、その種類の画像を識別するモデルの精度を向上させることができました。同様に、不可能なシーンを自動的に作成したいコンピュータ特殊効果デザイナーは、手動でモデルを再設計してそれを行うことができます。

説明可能性のもう 1 つの価値は、マシンがタスクを実行する方法を理解することで、モデルを使用する人がモデルがどのように異なる方法で実行できるかを理解し、モデルを変更してより優れたパフォーマンスを実現できることです。

計算生物学者のローラ・ジェーン・ガーディナー氏は、さまざまな生物学的プロセスを制御する体内の分子タイマーである概日時計の調節にどの遺伝子が役割を果たしているかを予測する AI をトレーニングしました。ガーディナー氏とIBMヨーロッパ研究所および英国ノーリッチの生命科学研究グループであるアーラム研究所の同僚たちは、遺伝子が概日リズムに何らかの役割を果たしているかどうかを判断するためにコンピューターが使用する特徴を強調表示させた。

「私たちは遺伝子調節のプロモーターだけを調べていました」とガードナー氏は語り、「しかしAIは研究者が見逃していたであろう遺伝子配列の手がかりを見つけました」とガードナー氏は説明した。研究チームは実験室での研究にAIを使用し、生物学に対する理解をさらに深めることができる。

AIの精度と信頼性

AIを説明することは始まりに過ぎないが、その正確さを定量化する方法も必要だと、カーネギーメロン大学のコンピューター科学者で、そうした評価を自動化する方法を研究しているプラ​​ディープ・ラビクマール氏は言う。人間にとって意味があるように見える説明は、実際にはモデルが実際に行っていることとはほとんど関係がない可能性があると彼は主張する。

「説明可能な AI を客観的に評価する方法の問題はまだ初期段階にあります」とラビクマール氏は言う。「よりよい説明が必要であり、説明を評価するよりよい方法も必要です」。説明の信憑性をテストする方法の 1 つは、説明にある重要な特徴に小さな変更を加えることです。

解釈が正しければ、入力のこれらの小さな変化は出力に大きな変化をもたらすはずです。同様に、猫の写真からバスを削除するなど、無関係な特徴に大きな変更を加えても、モデルの判断には影響しません。 AI をさらに一歩進めると、どの機能が重要であるかを予測できるだけでなく、それらの機能に小さな変更が加えられた場合にモデルの推論がどのように変化するかも予測できるようになります。 「説明が実際にモデルを説明しているのであれば、モデルがこれらの小さな変化の下でどのように動作するかについて、より良いアイデアが得られる」とラビクマール氏は述べた。

AI の内部の仕組みを説明することは、時には非常に困難な作業のように思えるため、多くのコンピューター科学者はそれを省略して AI の結果を額面通りに受け止めたくなるかもしれません。しかし、少なくともある程度の解釈可能性は比較的単純です。たとえば、サリエンシー マップは迅速かつ安価に生成できるようになりましたが、GAN のトレーニングと使用ははるかに複雑で時間がかかります。

「ディープラーニングに関する知識がかなり必要であり、それを機能させるにはグラフィック処理ユニットを備えた高性能なマシンも必要です」とヤニゼック氏は言う。彼のチームが試みた3番目のアプローチは、写真編集ソフトウェアを使用して何百もの画像を手動で修正し、特徴が重要であるかどうかを判断するというもので、さらに労働集約的でした。

機械学習コミュニティの多くの研究者も、モデルの解釈可能性と精度の間のトレードオフを好む傾向があります。彼らは、膨大な量の計算によってニューラル ネットワークの出力がより正確になり、人間の理解を超えるものになると考えています。しかし、トレードオフが本当に存在するのかどうか疑問視する声もあるとヤニゼック氏は述べた。 「最終的には、より解釈しやすいモデルの方が、より有用でより正確なモデルになるかもしれない。」

説明可能性の課題が大きくても小さくても、適切な説明だけでは必ずしもユーザーにシステムを信頼させるのに十分ではないとラビクマール氏は述べた。アマゾンのアレクサなどのAIアシスタントが特定の方法で質問に答えた理由を知っても、プライベートな会話の記録の悪用を禁止する法律ほどユーザー間の信頼は育たないかもしれない。おそらく医師は、コンピューターの診断が時間の経過とともに正しいことを証明する臨床的証拠を必要としているのだろう。政策立案者は、このようなシステムの使用に関する何らかの保護を法律に定めることを望むかもしれない。

しかし、説明の分野では、AI研究者は大きな進歩を遂げています。トラルバ氏は、この問題は1、2年以内に解決できる可能性があるが、使用されているさまざまな機械学習モデルをカバーするために解決すべき詳細がまだ残っている可能性があると述べた。

「人々はいつもこのブラックボックスについて語りますが、私たちはニューラルネットワークをブラックボックスだとは考えていません」と彼は言いました。「ニューラルネットワークが本当にうまく機能し、よく見ると、その動作には意味があります。」