因果関係に着想を得た解釈可能なフレームワーク：大規模モデルを説明する効率的な方法

大規模モデルの背後にある科学をより深く理解し、その安全性を確保するためには、解釈可能性がますます重要になります。大規模モデルの説明には多くの特有の課題が伴います: (1) 大規模モデルには多くのパラメータがあります。説明の速度を可能な限り確保するにはどうすればよいでしょうか? （２）大規模モデルには多数のサンプルが含まれる。できるだけ少ないサンプルの説明だけを見ても、大規模モデルの全体像を理解できるようにするにはどうすればいいか？これら 2 つの問題は、大規模モデルの効率的な解釈の必要性を示しており、私たちは新しいパラダイムを通じて大規模モデルの効率的な解釈を構築する方法を提供したいと考えています。

私たちの効率的な新しいパラダイムは、因果関係の観点からモデルを再検討することによって得られます。まず、よく知られている解釈可能な方法（LIME、シャプレイ値など）を因果の観点から再検討し、それらの説明スコアが因果推論における因果効果（治療効果）に対応していることを発見し、これらの方法と因果関係とのつながりを明確に構築しました。これにより、これらの方法の長所と短所を統一的に比較できるだけでなく、因果グラフを分析して、十分に効率的でない理由を見つけることができます。(1)説明にはモデルへの多数の摂動が必要であり、説明が遅くなります。(2)説明は一般化できません。類似のサンプルに対して、説明が大幅に変わる場合があり、少数のサンプルの説明を見ても、他のサンプルに適用できる重要な理由をユーザーが得ることが不可能になります。

この発見に基づいて、私たちは新しい因果グラフを提案し、重要な因果原理に従って、説明者のトレーニング目標と理想的な特性を設計するためのモデル解釈のための因果関係にインスパイアされたフレームワーク (CIMI) を提案します。実験結果によると、CIMI はより忠実で一般化可能な説明を提供すると同時にサンプル効率も高く、特に大規模な事前トレーニング済みモデルに適しています。

この記事を読むことで、次のことを学ぶことができます:

• 既存のよく知られた解釈可能性の方法と因果関係との間にはどのような関係があるのでしょうか?統一された因果関係の観点から、それぞれの長所と短所をどのように比較すればよいでしょうか?
• より優れた、より効率的な因果図は何でしょうか?対応する解釈可能な方法は何ですか?

この論文にも改善の余地は大いにあります。例えば、現在分析しているのはテキスト生成モデルではなく分類モデルです。主に通常サイズの事前学習済みモデルでの説明の効率性を検証し、さらに大規模モデルで実験を進めています。私たちのフレームワークは汎用的ですが、具体的な方法では現在モデルの埋め込みの最終層が必要であり、埋め込みが公開されていないモデルを効率的に分析する方法は明確ではありません。今後皆様との話し合いを通じてこれらの問題を解決していきたいと考えております。

• 論文アドレス: https://dl.acm.org/doi/pdf/10.1145/3580305.3599240
• オープンソースアドレス: https://github.com/Daftstone/CIMI

背景

ディープラーニングは、医療保険、金融予測分析、障害検出など多くの分野で重要な役割を果たしています。しかし、ディープモデルは大部分が人間には理解できないブラックボックスであり、この不透明性は、特に重要な意思決定においては深刻な結果をもたらす可能性があります。例えば、ディープラーニングベースの汚染モデルは、高度に汚染された空気は人間の健康に脅威を与えないと主張しています[1]。不完全なモデルは無意味ではありません。モデルが特定の決定を下す理由を説明できれば、モデルエラーのリスクを効果的に軽減し、回避することができます。さらに、オープンで透明なモデルは、モデル内の潜在的なエラー（たとえば、推論ロジックがドメイン知識と一致していないなど）を発見するのにも役立ち、それによってモデルをさらに改善することができます[2]。そのため、説明可能な人工知能 (XAI) の研究はますます注目を集めています。

図 1. ディープラーニング モデルの不透明性。

解釈可能な学習における基本的な疑問は、説明によってモデルの動作の重要な根本原因が明らかになるのか、それとも単なる偽の相関関係なのかということです。相関関係と因果関係を区別しないと、意思決定者が誤った解釈をする可能性があります。因果関係の重要性は、人間とコンピュータの相互作用に関する研究[3]でもさらに強調されており、広範なユーザー研究では、因果関係が説明可能なAIに対するユーザーの信頼を高め、説明の質を評価するのに役立つことが示されています。この結果は、人間が因果関係を利用して世界のメンタルモデルを構築するという認知科学の主要理論を反映しています[4]。

さらに、説明可能な AI は、他の状況では検証が難しいことが多い基本的な因果関係の仮定に従うことで、因果関係の研究に理想的な環境を提供します。例えば、解釈可能性の研究では、モデルの予測のすべての可能な原因の完全なセットを構成する変数のセット（たとえば、文内のすべての単語の組み合わせ）を簡単に取得でき、因果十分性の仮定が満たされていることを確認できます[5]。さらに、ブラックボックス モデルでは介入が容易になり、重要な do 演算子を直接実行できるようになります。たとえば、因果研究の環境は通常、1 回限りです。人が薬を服用したら、服用を止める方法はありません。薬の服用と回復の因果関係をモデル化する必要がある場合は、交絡因子を慎重にモデル化し、バックドア調整やフロントドア調整などの手法を使用して因果推定値を統計推定値に変換し、観察されたデータのみに基づいて統計推定値を計算する必要があります。そして説明可能性においては、介入は特に簡単になります。これは、説明されているモデルのコンテキストが非常に明確であるため、任意の機能に対して直接操作を実行し、モデルの予測がどのように変化するかを確認でき、これを繰り返し実行できるためです。

因果関係の観点からの重要な問題

因果関係は、解釈可能な研究におけるその重要性と適用性により、ますます注目を集めています。 LIME [6]、Shapley値[7]、CXPlain [8]などのさまざまな説明方法は、介入（入力データへの摂動など）などの因果分析技術を活用して、ブラックボックスモデルのより忠実な説明を提供します。しかしながら、正式に統一された因果関係の観点はまだ欠如しており、次のようないくつかの重要な研究課題は依然として課題が残っています。

• RQ1. 既存の説明方法と因果関係の関係:既存の説明方法は因果関係の枠組みの中で構築できるか?もしそうなら、使用されている因果モデルは何ですか、そしてそれらの違いは何ですか?
• RQ2. 解釈可能性における因果推論の課題:モデル解釈に因果推論を使用する際の主な課題は何ですか?これらの課題に取り組むことで、どのようなメリットが得られるでしょうか?
• RQ3. 因果推論を使用して解釈可能な方法を改善する方法:これらの課題に対処するために因果モデルをどのように改善できるでしょうか?

本研究では、これらの問題を研究することで因果推論と解釈可能性の間のギャップを埋めることを目指します。

因果関係の観点から説明可能性を再検討する（RQ1）

因果の観点から既存の方法を再検討すると、LIME、Shapley 値、CXPlain などの多くの古典的な摂動ベースの解釈可能性方法が、実際には (平均) 因果効果を計算していることがわかります。因果効果はこれらの特徴の説明スコアを構成し、各特徴がモデル予測の説明にどの程度組み込まれているかを明らかにすることを目的としています。

また、それらの因果関係図は図2（左）に対応します。ここで、E の処理は、特定の特徴の 1 つまたはセットの摂動に対応します。 C はコンテキスト機能であり、E を変更した後も変更されない機能を意味します。

図 2. 左: 既存の方法の因果グラフ。説明 E とコンテキスト C の両方がモデル予測に影響を与える要因です。右: 統一された因果の観点から見た既存の解釈可能な方法の比較。

これら 3 つのアプローチはすべて、図 2 (左) の因果図を使用して要約できますが、図 2 (右) に示すように、いくつかの違いもあります。この統一された視点により、各アプローチの長所と短所を簡単に比較できることを説明します。

• 介入特徴 E: CXPlain と Shapley Value では 1 つの特徴のみを E として扱いますが、LIME では特徴のセットを使用します。したがって、さらなる拡張や仮定がなければ、CXPlain と Shapley Value は一連の特徴の因果効果を測定することはできません。これは、説明が複数の特徴の組み合わせであることが多いため、説明力を改善できることを示唆しています。
• コンテキスト C: Shapley 値はすべての特徴サブセットを可能なコンテキストと見なしますが、他の方法では特定のインスタンスをメイン コンテキストと見なします。したがって、Shapley 値はすべてのコンテキスト (つまり、すべての可能な特徴サブセット) にわたる平均因果効果を計算しますが、他の方法では個々の因果効果を考慮します。個々の因果効果は計算効率が高くなるかもしれませんが、同様の入力の説明への一般化可能性は大幅に低下する可能性があります。
• モデル出力: LIME と Shapley 値はモデル予測の変化を追跡し、CXPlain は入力がモデルの予測誤差をどのように変化させるかを観察します。したがって、CXPlain はモデルのデバッグに便利である一方、他の 2 つの方法はモデルの動作を理解するのに適している可能性があります。

説明可能性の課題に因果推論を適用する（RQ2）

前のセクションの観察に基づいて、因果推論をモデル解釈に適用する際の中心的な課題を要約することができます。説明方法では、たとえば 1 つの入力特徴が変わったときにモデルの予測がどの程度変わるかなど、個々の因果効果を簡単に計算できますが、主な課題は、多数の特徴とデータ ポイントにわたってさまざまなインスタンスに一般化できる顕著な共通の原因を効率的に発見することです。この問題を解決するには、説明が次のようになっていることを確認する必要があります。

• 因果的に十分: 説明にはモデルの動作を予測するすべての情報が含まれており、非説明にはモデルの決定に影響を与える要因が含まれていません。
• 一般化可能: 類似のインスタンスに対しては説明は同じままである必要があります (説明できない可能性のあるバリエーションのみ)。

これらの特性は、ブラックボックス モデルが大きくなり、説明する必要のあるデータ ポイントが増えるにつれて特に重要になります。これらの顕著な共通の原因は多くのデータ ポイントに一般化できるため、ユーザーの認知作業を節約できます。同時に、ユーザーの信頼を高めることにも役立ちます。図3の病理検出器を例にとると、同じ患者の異なる断面層で完全に異なる重要な領域が検出された場合、非常に不安になります。

図 3: 強​​化されたユーザー信頼を説明する例: 病理検出器。

これら2つの説明の重要な特性に基づいて、既存の方法の因果グラフを再検討します（図4（左））。このフレームワークの主な問題は、モデルの予測が説明 E とコンテキスト C によって共同で決定されることです。言い換えると、説明 E は唯一の原因ではなく、最初の因果十分性プロパティを満たしません。

因果関係の不十分さの問題は、モデルの予測の原因となるコンテキストを削除することで解決できます。図 4 (中央) と図 4 (右) は、2 つの解決策を示しています。ここで、X は入力インスタンスのランダム変数を表し、E と U はそれぞれ説明されるインスタンスと説明されないインスタンスのランダム変数を表します。どちらの因果グラフにも、説明 E という固有の原因があり、説明 E によってモデルの動作が完全に決定されます。

しかし、図4（中央）では、Xが変化すると説明Eが任意に変化するため、説明の一般化可能性を満たしません。これらの考慮に基づいて、図 4 (右) に示す因果図を選択します。明らかに、非説明変数 U の変化は説明 E やモデル予測に影響を与えず、入力インスタンス X にわずかな変化をもたらすだけであり、類似インスタンスの説明は安定していることを示唆しています。同時に、E は の唯一の決定要因として機能し、モデルの予測の原因としての説明の妥当性を保証します。

図 4: (左)。説明がモデル予測の唯一の原因ではない既存のアプローチの因果グラフ。(中央)。説明がモデル予測の因果的には十分であるが一般化されていない候補因果グラフ。(右)。説明が一般化され、唯一の原因である私たちの代替案。観測可能な変数は青色で表示されます。

因果関係を用いた解釈可能性の向上（RQ3）

前のセクションの議論に基づいて、選択された因果図に基づく説明の品質（因果的に十分かつ一般化可能）を向上させることを期待します。しかし、2 つの重要な因果変数 E と U は観測不可能であるため、図 4 (右) の因果グラフで因果メカニズムを直接再構築することは現実的ではありません。因果変数は明確な原則に従う必要があることを考慮して、因果推論における次の 2 つの重要な原則を使用して、因果変数が満たすべき基本的なプロパティを設計します。

• 原則1.ヒュームの因果律[9]：因果関係が存在するのは、すべての原因が利用可能であり、発生に先行しており、利用可能なすべての情報を使用して原因以外の情報よりも正確に予測できる場合である。
• 原則2.独立した因果メカニズム原則[10]：原因が与えられた各変数の条件付き分布は、他の変数に影響を与えない。

選択された因果グラフとこれら 2 つの因果原理に基づいて、因果に基づいたモデル解釈フレームワーク CIMI を設計します。 CIMI は、因果十分性モジュール、因果介入モジュール、因果事前モジュールの 3 つのモジュールで構成されており、抽出された説明がこれら 2 つの原則で要求される基本プロパティを満たしていることを保証します。

図 5. 左: 因果的十分性の図、中央: 因果的介入の図、右: 説明者の構造設計。

• 因果十分モジュール:

原則 1 によれば、生成された説明 E が十分な理由であることを保証するためには、図 5 (左) に示すように、他の特徴 U ではなく E が予測に最も適した特徴であることを保証する必要があります。この目的のために、因果的十分性損失は次のように構築されます。

で、

ここで、g は説明子であり、説明を表すマスク関数 、非説明を表すマスク関数 を学習し、二乗平均平方根誤差損失です。

• 因果介入モジュール:

原則 2 によれば、U と E は独立している必要があります。これにより、隣接するインスタンスに対して安定した説明を見つけることが可能になり、説明者の一般化能力が向上します。この目的のために、我々は、図5（中央）に示すように、説明者gによって生成された説明は非説明的介入に対して不変であるはずであるという事前知識に基づいて仮説を立てます。本稿では、別のサンプルをランダムにサンプリングし、x と の説明されていない部分を次のように線形補間することで介入を実装します。

そのうち、ε は介入の規模を制御します。次の因果介入損失を最適化することで、 U と E の独立性を確保できます。

• 因果事前確率モジュール:

インタープリタの設計:ニューラル ネットワークを使用してインタープリタを学習する場合、インタープリタがどのニューラル ネットワーク アーキテクチャを使用するかを決定するのは困難です。インタープリタ g のアーキテクチャがブラックボックス モデル f ほど表現力に富んでいない場合、インタープリタがブラックボックス モデルを理解できることをどのように保証できるでしょうか?説明モデルがブラックボックスモデルよりも複雑な場合、トレーニングが遅くなり、過剰適合の問題が発生しやすくなります。

この問題に対する私たちの解決策は、説明はモデルを予測する上でより効果的であるという原則 1 にヒントを得ています。したがって、説明を生成するためにブラックボックス モデルのパラメータを直接利用します。これを実現するために、ブラックボックスモデル 𝑓 のエンコーダーを、説明者 𝑔 のエンコーダーとして使用します。インタプリタ 𝑔 のデコード部分は 𝜙 と表記される単純なニューラルネットワークなので、図 5 (右) に示すように、 となります。

この設計の合理性は、モデルの順方向伝播中に、予測に役立たない情報が徐々に除外され、入力の最も重要な部分に徐々に焦点が当てられるという情報ボトルネック理論によって裏付けられます。この理論によれば、インタープリタのエンコード部分をブラックボックスモデルのエンコーダーとして設定すると、インタープリタはブラックボックスエンコーダーによってフィルタリングされたノイズ情報のほとんどをフィルタリングできるようになり、より効率的な説明の学習が可能になります。

弱く教師ありの損失:因果変数にさらなる正則化制約がない場合、すべての特徴が説明として考慮される単純な解決策を得るのは簡単であり、これにより説明者が崩壊します。この問題に対処するために、スパース損失は頻繁に使用される正則化制約であり、関与する因果変数の数が少ないことを要求する[11]。ただし、このスパース損失では、複雑な文と単純な文の制約が同じものとして扱われ、異なるインスタンスの異なる説明の長さに適応できない可能性があり、ハイパーパラメータの調整が困難になります。

これを実行するには、x の説明には別のインスタンス x' に関する情報よりも、x 自体に関する情報がより多く含まれている必要があるという直感に基づきます。これを用いて、インスタンスxのトークンが説明として予測される確率を最大化し、インスタンスxに含まれないトークンが説明として予測される確率を最小化し、次のように弱い監督損失を得る。

このうち、 はインスタンス x' の埋め込みを表します。

実験分析

説明対象のブラックボックス モデルとして BERT と RoBERTa を選択し、Clickbait、Hate、Yelp、IMDB データセットで生成された説明の品質を評価しました。具体的な統計データは図6に示されています。

図6.実験セットアップ。

説明の忠実度、一般化、サンプル効率、使いやすさを評価します。

1. 忠実度評価:生成された説明の因果的十分性を評価するために、DFFOT (決定反転単語分数)、COMP (必要性)、SUFF (十分性) という 3 つの忠実度メトリックを使用します。これらのメトリックの詳細と実験結果を図 7 に示します。提案された方法はさまざまなデータセットで競争力があることがわかります。特に、データセットの複雑さが増すにつれて (CLickbaitIMDB)、ベースライン メソッドに対する改善がより顕著になります。たとえば、Clickbait では、DFFOT のパフォーマンスは最良のベースライン メソッドと比較して 4.2% 向上しますが、IMDB では対応するパフォーマンスは 54.3% 向上します。この好ましい特性は、当社のアルゴリズムの優れたスケーラビリティを強調しています。

図7. 解釈の忠実度の評価。

2. 一般化評価:生成された説明の一般化を評価するために、AvgSen (平均感度) を使用します。確かに、AvgSen では、説明に含まれる重要なトークン (説明) の一部が置き換えられる可能性はありますが、特にセグメント化された単語の数が多い Yelp や IMDB では、その可能性は非常に低くなります。実験結果を図8に示します。 4 つのデータ セットでは、摂動の前後で上位 10 個の重要な単語セグメンテーションのうち少なくとも 8 つが一貫していることがわかりますが、これはベースライン メソッドでは達成するのが困難です。これは、提案された方法が不変の一般化特徴を捉える能力を持っていることを示しており、類似のインスタンスを繰り返し説明するための時間のかかるコストを回避するのに役立ち、そのような安定した説明は人々の信頼を高めるのにも役立ちます。

図8.説明の一般化可能性の評価。

3. サンプリング効率（説明速度）の評価：図9は、同じサンプリング回数（モデルの順方向伝播回数）でのさまざまな摂動ベースの方法のパフォーマンス比較を示しています。まず、CXPlain の単一特徴摂動の説明メカニズムにより、各サンプル x の摂動回数が最大で |x| 回になるため、小規模なデータセットで高い効率が示されます。第二に、提案された方法は、4 つのデータセットすべてで、特に Hate では、100 回のサンプリング回数でベースラインを上回るのに 3 回のサンプリング回数しか必要としないという、大きな競争力を示しています。これは、因果原理の制約下でのニューラル ネットワークの一般化能力によるもので、多数のデータ ポイントからさまざまなインスタンスに一般化できる説明を要約できるため、最終的に効率が向上します。大規模モデルが急速に発展している時代では、モデルがますます大きくなり、説明する必要のあるデータ ポイントがますます増えるため、解釈方法にとってこのような効率的なサンプリングがますます重要になります。

図9. 解釈方法のサンプリング効率の評価。

4. ユーザビリティ評価:説明は、モデルをより深く理解するのに役立つだけでなく、モデルのデバッグにも役立ちます。ノイズの多いデータ収集により、モデルがトレーニング中に誤った相関関係を学習する可能性があります。この目的のために、このセクションでは、さまざまな説明方法がショートカット機能を削除する能力を分析します。私たちは 20 のニュースグループのサブセットを使用して、「キリスト教」と「無神論」を分類します。このデータセットを選択した理由は、トレーニング セットには多くのショートカット機能が含まれていますが、テスト セットはクリーンであるためです。たとえば、トレーニング セットに「投稿」という単語が出現するインスタンスの 99% は、「無神論」カテゴリに属します。

説明方法がショートカット機能の検出に役立つかどうかをテストするために、まずノイズの多いトレーニング セットで BERT モデルをトレーニングします。次に、さまざまな方法の説明を取得し、説明内の単語がクリーンなテスト セットに表示されない場合は、その単語を潜在的なショートカット機能として考慮します。次に、ショートカット機能を削除した後、分類モデルを再トレーニングします。さまざまな説明方法がショートカット機能を識別する能力を評価するために使用されるメトリックは、潜在的なショートカット機能を削除した後の再トレーニング済みモデルのパフォーマンスです (分類パフォーマンスが向上するということは、見つかったショートカット機能がより正確であることを意味します)。結果を図10に示します。まず、LIME と提案された方法はどちらもショートカットを効果的に削除し、モデルのパフォーマンスを向上させることができます。 2 番目に、CIMI はモデルのパフォーマンスを大幅に向上させ、検出されたショートカット機能の精度が向上したことを示しています。

図10.説明方法のユーザビリティ評価

要約する

この論文では、因果推論の観点からいくつかの古典的な解釈可能性手法を再解釈し、その説明スコアが因果推論における因果効果に対応していることを発見しました。この統一された因果的観点からそれぞれの長所と短所を分析すると、説明のために因果推論を使用する際の主な課題である因果の十分性と一般化可能性が明らかになります。最後に、適切な因果グラフと重要な因果原理に基づいて、ニューラル エクスプレインのトレーニング目標と理想的な特性が設計され、効率的なソリューション CIMI が提案されます。広範囲にわたる実験を通じて、説明の因果的十分性、一般化、およびサンプリング効率の観点から提案手法の優位性を実証し、モデルデバッグを支援するための説明手法の可能性を探ります。