ディープラーニング？ 「ブラックボックス」である必要はない

ディープニューラルネットワークのパラメータネットワークは非常に大きく複雑であり、これによりマシンはこれまで想像もできなかったさまざまな機能を実現できるようになります。しかし、この複雑さは、ニューラル ネットワークの広範な応用の妨げにもなっています。ニューラル ネットワークの内部の仕組みは常に謎に包まれており、作成者自身でさえ、どのように決定を下すのか理解できません。この問題は、2010 年代初頭にディープラーニングが普及して以来、人工知能コミュニティを悩ませてきました。

ディープラーニングがさまざまな分野やアプリケーションに拡大するにつれて、ニューラルネットワークの結果と学習したパラメータの組み合わせに基づいてニューラルネットワーク技術の原理を説明することに人々の関心が高まっています。しかし、これらの説明は信頼性が低く、誤解を招く場合さえあります。さらに悪いことに、これらすべてをしても、トレーニング中にディープラーニング モデル内のバイアス/偏向を実際に修正することはほとんどできません。

デューク大学の科学者らは、最近Nature: Machine Intelligence誌に掲載された査読済み論文の中で、パフォーマンスを犠牲にすることなくニューラルネットワークが特定の概念を学習できるように導くことを目的とした「コンセプトホワイトニング」と呼ばれる手法を提案した。コンセプトホワイトニングは、何百万ものトレーニング済みパラメータの中からモデルが自律的に答えを検索する必要はなく、ディープラーニング モデルに解釈可能性を導入します。この技術は畳み込みニューラルネットワークに適用され、有望な結果を示しており、人工知能の将来の開発と研究に大きな影響を与えると期待されています。

ディープラーニングモデルの特徴と潜在空間

高品質のトレーニング例があれば、適切に設計されたディープラーニング モデルは、さまざまな種類の入力マテリアルを区別できるはずです。たとえば、コンピューター ビジョン タスクでは、トレーニングされたニューラル ネットワークが画像のピクセル値を対応するカテゴリに変換できます。 (コンセプトホワイトニングは主に画像認識に適用できるため、ここでは機械学習タスクのこの特定のサブセットに焦点を当てます。もちろん、ここで説明する内容の多くは、ディープラーニングの分野全体にも当てはまります。)

トレーニング中、ディープラーニング モデルの各レイヤーは、トレーニング画像の特徴を数値のセットとしてエンコードし、それをパラメータに保存します。このプロセスがAIモデルの潜在空間です。通常、多層畳み込みニューラル ネットワークの下位層は、角度や境界などの基本的な特徴を学習する役割を担います。ニューラル ネットワークの上位層では、顔、物体、完全なシーンなど、より複雑な特徴を検出することを学習します。

キャプション: ニューラル ネットワークの各レイヤーは、入力画像内の特定の特徴をエンコードします。

理想的には、ニューラル ネットワークの潜在空間は、検出される画像のクラスに関連する概念を表す必要があります。しかし、ディープラーニング モデルは、結論と因果関係がない場合でも、最も識別力の高い特徴を学習する傾向があるため、確実なことはわかりません。

たとえば、以下のデータセットにある子猫の画像にはすべて、右下隅にロゴがあります。人間は、そのロゴが子猫とは何の関係もないことをすぐに理解できます。しかし、ディープラーニング モデルは近道をして、右下隅のロゴがある画像に子猫が含まれていると想定する可能性があります。同様に、トレーニング セット内のすべての羊の画像の背景に草がある場合、ニューラル ネットワークは羊ではなく草を検出するように学習する可能性が高くなります。

キャプション: トレーニング中、機械学習アルゴリズムはピクセルをラベルに最も簡単に関連付けるアクセス パターンを検索します。

したがって、トレーニング データセットとテスト データセットでのディープラーニング モデルの実際のパフォーマンスに加えて、モデルがどのような概念と特徴を検出するために学習したかを理解することがより重要になります。古典的な解釈技術もこの観点から問題を解決しようとします。

ニューラルネットワークの事後説明

ほとんどのディープラーニングの説明手法は事後的な性質を持ち、つまり、トレーニングされたニューラル ネットワークは、その出力とパラメーター値を検査することによってのみ評価できます。たとえば、ニューラル ネットワークが画像内で何を見ているのかを判断するための一般的な手法の 1 つは、入力画像のさまざまな部分をブロックし、それらの変更がディープラーニング モデルの出力にどのように影響するかを確認することです。この手法は、ニューラル ネットワークに最も関連性の高い画像の特徴を強調表示するヒート マップを作成するのに役立ちます。

図1: 顕著性マップの例

その他の事後手法としては、さまざまな人工ニューロンのオン/オフを切り替えて、これらの調整が AI モデルの出力にどのように影響するかを調べることなどがあります。これらの方法は、関連する特徴と潜在空間間のマッピング関係を見つけるのにも役立ちます。

これらの方法はうまく機能しますが、本質的にはディープラーニング モデルを「ブラック ボックス」形式で見ているだけであり、ニューラル ネットワークの正確な状況を真に描写することはできません。

「「説明」手法は通常、モデル計算の実際の説明ではなく、パフォーマンスの要約統計（例：ローカル近似、ノードアクティベーションの一般的な傾向など）を提供します」とホワイトペーパーの著者は書いています。 ”

たとえば、サリエンシー マップの問題は、ニューラル ネットワークが間違った情報を学習した場合に、その問題を検出できないことが多いことです。ニューラル ネットワークの特徴が潜在空間に散在すると、単一のニューロンの役割を解釈することが非常に困難になります。

図のキャプション: サリエンシー マップの説明では、ブラック ボックス AI モデルが最終判断を下す方法を正確に表現することはできません。

デューク大学のコンピューターサイエンスの学生で、概念ホワイトニング論文の第一著者でもある人物は、インタビューで次のように述べている。「ディープ ニューラル ネットワーク (NN) は画像認識に非常に有効ですが、その極度の複雑さのため、ニューラル ネットワークの隠れ層における学習プロセスを理解することはできません。この解釈可能性の欠如により、ニューラル ネットワークは信頼性が低く、実際に適用することが困難になっています。これまで、事後的な説明のほとんどは、各ニューロンが学習した特定の概念など、モデルが学習した内容を分析するだけの作業でした。しかし、これらの方法は依然として、これらの概念がネットワークによって学習された (必ずしもそうではない)、および 1 つのニューロンにのみ集中している (これも必ずしもそうではない) という仮定に大きく依存しています。」

デューク大学のコンピューターサイエンス教授であり、コンセプトホワイトニング論文の共著者でもあるシンシア・ルーディン氏は、ブラックボックスの説明手法を信頼することの危険性について以前にも警告しており、そのような方法はニューラルネットワークについて誤った説明を与える可能性があると述べている。ルーディン氏は、以前ネイチャー誌「マシン・インテリジェンス」に掲載された別の論文で、自然に説明できる AI モデルの使用と開発を奨励した。博士課程のアドバイザーとして、ルーディン氏は機械学習の解釈可能性に焦点を当てたデューク大学の予測分析ラボを率いています。

コンセプトホワイトニングの目標は、潜在空間がトレーニング中に学習したコンセプトと一致するニューラル ネットワークを開発することです。このアプローチにより、ディープラーニング モデルが真に解釈可能になり、入力画像の特徴とニューラル ネットワークの出力との間の関係マッピングを確立する難しさも大幅に軽減されます。

ルーディン氏はインタビューで、「私たちの研究は、ニューラルネットワークが潜在空間を処理する方法を直接変え、関係軸を既知の概念に真に対応するものにする」と語った。

ニューラルネットワークに概念を組み込む

ディープラーニング モデルは通常、単一のラベル付きデータセットでトレーニングされます。コンセプトホワイトニングでは、コンセプトの例を含む 2 番目のデータセットが導入されます。これらの概念は、AI モデルのコアタスクに関連しています。たとえば、ディープラーニング モデルが「寝室」を検出した場合、関連する概念にはベッド、冷蔵庫、ランプ、窓、ドアなどが含まれます。

「代表的なサンプルは、解釈可能性の定義を構築することが期待されるため、手動で選択できます」とチェン氏は言います。「機械学習の専門家は、これらのサンプルを任意の方法で収集し、アプリケーションに適した特定の概念のデータセットを構築できます。たとえば、医師に代表的なX線写真を選択してもらい、さまざまな医療概念を定義できます。」

コンセプトホワイトニングでは、ディープラーニング モデルは 2 つの並行トレーニング サイクルを実行します。ニューラル ネットワークは全体的なパラメータを調整して主要タスクのクラスを表しますが、コンセプト ホワイトニング手法では各レイヤーの特定のニューロンを調整して、コンセプト データセットに含まれるクラスに合わせます。

その結果、概念が各層にきちんと分散され、ニューロンの活性化がそれぞれの概念に対応する、絡み合った潜在空間が生まれます。 「この絡み合いにより、ネットワークが概念を層ごとに学習する仕組みをより明確に理解できるようになります」とチェン氏は語った。

この技術の有効性を評価するために、研究者らは、さまざまなレイヤーに概念ホワイトニングモジュールを挿入したディープラーニングモデルを通じて一連の検証画像を実行しました。次に、各層で活性化された概念ニューロンに基づいて画像を分類しました。下位層では、コンセプトホワイトニングモジュールが色やテクスチャなどの低レベルの特徴をキャプチャできます。たとえば、ネットワークは下位層を通じて、青い背景の白い物体は「飛行機」という概念と密接に関連している可能性が高い一方、暖色の画像は「ベッド」という概念を含む可能性が高いことを認識できます。上位層では、ネットワークはその概念を表すオブジェクトを分類する方法を学習します。

キャプション: コンセプトホワイトニングは、下位レイヤーで低レベルの情報 (色、テクスチャなど) を学習し、上位レイヤーで高レベルの情報 (オブジェクト、人物など) を学習します。

概念の論争と調整の主な利点は、ニューラル ネットワークが低レベルの間違いを犯さないようにすることです。画像がネットワークを通過すると、上位層の概念ニューロンが下位層で発生した可能性のあるエラーを修正します。たとえば、下の画像では、青と白のピクセルが密集しているため、ニューラル ネットワークの下位層は、画像を「飛行機」という概念と誤って関連付けています。しかし、画像が上位層に移動すると、コンセプト ニューロンがモデルが結果を正しい方向に導くのを助け始めます (右側の画像は修正プロセスを視覚化しています)。

キャプション: コンセプトホワイトニングは、ニューラル ネットワークの下位層から上位層に画像を転送するときに、誤解やエラーを修正するのに役立ちます。

モデルの解釈可能性に関するこれまでの試みでは、ニューラル ネットワークの潜在空間内の値を介して概念を推論する分類子の作成に重点が置かれることが多かった。しかし、チェン氏によると、絡み合った潜在空間がない場合、このような方法で学習された概念は純粋ではなく、概念ニューロンの予測スコアと相関する可能性が高いとのことです。 「これまで、教師あり学習法を用いてニューラルネットワークの謎を解こうとした人はいましたが、謎そのものを解明できたわけではありません。一方、概念ホワイトニングは、ホワイトニング変換を通じて各関係軸の相関関係を分解し、モデルの概念マッピングのアイデアを真に理解できるようにします。」

ディープラーニングアプリケーションへのコンセプトホワイトニングの導入

コンセプトホワイトニングは、バッチ正規化モジュールの代わりに畳み込みニューラル ネットワークに挿入できるタイプのモジュールです。 2015 年に導入されたバッチ正規化は、ニューラル ネットワークのトレーニングに使用されるデータの分布を調整し、トレーニングを高速化し、過剰適合などの問題を回避するための一般的な手法です。現在最も人気のある畳み込みニューラル ネットワークでは、各レイヤーでバッチ正規化テクノロジが使用されています。

バッチ正規化に加えて、コンセプトホワイトニングにより、関連するコンセプトを表す複数の軸に沿ってデータを整列させることができます。

コンセプトホワイトニングアーキテクチャの利点は、多くの既存のディープラーニングモデルに簡単に統合できることです。研究を通じて、科学者たちはバッチ正規化モジュールの代わりにコンセプトホワイトニングを使用して、さまざまな事前トレーニング済みの一般的なディープラーニングモデルを修正し、たった 1 回のトレーニングで期待される結果を達成しました。 (1 エポックは、完全なトレーニング セットを使用してトレーニングされるディープラーニング モデルのサイクル全体を表します。ディープラーニング モデルは、最初からトレーニングされる場合、多くの場合、複数のエポックを経ます。)

ルディン氏は、「概念ホワイトニングは、解釈可能性が重視される医療画像などの分野で広く利用されることが期待される」と述べた。

実験では、研究者らは皮膚病変診断のためのディープラーニングモデルにコンセプトホワイトニングを適用した。 「概念ホワイトニング潜在空間で測定された概念重要度スコアは、皮膚病変の診断においてどの概念がより意味があるかについて重要な洞察を提供することができる」と研究者らは論文に記している。

「将来の開発では、事前に定義された概念から離れ、データセットから概念を発見する方向に進む価値があると考えました。特に、まだ発見されていない重要な概念です」とチェン氏は語ります。「これに基づいて、これらの概念をニューラル ネットワークの潜在空間で絡み合った形で明示的に表現することができ、モデルの解釈可能性がさらに向上しました。」

現在の研究のもう一つの重要な方向性は、概念を階層構造に整理し、孤立した個々の概念に代わる概念クラスターを確立することです。

ディープラーニング研究からのインスピレーション

ディープラーニング モデルが大規模かつ複雑になるにつれ、ニューラル ネットワークの透明性を実現する方法について業界内で明確な意見の相違が生じ始めています。

ある意見では、ブラックボックスの中を覗こうとするのではなく、AI モデルの動作を観察することを強調しています。このアプローチは、動物や人間の脳を研究し、実験を設計し、活性化パターンを記録する方法でもあります。この理論の支持者は、ニューラル ネットワークに課される解釈可能性の設計上の制約は、必然的にモデルの品質の低下につながると考えています。脳が何十億もの反復を通じて無から知性を進化させることができるのであれば、ニューラル ネットワークもこの純粋に進化的な経路を通じて同じ効果を達成できるはずです。

コンセプトホワイトニングの出現により、この理論は反証され、パフォーマンスの低下なしにニューラル ネットワークにトップダウンの設計制約を課すことができることが証明されました。興味深いことに、実験では、コンセプトホワイトニングモジュールを導入した後、ディープラーニングモデルが実際に解釈可能性を提供できることが示されており、コア推論タスクの精度は大幅に低下していません。

ルディン氏は次のように結論付けています。「コンセプトホワイトニングと、当研究所や他の研究室の研究は、パフォーマンスを犠牲にすることなく解釈可能なモデルを構築できることを完全に実証しました。この研究によって、ブラックボックスモデルのメカニズムに対する人々の盲目的な賞賛が変わり、より多くの参加者がそれぞれの分野で解釈可能な機械学習モデルを構築するようになることを願っています。」