MIT とハーバード大学が協力して、ニューラル ネットワークが自身の強みを理解する方法を研究しています。

ニューラルネットワークはますます使用されるようになっています。

[[357551]]

医療診断であれ、自動運転であれ、ニューラル ネットワークは人間の安全と健康に関わる多くの重要な分野で徐々に役割を果たし始めています。

しかし、これらのニューラルネットワークは信頼できるのでしょうか?

ニューラル ネットワークは、大規模で複雑なデータからパターンを識別して人間の意思決定を支援するのに優れていることは誰もが知っていますが、これを実行するプロセスはブラック ボックスです。

一部の AI 研究者は、この秘密を解明し、ニューラル ネットワークの信頼性に対する答えを見つけようとしています。

MITとハーバード大学の共同プロジェクトにおいて、アレクサンダー・アミニ氏とその同僚たちはこの問題を研究し、データを処理し、予測だけでなく、利用可能なデータの品質に基づいたモデルの信頼度も出力できるニューラルネットワークを開発している。

簡単に言えば、ニューラル ネットワークに自身の結果の信頼性を評価させ、自身の信頼性をテストすることです。

例えば、自動運転では、モデルはさまざまなセンサーからのデータを分析して、「交差点ではすべて正常」と「安全かもしれないが、万が一に備えて安全を確保すべき」の違いを判別します。

現在のニューラル ネットワークの不確実性評価は、多くの場合、費用がかかり、時間がかかりますが、Amini の「ディープ エビデンス回帰」により、プロセスを高速化し、より信頼性の高い結果を得ることができます。

「高性能なモデルを持つだけでなく、そのモデルを信頼できない場合も理解する必要があります」と、MITコンピューター科学・人工知能研究所（CSAIL）のダニエラ・ラス教授のグループの博士課程の学生であるアミニ氏は言う。

「このアイデアは重要で、幅広い応用範囲があります。学習したモデルに依存する製品の評価に使用できます。学習したモデルの不確実性を推定することで、モデルによってもたらされる可能性のあるエラーや、どのデータが不足しているかを把握してモデルを改善することもできます」とラス氏は語った。

Amini 氏は NeurIPS カンファレンスでこの研究を発表し、Rus 氏も同席する予定です。

効果的な不確実性

多少の浮き沈みのある歴史を経て、ディープラーニングはさまざまなタスクで優れたパフォーマンスを発揮し、場合によっては人間の精度を上回ることもあります。

ディープラーニングは最近どこにでもあるようです。検索エンジンの結果、ソーシャル メディア フィード、顔認識の技術的基盤を提供します。 「私たちはディープラーニングで大きな成功を収めてきました」とアミニ氏は語った。 「ニューラル ネットワークは、99% の確率で正しい答えを導き出すのが非常に得意です。」

しかし、生命に関しては、AI が成功する可能性は 1% もありません。

「研究者たちが理解できていないことの一つは、これらのモデルは間違っているかもしれないと認識し、それを私たちに伝える必要があるということだ」とアミニ氏は語った。

「私たちが本当に気にかけているのは、その 1 パーセントの時間であり、そうした状況をいかにして確実かつ効率的に検出できるかということです。」

ニューラル ネットワークは、最大数十億のパラメータを持つ非常に大規模なものになることがあります。したがって、自信を持って答えを得ることはおろか、答えを得るだけでも膨大な計算量を要する作業になる可能性があります。

ニューラル ネットワークにおける不確実性分析は新しいものではありません。しかし、ベイジアン深層学習に基づくこれまでのアプローチでは、ニューラル ネットワークの信頼性を理解するために、ニューラル ネットワークを複数回実行、つまりサンプリングする必要がありました。このプロセスには多くの時間とメモリが必要であり、スマート輸送のようなシナリオでは実用的ではありません。

研究者たちは、ニューラルネットワークをたった一度実行するだけで不確実性を推定する方法を考案した。彼らが設計したネットワークには複数の出力があり、予測を出力するだけでなく、その予測を裏付ける信頼性を捉えた新しい確率分布も生成します。

これらの分布は証拠分布と呼ばれ、モデルの信頼性を直接的に捉えます。これには、基礎となる入力データに存在する不確実性と、それがモデルの最終的な決定に与える影響が含まれます。この区別により、ニューラル ネットワーク自体を調整することで不確実性を軽減できるかどうか、または入力データが単なるノイズであるかどうかがわかります。

信頼性を確認する

研究者たちは、自分たちのアプローチをテストするために、難しいコンピュータービジョンのタスクから始めることにしました。

彼らはニューラル ネットワークをトレーニングして、単眼カラー画像を分析し、各ピクセルの深度値 (つまり、カメラ レンズからの距離) を推定しました。自動運転車はこの計算を使用して歩行者や他の車両との距離を推定しますが、これは簡単な作業ではありません。

彼らのニューラル ネットワークは、これまでの最先端モデルと同等のパフォーマンスを発揮し、また、自身の不確実性を推定する機能も備えています。研究者の予想通り、ニューラル ネットワークは予測が間違っていた場合に高いレベルの不確実性を出力しました。

「これはネットワークが起こすエラーに基づいて調整されており、信頼性予測の品質において最も重要なことの一つだと私たちは考えています」とアミニ氏は語った。

チームは、キャリブレーションのストレステストを行うために、ネットワークが「不均一に分布した」データ、つまりトレーニング中に遭遇したことのないまったく新しいタイプの画像に対して、より高い不確実性を予測することも示した。研究チームは、ネットワークを屋内の家庭シーンでトレーニングした後、屋外の運転シーンを大量に入力しました。

ニューラルネットワークは、これまで見たことのない屋外のシーンにどのように反応すればよいか不明であると警告し続けた。このテストでは、ネットワークの決定を完全に信頼すべきでない場合にユーザーに警告するネットワークの能力が明らかになった。

この場合、「これがヘルスケアアプリケーションであれば、モデルが提供する診断を信頼せず、セカンドオピニオンを求めるかもしれません」とアミニ氏は語った。

ネットワークは写真が改ざんされたことさえ認識するため、データ操作攻撃から保護することが可能です。

別の実験では、研究者らは一連の画像内の敵対的ノイズのレベルを上げ、それらの画像をネットワーク経由で送信した。変更は微妙で、人間にはほとんど気づかれないほどだったが、ニューラルネットワークはそれを察知し、その出力に高い不確実性というラベルを付けた。偽造されたデータに対して警告を発するこの機能は、ディープフェイクの時代にますます懸念される敵対的な攻撃を検出し、防止するのに役立つ可能性があります。

ディープエビデンス回帰は「ロボット工学やその他の現実世界の制御システムにとって重要な不確実性推定の分野を進歩させるシンプルでエレガントな方法」です。

DeepMindのAI研究者、ライア・ハドセル氏はこうコメントした。 「これは、サンプリングやアンサンブルなどの他の方法の面倒な側面を回避する新しい方法で行われ、エレガントなだけでなく、計算効率も向上し、優れた組み合わせになります。」

「Deep Evidence Regression」は、AI 支援による意思決定の安全性を向上させることができます。 「ニューラルネットワークモデルが研究室から現実世界へ、そして人命が危険にさらされる可能性のある状況へとどんどん導入され始めています」とアミニ氏は語った。

「このアプローチを使用する人は、医師であれ、車の助手席に座っている人であれ、その決定に伴うリスクや不確実性を認識する必要があります。」同氏は、このシステムが不確実性を素早く特定できるだけでなく、自動運転車が交差点を通過するときなど、危険な状況でより慎重な決定を下すために使用されることを想定している。

「機械学習が導入されるあらゆる分野では、最終的には信頼できる信頼性の指標が必要になる」と彼は語った。