PNASの新研究：ケンブリッジの学者らは、一部のAIモデルは計算できないことを発見した

最近、ケンブリッジ大学の学者たちは、米国科学アカデミー紀要（PNAS）に「安定かつ正確なニューラルネットワークの計算の難しさ：ディープラーニングの障壁とスメールの第18問題」と題する論文を発表し、興味深い発見を提唱しました。

研究者は近似品質の優れたニューラル ネットワークが存在することを証明できますが、そのようなニューラル ネットワークをトレーニング (または計算) できるアルゴリズムが必ずしも存在するわけではありません。

論文アドレス: http://www.damtp.cam.ac.uk/user/mjc249/pdfs/PNAS_Stable_Accurate_NN.pdf

これはチューリングの主張と似ています。つまり、コンピューターがどれだけ強力で、どれだけ長く稼働しても、解決できない問題がいくつかあるということです。言い換えれば、最も高度なニューラル ネットワークであっても、現実世界を正確に記述できない可能性があります。

しかし、これはすべてのニューラル ネットワークに欠陥があるという意味ではなく、特定の状況下でのみ安定した正確な状態を実現できるという意味です。

研究チームは、古典的な逆問題を導入することで、どのニューラルネットワークがアルゴリズムを通じて計算できるかを記述する分類理論を提案し、「人工知能は何ができて、何ができないか」という歴史的な疑問に新たな答えを提供した。

同時に、彼らは、アプリケーション シナリオにおけるニューラル ネットワークの安定性と精度を確保できる新しいモデル「Fast Iteration Restart Networks (FIRENET)」を開発しました。 FIRENET によって計算されたニューラル ネットワークは、外乱に対する耐性が安定しており、不安定なニューラル ネットワークを安定化できます。また、安定性を維持しながら、高いパフォーマンスと低い偽陰性率を実現します。

作品の簡単な紹介は以下の通りです。

1 研究の背景

ディープラーニング (DL) は前例のない成功を収め、現在、科学計算の分野に本格的に参入しています。しかし、安定したニューラル ネットワーク (NN) の存在を保証する普遍的な近似特性にもかかわらず、現在のディープラーニング手法は不安定性に悩まされることがよくあります。この問題により、ディープラーニングを現実世界で実装することはリスクに満ちています。

たとえば、Facebook (Meta) とニューヨーク大学による 2019 年の FastMRI チャレンジでは、標準的な画像品質メトリックで良好なパフォーマンスを示したネットワークは、偽陰性になりやすく、小さいながらも物理的に関連する画像異常を再構築することができませんでした。病理学に焦点を当てた2020年のFastMRIチャレンジでは、「このような錯覚的な特徴は受け入れられない。特に、存在しないか実際には異常な正常な構造をシミュレートする場合はなおさらだ。敵対的摂動の研究で実証されているように、ニューラルネットワークモデルは不安定になる可能性がある」とも指摘している。顕微鏡検査にも同様の事例があります。

異なるアプリケーション シナリオでは、偽陽性率と偽陰性率の許容範囲が異なります。エラー分析コストが高いシナリオでは、このような誤検知や誤検知を回避する必要があります。したがって、医療診断などの応用シナリオでは、人工知能の「幻覚」は非常に深刻な危険をもたらす可能性があります。

この問題では、古典的な近似定理により、連続関数はニューラル ネットワークによって任意に近似できることが示されています。したがって、安定した関数によって記述される安定した問題は、ニューラル ネットワークを使用して安定的に解決できる場合がよくあります。これによって、根本的な疑問が生じます。

いくつかのシナリオではニューラル ネットワークが安定して正確であることが証明されているのに、ディープラーニングには依然として不安定な方法と AI によって生成された「幻覚」が残っているのはなぜでしょうか。

この疑問に答えるために、研究者たちは逆問題においてディープラーニングが達成できる限界を判断するための研究を開始しました。

さらに、ディープラーニングにおけるニューラルネットワークでは、安定性と精度の間にトレードオフが存在します。安定性の低さは現代の AI の最大の弱点であり、この点では矛盾があります。安定したニューラル ネットワークが存在するにもかかわらず、トレーニング アルゴリズムは依然として不安定なニューラル ネットワークを発見できるのです。この基本的な疑問は、1998 年にスティーブン・スメールが人工知能の限界について提起した数学の問題 18 に関連しています。

安定したニューラル ネットワークを計算することは難しくありません。たとえば、ゼロ ネットワークは安定していますが、あまり正確ではないため、特に有用ではありません。大きな疑問は、安定性と正確性を兼ね備えたニューラル ネットワークをどのように計算するかということです。科学計算自体は安定性と精度に基づいていますが、両者の間にはトレードオフが存在することが多く、安定性を確保するために精度を犠牲にしなければならない場合もあります。

2 分類理論: 安定したニューラルネットワークを計算するアルゴリズムの存在条件

上記の問題に対処するために、著者チームは、アルゴリズムによって計算される一定レベルの精度（および安定性）を達成するニューラルネットワークの十分な条件を記述する分類理論を提案しました。

彼らは、不確定な線形方程式系の典型的な逆問題から始めます。

ここで、A∈Cm×Nは、MRIのダウンサンプリングされた離散フーリエ変換などのサンプリングモデル（m < N）を表し、xは未知の量を表します。ベクトル e はノイズまたは外乱をモデル化します。式 1 で提示された問題は、多くの逆問題や画像解析の基礎となります。

定理 1 と定理 2 (詳細は論文を参照) に基づいて、彼らは逆説的な問題を指摘しました。

トレーニング データから適切なニューラル ネットワークへのマッピングはありますが、トレーニング データからニューラル ネットワークの近似値を計算できるトレーニング アルゴリズム (ランダム アルゴリズムも含む) はありません。

この点に関して、論文の著者の一人であるハンセン氏は、「ケーキはあるかもしれないが、それを作るためのレシピはない」という例え話をした。問題は「レシピ」ではなく、ケーキを作るのに必要な「道具」にあると彼は考えています。どんなミキサーを使っても望み通りのケーキが作れないことはあり得ますが、場合によっては自宅のキッチンにあるミキサーで十分な場合もあります。

それで、状況はどうですか?研究チームは、ニューラル ネットワークを計算するためのアルゴリズムを分類し、どのような条件下でそれらが存在するか (物理的な設計の可能性があるミキサーでどのケーキを作ることができるか) を説明しました。

定理2

ニューラル ネットワークを計算するアルゴリズムが存在するかどうかは、必要な精度によって異なります。任意の正の整数 K > 2 および L に対して、次のような条件が整った問題のクラスが存在します。

a) 50% を超える確率で K ビットの精度を持つニューラル ネットワークを計算できるランダム トレーニング アルゴリズム (ランダム アルゴリズムであっても) は存在しません。

b) K-1 ビットの精度でニューラル ネットワークを計算できる決定論的なトレーニング アルゴリズムは存在しますが、大量のトレーニング データが必要になります。

c) L 個以下のトレーニング例を使用して、K-2 ビットの精度でニューラル ネットワークを計算できる決定論的トレーニング アルゴリズムが存在します。

これは、ニューラル ネットワークをアルゴリズム的に計算することを妨げる根本的な障害がいくつかあることを示唆しています。これは、いくつかのシナリオでは安定した正確なニューラル ネットワークが存在するのに、ディープラーニングにはまだ「幻覚」がある理由でもあります。

3 FIRENET: 安定性と精度のバランス

ニューラル ネットワークの安定性と精度の間にはトレードオフがあります。安定したニューラル ネットワークは、逆問題ではパフォーマンスが制限されることがよくあります。これは特に画像再構成において当てはまります。現在のディープラーニングによる画像再構成方法は、次の点に反映されるように不安定になりがちです。

1) 画像またはサンプリング領域における小さな変動により、再構成された画像に重大なアーティファクトが生じる可能性があります。

2) 画像領域内の小さな詳細が再構成画像で消えてしまう（精度が不足する）可能性があり、偽陰性につながる可能性があります。

このタイプの線形逆問題は、ディープラーニング手法における安定性と精度の間の不均衡につながり、精度を犠牲にすることなく高い安定性を維持することがどの画像再構成方法でも不可能になります。逆もまた同様です。

この問題を解決するために、研究チームは「高速反復再起動ネットワーク」(FIRENET) を導入しました。 FIRENET は非常に安定していることが実証され、数値的に検証されています。彼らは、MRI などの特定の条件下では、式 1 の問題に対して安定したニューラル ネットワークを計算できるアルゴリズムがあることを発見しました。

重要なのは、FIRENET が摂動に対して堅牢であり、不安定なニューラル ネットワークを安定化するためにも使用できることを実証したことです。

FIRENETは外乱に対して堅牢である

安定性テストでは、研究チームはFIRENETをV. Antunら（2020）が開発したAUTOMAPネットワークと比較しました。下の図の上段に示すように、AUTOMAP ネットワークの再構築は非常に不安定で、画像が完全に変形してしまいます。ダウンリンクは、FIRENETs ネットワークを使用した再構築結果です。最悪の再建結果でも安定を保ちます。

これは、FIRENETs アルゴリズムによって計算されたニューラル ネットワークが、一定の精度を維持しながら、ウェーブレット内のスパース画像の摂動に対して安定していることを証明しています。

FIRENETの安定化役割

同時に、FIRENET は安定剤としても機能します。例えば、下の図では、AUTOMAP からの再構築が FIRENETs に入力されており、FIRENETs が AUTOMAP の出力を修正し、再構築を安定させていることがわかります。

キャプション: AUTOMAP の最後に FIRENET レイヤーをいくつか追加して、安定化させます。一番左は AUTOMAP 再構築です。左から2番目はx0 = Ψ(̃y)のFIRENET再構成です。右から2番目は、̃y = Ax + e3の場合のFIRENETの再構築です。右端は、AUTOMAP からの測定値を入力した後の FIRENET の再構築です。

FIRENETは安定性と精度を兼ね備えています

下の図では、楕円形を含む画像でトレーニングされた U-Net は安定していますが、トレーニング セットに元々含まれていなかった詳細が追加されると、U-Net の安定性は大きく影響を受けます。

キャプション: パフォーマンスが制限されたニューラル ネットワークでも、安定するようにトレーニングできます。 3つの再構成ネットワークΦjを考える  ： Cm   → CN   、  じ  = 1、2、3。各ネットワークについて、最悪の影響をシミュレートすることを目的として摂動値 wj∈CN が計算され、切り取られた摂動画像 x が左の列に表示されます。   +  ウィ  (2行目から4行目)中央の列（2行目から4行目）は再構成画像Φj(A(x   +   wj)）。右の列では、ネットワークが小さな詳細 h1 を再構築する能力が、「見えますか?」というテキストの形式でテストされます。

ノイズの多い測定値でトレーニングされたネットワークは最悪の場合の摂動に対して安定していますが、正確ではないことがわかります。対照的に、ノイズなしでトレーニングされたネットワークは正確ですが不安定です。 FIRENET は、この 2 つのバランスを実現し、最悪の場合でもウェーブレット スパースと安定した画像に対して正確性を保ちます。

しかし、話はこれで終わりではありません。実際のアプリケーション シナリオでは、安定性と精度の最適なトレードオフを見つけることが最も重要であり、さまざまな問題や安定性エラーを解決するには、間違いなく無数のさまざまな手法が必要になります。