ReLUを使用する限り、それは「浅い学習」です。どのReLUニューラルネットワークも同等の3層ネットワークを持っています。

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

ReLU を使用する限り、私たちは仲良しであり、それは「浅い学習」です。

最近の研究では、すべての ReLU ベースのディープ ニューラル ネットワークは、同じ機能を持つ 3 層ニューラル ネットワークとして書き換えることができることが示されています。

この証明に基づいて、キングス・カレッジ・ロンドンの研究チームは、任意の ReLU ネットワークに対応する浅いネットワークを見つけるアルゴリズムも提案しました。

結果として得られる浅いネットワークは透過的であり、ネットワークの動作を説明するために使用できます。

このアルゴリズムが使用されている限り、任意の深層 ReLU ネットワークに対応する浅いネットワークを見つけることができます。

写真

これに対してネットユーザーたちは「今すぐこの論文を読みたい！」と叫んだ。

写真

深いReLUネットワークは浅い

ReLU は、ディープラーニングの分野で最も一般的に使用される活性化関数であり、2010 年に Nair と Hintonw によって制限付きボルツマン マシン用に提案されました。

実際には、他の一般的に使用される活性化関数（論理関数など）よりもうまく機能することが多いため、ディープニューラルネットワークによる画像認識などのコンピュータービジョン人工知能分野で広く使用されています。

この論文では、各ディープ ReLU ネットワークは、同じ機能と「3 つの隠し層」を持つ浅いネットワークに変換できると述べられています。また、ニューラル ネットワークの全体的な解釈可能性を向上させるために、対応する浅いネットワークの重みを見つけるアルゴリズムも提供します。

簡単に言えば、入力空間を分割し、線形関数を使用して各パーティションをモデル化することで、深いネットワークを浅くすることができます。

写真

具体的には3つのステップに分かれています。

写真

まず、半空間条件を表す行列を使用して線形モデルと半空間をエンコードする最初のレイヤーを構築する必要があります。各行ベクトルは半空間の線形方程式を表します。

次に、入力が属する領域に基づいてどの境界がアクティブになるかを決定する 2 番目のレイヤーが構築されます。

最後に、入力を各線形モデルに乗算し、インジケーター関数を使用して正しいモデルを選択するための 3 番目のレイヤーが構築されます。

これに基づいて、すべてのディープ ReLU ネットワークは、重み値が拡張実数である機能的に同一の 3 層ネットワークに変換できます。

もちろん、浅化を完了するには、いくつかの呪文（スアン）（ファ）が必要です。

論文によると、アルゴリズムを使用するときは、パラメータH、c、α、βを見つけ、各領域に必要な半空間を知るだけでよく、主に3つのステップに分かれています。

まず、実行可能なモードのセットが識別され、実行可能なモードごとに、グローバル線形計画法のパラメータA(l)とd(l)が計算されます。

次に、半空間条件が決定され、これらのマトリックスが積み重ねられて、各活性化パターンの半空間条件が決定されます。最後に、行列 H とベクトル c を取得します。

最後に、ローカル線形モデルが計算され、モデルの重みと活性化パターンに基づく明示的な式を使用してローカル線形モデル α と β が計算されます。

写真

簡単に言えば、訓練されたネットワークに基づくヒューリスティック検索を通じて、可能なニューロン活性化空間内で適切な重み値を見つけることです。

浅いホワイトボックス ネットワークを構築することで、各データ ポイントの SHAP 値をすばやく計算でき、データの解釈可能性が大幅に向上します。

実験では、上記のアルゴリズムを使用して、特定の深層 ReLU ネットワークに対応する浅いネットワークの明示的な重みを見つけることができることが示されています。

ネットユーザー：実験はクールだが、いくつか問題がある

この論文では、「深いところから浅いところへ」を実現できる非常に斬新なアルゴリズムを提案していますが、この方法にはまだいくつかの欠点があります。

たとえば、浅いネットワークを構築すると無限の重みが使用されますが、これらの重みは Python で実装できますが、勾配降下法を使用して微調整することはできません。

もちろん、「欠点探し」となると、熱心なネットユーザーなしにはやっていけません。

論文によれば、チームが提供したアルゴリズムを使用すると、実験中の計算時間はニューロン数の増加とともに実際に指数関数的に増加するとのことだ。

そこで、一部のネットユーザーは疑問を呈しました。アルゴリズムの実行時間はニューロンの数に指数関数的に関係しています。12 個のニューロンでは約 10 分かかります。では、通常サイズの DNN を計算するには、もっと長い時間がかかるのではないでしょうか。

写真

ネットユーザーは次のように指摘した。「単層ニューラルネットワークがあらゆる関数を計算できると仮定すると、これはどのニューラルネットワークにも当てはまるのではないだろうか？」

写真

この研究について、一部のネットユーザーは「これは単なる『普遍近似定理』であり、驚くべきことではない」と厳しく批判した。

しかし、ネットユーザーが何を言おうと、この論文には依然として注目すべき点がいくつかある。

たとえば、この方法で取得された浅いネットワークは透過的であり、モデルの動作の説明を生成するために使用できます。

他の研究者が調査および実験できるように、実験を再現するためのコードも提供されています。

下記に論文のアドレスを掲載しました。ご興味がありましたらぜひご覧ください〜

論文ポータル: https://arxiv.org/abs/2306.11827