SGDの素晴らしさはディープラーニングの重要性をもたらす

ビッグデータダイジェスト制作

7月、ニューヨーク大学（NYU）の博士研究員であるナオミ・サフラ氏は、「解釈可能性創造論」と題する論文を執筆し、進化論の観点から確率的勾配降下法（SGD）とディープラーニングの関係を説明した。その解釈は考えさせられるものだ。

たとえば、「人間の尾骨のように、一部の現象はモデルのトレーニング プロセス中に本来の機能を失い、退化した器官のようなものになっている可能性があります。」

「寄生行動を研究する場合でも、ニューラル ネットワークの内部表現を研究する場合でも、システムがどのように開発されたかを考慮しなければ、何が貴重な情報であるかを判断するのは困難です。」

以下は原文です。原文の意味を変えずにまとめましたので、どうぞお楽しみください。

何世紀も前、ヨーロッパの人々は巣の中にカッコウの卵があることを、巣を作っている鳥に対する名誉の印と考えていました。巣作り中の鳥は、自分の（追い出された）雛に餌を与えるよりも熱心に「聖なる客」に餌を与える。そして、巣作り中の鳥のこの行動は、キリスト教のおもてなしの精神に合致している。

1859 年、チャールズ・ダーウィンは、別の寄生フィンチであるフィンチを研究して、鳥類の行動に関する楽観的で協力的な概念に疑問を投げかけました。

カッコウの役割を進化の観点から考慮しなければ、巣作りをする鳥がカッコウの雛にとって寛大な宿主ではなく、不幸な犠牲者であることに気づくのは難しい。

進化生物学者テオドシウス・ドブジャンスキーはこう言いました。「進化の光がなければ生物学の何ものも理解できない。」

確率的勾配降下法は生物学的進化の真の形ではありませんが、機械学習における事後分析は生物学における科学的手法と多くの類似点があり、多くの場合、モデルの動作の起源を理解することが必要になります。

寄生行動を研究する場合でも、ニューラル ネットワークの内部動作を研究する場合でも、システムがどのように開発されたかを考慮しなければ、何が貴重な情報であるかを見分けるのは困難です。

したがって、モデルを分析する際には、トレーニング終了時の状態だけでなく、トレーニングプロセス中の複数の中間チェックポイントにも注目することが重要です。このような実験は安価ですが、モデルの動作をよりよく理解し説明するのに役立つ興味深い発見につながる可能性があります。

正しい物語

人間は因果的思考者であり、科学的証拠が不足している場合でも物事の因果関係を探すのが好きです。

NLP の分野では、研究者は観察された行動に対して解釈可能な因果関係の説明を提供する傾向がありますが、この説明ではモデルの内部の仕組みが真に明らかになるとは限りません。たとえば、構文的注意分布や選択的ニューロンなどの解釈可能性アーティファクトに細心の注意を払うことはできますが、実際にはモデルが実際にこれらの動作パターンを使用しているかどうかはわかりません。

この問題に対処するには、因果モデリングが役立ちます。モデルの特定の機能やパターンに介入（変更または操作）して、モデルの動作への影響をテストしようとする場合、この介入は特定の明白な特定の種類の動作のみを対象とする可能性があります。言い換えれば、モデルが特定の機能やパターンをどのように使用しているかを理解しようとする場合、これらの動作の一部のみを観察し、他の潜在的であまり明白ではない動作を無視する可能性があります。

したがって、実際には、表現内の特定のユニットに対して特定の種類のわずかな介入しか実行できない可能性があり、機能間の相互作用を適切に反映できない可能性があります。

モデルの特定の機能やモードに介入 (変更または操作) して、モデルの動作への影響をテストしようとすると、分布シフトが導入されることがあります。大幅な分布の変化は不規則な動作につながる可能性があるのに、誤った解釈可能性のアーティファクトにつながらないのはなぜでしょうか?

翻訳者注: 分布シフトとは、トレーニング データと介入後のデータに対してモデルによって確立された統計法則の差を指します。この不一致により、モデルが新しいデータ分布に適応できなくなり、不安定な動作を示す可能性があります。

幸いなことに、生物進化を研究する方法は、私たちのモデルから生じるいくつかの現象を理解するのに役立ちます。人間の尾骨と同様に、一部の現象はモデルのトレーニングの過程で本来の機能を失い、退化した器官のようなものになっている可能性があります。いくつかの現象は相互に依存している可能性があります。たとえば、動物が複雑な目を発達させる前に基本的な光感知能力を身につける必要があるのと同じように、トレーニングの初期に現れる特定の特徴は、後の他の特徴の発達に影響を与える可能性があります。

他の現象は、特性間の競争によって引き起こされる場合があります。たとえば、嗅覚が強い動物は視覚にあまり頼らないため、視覚能力が弱まる可能性があります。あるいは、一部の現象は、ゲノムの大部分を占めながらも外見や機能に直接影響を与えない、ゲノム内のジャンク DNA と同様に、単にトレーニング プロセスの副作用である可能性があります。

モデルをトレーニングする過程で、未使用の現象がいくつか現れることがありますが、この現象を説明する理論は数多くあります。たとえば、情報ボトルネック仮説では、トレーニングの初期段階で入力情報が記憶され、その後モデル内で圧縮され、出力に関連する情報のみが保持されると予測されます。これらの初期の記憶は、目に見えないデータを処理するときに必ずしも役立つとは限りませんが、最終的に特定の出力表現を学習する上で非常に重要です。

トレーニングの初期段階と後期段階ではモデルの動作が大きく異なる可能性があるため、退化した機能の可能性も考慮する必要があります。初期のモデルはよりシンプルでした。言語モデルを例にとると、初期のモデルは単純な n-gram モデルに似ていますが、後期のモデルはより複雑な言語パターンを表現できます。トレーニング プロセスを混合すると、トレーニング済みモデルの重要な部分であると誤解されやすい副作用が発生する可能性があります。

進化論的視点

トレーニング後の特徴だけに基づいてモデルの学習傾向を理解することは非常に困難です。 Lovering らによると、トレーニングの開始時に特徴抽出の容易さを観察し、微調整データを分析することで、トレーニングの終了時に分析するだけよりも、微調整パフォーマンスの影響についてより深い洞察が得られるとのことです。

言語階層化の挙動は、分析的静的モデルに基づく典型的な説明です。文の構造が近い単語はモデル内でより近い位置で表現され、構造的に遠い単語はより離れた位置で表現されると考える人もいます。では、モデルが文構造の近さによって単語をグループ化していることをどうやって知るのでしょうか?

実際、初期のモデルでは長短期記憶ネットワーク (LSTM) とトランスフォーマーにローカルな情報がより多くエンコードされていたため、一部の言語モデルは階層的であると自信を持って言えます。また、これらの依存関係を一般的な短いコンポーネントに階層的に積み重ねることができる場合、より長い範囲の依存関係を学習する可能性が高くなります。

解釈的創造論の問題を扱う際に、実際的な例に遭遇しました。異なるランダムシードを使用してテキスト分類器を複数回トレーニングすると、モデルが複数の異なるクラスターに分散されていることがわかります。また、損失面上でモデルが他のモデルとどのように接続されているかを観察することで、モデルの一般化動作を予測できることもわかりました。言い換えれば、損失面上のどこに応じて、モデルの一般化が異なります。この現象は、トレーニング中に使用されるランダム シードに関連している可能性があります。

しかし、本当にそう言えるのでしょうか?クラスターが実際にはモデルの初期段階に対応する場合はどうなるでしょうか?クラスターが実際にはモデルの初期段階を表しているだけの場合、最終的にはモデルはより優れた一般化パフォーマンスを持つクラスターに移行する可能性があります。したがって、この場合、観察された現象は、一部の微調整プロセスが他のプロセスよりも遅いことを単に示しているだけです。

トレーニング軌跡が損失面上の盆地に落ちる可能性があることを示し、トレーニングされたモデルにおける一般化動作の多様性を説明する必要があります。実際、トレーニング中にいくつかのチェックポイントを調べたところ、クラスターの中心にあるモデルは、トレーニング中にクラスター内の他のモデルとのより強い接続を構築していることがわかりました。ただし、一部のモデルは、より優れたクラスターに正常に移行できます。

提案

研究上の質問に答えるには、トレーニング プロセスを観察するだけでは不十分です。因果関係を探求するには介入が必要です。生物学における抗生物質耐性の研究を例にとると、研究者は意図的に細菌を抗生物質にさらす必要があり、自然実験に頼ることはできません。したがって、トレーニングのダイナミクスの観察に基づく記述には、実験による確認が必要です。

すべてのステートメントでトレーニング プロセスの観察が必要なわけではありません。古代の人類にとって、目は見るためのものであり、心臓は血液を送り出すためのものであるなど、多くの臓器には明らかな機能がありました。自然言語処理 (NLP) の分野では、静的モデルを分析することで、特定のプロパティが存在する場合に特定のニューロンがアクティブになる、または特定の種類の情報がモデル内でまだアクセス可能であるなどの単純な解釈を行うことができます。

ただし、トレーニング中の観察により、静的モデルで行われた多くの観察の意味が明らかになる可能性があります。つまり、すべての問題でトレーニング プロセスを観察する必要があるわけではありませんが、多くの場合、トレーニング プロセスを理解することは観察結果を理解するのに役立ちます。

アドバイスはシンプルです。トレーニング済みのモデルを研究および分析するときは、トレーニング プロセスの最終結果だけに焦点を当てないでください。代わりに、分析はトレーニング プロセスの複数の中間チェックポイントに適用する必要があります。モデルを微調整する場合は、トレーニングの早い段階と遅い段階でいくつかのポイントをチェックします。トレーニング中にモデルの動作の変化を観察することは重要であり、研究者はモデル戦略が合理的かどうかをよりよく理解し、トレーニングの初期段階で何が起こるかを観察した後にモデル戦略を評価するのに役立ちます。

参考リンク: https://thegradient.pub/interpretability-creationism/