ディープラーニングを理解するための鍵 – 啓蒙

ニューラル ネットワークは、これまでに発明された最も美しいプログラミング パラダイムの 1 つです。従来のプログラミング手法では、大きな問題を、コンピューターが簡単に実行できる、正確に定義された多数の小さなタスクに分割して、コンピューターに実行すべきことを指示します。対照的に、ニューラル ネットワークでは、問題を解決する方法をコンピューターに指示しません。代わりに、観察データから学習して、問題に対する独自の解決策を考え出します。

データから自動的に学習することは非常に有望に思えます。しかし、2006 年までは、いくつかの特殊な問題を除いて、従来の方法よりも優れたパフォーマンスを発揮するようにニューラル ネットワークをトレーニングする方法がまだわかっていませんでした。しかし、2006 年に「ディープ ニューラル ネットワーク」と呼ばれる学習技術が発見され、状況は変わりました。これらの技術は現在「ディープラーニング」と呼ばれています。これらはさらに発展し、今日ではディープニューラルネットワークとディープラーニングは、コンピュータービジョン、音声認識、自然言語処理などの多くの重要な問題において目覚ましいパフォーマンスを達成しています。

筆者は1年前からディープラーニングに触れており、AlphaGoの成果に驚嘆しています。モデリングの分野で意欲的なデータマネージャーは、自分でモデリングを行っているか、チームを率いているかにかかわらず、データプロフェッショナルを名乗る勇気があるなら、ディープラーニングとは何かを理解する必要があります。しかし、メディアにおけるディープラーニングの紹介の深さは極めて限られています。データマネージャーが知識を向上させるのにほとんど役に立たないと言っても過言ではありません。

TensorFlow などのエンジンについてすでに知っていて、インストールの準備も整っている場合でも、同じパターンに従ってディープラーニング プロセスを完了することは、技術的な追求にすぎません。今後数年間で時代遅れにならない原理を理解したい場合、人気のあるライブラリをいくつか学習するだけでは不十分です。ニューラル ネットワークを機能させる原理を理解する必要があります。テクノロジーは移り変わりますが、原則は時代を超えます。

筆者はかつてWeChat公式アカウントに「ディープラーニングをどう理解するか？」という記事を書いたことがある。これは極めて単純で浅い理解であり、実際のディープラーニングニューラルネットワークの構築には何の役にも立たない。なぜなら、ニューラルネットワークは本質的に機械学習の一種だからだ。難しいのは、ディープニューラルネットワークとは何かではなく、実用的な多層ニューラルネットワークをいかに構築するかだ。実は、それについては秘密はない。

優れたディープラーニングの専門家は、ディープラーニングとは何かを単に繰り返すのではなく、ネットワークアーキテクチャとパラメータ調整の専門家でなければなりません。著者はニューラルネットワークの核心であるパラメータを深く理解する勇気がなかったため、この実践的な分野の外にいました。今回、私は大胆にいくつかの本を読み、インターネットでいくつかの記事を見つけました。ニューラルネットワークのパラメータについて理解が深まり、いくつかの基本的な概念がわかりました。これらは、ディープラーニングバリューネットワークを構築するための基礎です。

チームの同僚が最近ディープラーニングを勉強しているのですが、得られた結果は SVM よりもはるかに悪いです。パラメータとデバッグ方法を理解していないためだと思います。

著者は数学が得意ではないため、学習効率が大幅に低下しています。多くの人が私と同じで、高度な数学をもう一度勉強する機会は決してないと思います。これは数学が苦手な人が理解するディープラーニングです。私ができることは、知識のポーターになって、自分が理解していることを最もわかりやすい方法で説明し、一見深遠に見える多くのことをできるだけ普及させ、「タオ」の観点からディープネットワークを理解することです。おそらく、人生に対する洞察も得られるでしょう。

ディープラーニングを理解する前提はニューラルネットワークを理解することなので、著者は、私の理解をシンプルで分かりやすい方法で伝えるために、啓蒙記事、パラメータ記事、要約記事の3つの記事を書くことにします。すべての情報は、オンライン電子書籍「ニューラルネットワークとディープラーニング」から来ています。この本はとてもよく書かれています。私はちょうどそれを編集し、その本質を吸収しました。あなたがそれを読み通すことを願っています。

パート1

パーセプトロン

このセクションでは、パーセプトロンとは何か、そしてなぜシグモイド (論理) パーセプトロンを使用するのかを理解できます。

ニューラル ネットワークとは何でしょうか。まず、「パーセプトロン」と呼ばれる人工ニューロンについて説明します。パーセプトロンはどのように動作するのでしょうか。パーセプトロンは、x1、x2、x3 という複数のバイナリ入力を受け取り、バイナリ出力を生成します。

この例のパーセプトロンには、x1、x2、x3 の 3 つの入力があります。通常、入力はより多くても少なくてもよいです。ローゼンブラット氏は出力を計算するための簡単なルールを提案しました。彼は、対応する入力の出力に対する重要性を表す実数である重み w1、w2、... を導入しました。ニューロンの出力 0 または 1 は、重み付けされた値 Σj wjxj の合計が特定のしきい値より小さいか大きいかによって決まります。重みと同様に、しきい値は実数であり、ニューロンのパラメータであり、より正確な代数形式で表されます。

これが基本的な数学モデルです。パーセプトロンは、重みに基づいて決定を下す装置と考えることができます。例を挙げてみましょう。これはあまり現実的な例ではありませんが、理解しやすいので、すぐにもっと現実的な例を紹介します。今週末が近づいていて、あなたの街でチーズ フェスティバルが開催されると聞いて、チーズが大好きなので、行くかどうか決めようとしているとします。この決定は、次の 3 つの要素に重みを割り当てることによって行うことができます。

1.天気は良いですか？

2. 彼氏または彼女も一緒に行きますか?

3. フェスティバルは交通機関の近くにありますか？（車を持っていません）

これら 3 つの要素は、それぞれバイナリ変数 x1、x2、x3 を使用して表すことができます。たとえば、天気が良い場合は x1 = 1 に設定し、天気が悪い場合は x1 = 0 に設定します。同様に、ボーイフレンドまたはガールフレンドが一緒に行く場合は x2 = 1、そうでない場合は x2 = 0 になります。 x3 も同様の方法で交通状況を表示します。

さて、あなたがチーズが大好きで、たとえ彼氏や彼女が興味を示さなくても、どんなに困難な道であっても進んで行くとしましょう。しかし、あなたは本当に悪天候が嫌いで、天気が悪すぎると家から出られないかもしれません。パーセプトロンを使用すると、この種の意思決定を数学的にモデル化できます。 1 つの方法は、天候の重みを w1 = 6 として選択し、他の条件を w2 = 2 および w3 = 2 として選択することです。 w1 には大きな値が割り当てられており、天気はあなたにとって非常に重要であり、同伴するボーイフレンドやガールフレンド、または最寄りの交通機関の駅よりもはるかに重要であることを示しています。最後に、パーセプトロンのしきい値を 5 に設定したとします。このようにして、パーセプトロンは目的の決定モデルを実装し、天気が良い場合は 1 を、天気が悪い場合は 0 を出力します。彼氏や彼女が行きたいかどうか、近くに公共交通機関の停留所があるかどうかは、出力には関係ありません。重みとしきい値が異なると、異なる意思決定モデルを取得できます。たとえば、しきい値を 3 に変更するとします。すると、センサーは天候、交通状況、そして恋人があなたと一緒に旅行する意思があるかどうかに基づいて結果を出します。つまり、異なる意思決定モデルになります。閾値を下げるということは、より進んで行くということを意味します。

この例は、パーセプトロンがさまざまな議論を比較検討して決定を下す方法を示しており、パーセプトロンのネットワークが微妙な決定を下す方法を大まかに説明しているようです。

このネットワークでは、パーセプトロンの最初の列 (これをパーセプトロンの最初の層と呼びます) が、入力引数を重み付けして 3 つの非常に単純な決定を行います。 2 番目の層のパーセプトロンはどうでしょうか? それぞれが 1 番目の層で行われた決定を評価して決定を下します。このようにして、第 2 層のパーセプトロンは、第 1 層のパーセプトロンよりも複雑で抽象的な決定を下すことができます。 3 番目の層のパーセプトロンはさらに複雑な決定を行うことができます。このようにして、パーセプトロンの多層ネットワークは複雑で洗練された決定を下すことができます。

パーセプトロンのネットワークがあり、それを使って何らかの問題を解決したいとします。たとえば、ネットワークへの入力は、手書きの数字のスキャンされた画像である可能性があります。ネットワークの出力が数字を正しく分類できるように、ネットワークに重みとバイアスを学習させます。学習がどのように機能するかを確認するために、ネットワーク内の重み (またはバイアス) に小さな変更を加えるとします。すぐにわかるように、このプロパティによって学習が可能になります。ここで、私たちが求めているものについて簡単に説明します。

重み (またはバイアス) を少し変更しても出力に小さな変化しか生じないというのが真実であれば、この事実を利用して重みとバイアスを変更し、ネットワークが希望どおりに動作するようにすることができます。たとえば、ネットワークが「9」の画像を誤って「8」として分類したとします。ネットワークが画像を「9」として分類することに近づくように、重みとバイアスに小さな変更を加える方法を見つけることができます。次に、この作業を繰り返し、重みとバイアスを繰り返し変更してより良い出力を生成する必要があり、この時点でネットワークは学習しています。

問題は、ネットワークにパーセプトロンが含まれている場合、これが起こらないことです。実際、ネットワーク内の 1 つのパーセプトロンの重みまたはバイアスの小さな変化によって、そのパーセプトロンの出力が 0 から 1 に完全に反転することがあり、その反転によって、ネットワークの残りの部分の動作が非常に複雑な方法で完全に変化することがあります。したがって、「9」は正しく分類されるかもしれませんが、他の画像に対するネットワークの動作は、制御が非常に難しい方法で完全に変更される可能性があり、重みとバイアスを徐々に変更してネットワークを目的の動作に近づけることが困難になります。この問題を解決するには、他の巧妙な方法があるかもしれません。しかし、パーセプトロンのネットワークを学習させるのは明らかではありません。

この問題は、シグモイド ニューロンと呼ばれる新しいタイプの人工ニューロンを導入することで克服できます。シグモイド ニューロンはパーセプトロンに似ていますが、重みとバイアスの小さな変化が出力のわずかな変化のみをもたらすように修正されています。これは、ニューラル ネットワークの学習を可能にするために重要です。

シグモイド ニューロンはパーセプトロンと同じ方法で表されます。

パーセプトロンと同様に、シグモイド ニューロンには複数の入力 x1、x2、... があります。ただし、これらの入力は 0 または 1 だけでなく、0 から 1 までの任意の値を取ることができます。たとえば、0:638 はシグモイド ニューロンへの有効な入力です。同様に、シグモイド ニューロンには各入力の重み w1;w2、... と全体的なバイアス b があります。しかし、出力は 0 または 1 ではありません。代わりに、σ(w x+b) になります。ここで、σ はシグモイド関数 (ロジスティック関数と呼ばれることもあります) と呼ばれ、この新しいタイプのニューロンはロジスティック ニューロンと呼ばれ、次のように定義されます。

すべてをより明確にまとめると、入力 x1; x2; …、重み w1; w2; …..、バイアス b を持つシグモイド ニューロンの出力は次のようになります。

σ(z)のグラフを以下に示します。

σ の滑らかさは、重みとバイアス Δwj と Δb の小さな変化が、ニューロンからの出力 Δoutput に小さな変化をもたらすことを意味します。実際、微積分によれば、Δoutput は次のように近似できます。

すべての偏導関数を使用する上記の式は複雑に見えるかもしれませんが、実際には非常に単純なことを意味します (これは朗報です)。Δoutput は、重みとバイアス Δwj と Δb の変化を反映する線形関数です。

パート2

ニューラルネットワークアーキテクチャ

このセクションでは、ニューラル ネットワークがどのようなものかを説明します。

下のネットワークの一番左の層は入力層と呼ばれ、そこに含まれるニューロンは入力ニューロンと呼ばれます。一番右の層は出力層で、出力ニューロンが含まれます。この場合、出力層にはニューロンが 1 つだけあります。中間の層は、この層のニューロンが入力でも出力でもないため、隠れ層と呼ばれます。

手書きの数字画像に「9」が含まれているかどうかを判断しようとしているとします。当然、画像ピクセルの強度を入力ニューロンとしてエンコードして、ネットワークを設計できます。画像が 64 x 64 のグレースケール画像の場合、4096 = 64 x 64 の入力ニューロンが必要になり、各強度は 0 から 1 の間の適切な値を取ります。出力層には 1 つのニューロンのみが必要です。出力値が 0.5 未満の場合は「入力画像は 9 ではない」ことを意味し、値が 0.5 より大きい場合は「入力画像は 9 である」ことを意味します。

ニューラル ネットワークを定義したので、手書き認識に戻りましょう。3 層のニューラル ネットワークを使用して、個々の数字を認識します。

ネットワークの入力層には、入力ピクセルの値をエンコードするニューロンが含まれています。ネットワークに提供するトレーニング データは、手書きの数字をスキャンした多数の 28×28 画像で構成されます。すべての入力層には、784 = 28×28 のニューロンが含まれています。簡単にするために、上の図では 784 個の入力ニューロンのほとんどを無視しています。入力ピクセルはグレースケールで、値 0.0 は白、値 1.0 は黒、中間値は徐々に暗いグレーを表します。

ネットワークの 2 番目の層は隠し層です。ニューロンの数を表すために n を使用します。この例では、小さな隠し層を使用して、n = 15 個のニューロンのみが含まれていることを示しています。ネットワークの出力層には 10 個のニューロンが含まれています。最初のニューロンが発火した場合、つまり出力が ≈ 1 の場合、ネットワークはその数値が 0 であると認識します。 2 番目のニューロンが発火した場合、ネットワークは数字が 1 であると考えていることを示します。等々。具体的には、出力ニューロンの出力に 0 から 9 の番号を付け、どのニューロンが最も高い活性化値を持つかを計算します。たとえば、ニューロン番号 6 がアクティブになると、ネットワークは入力番号が 6 であると推測します。

なぜ 10 個の出力ニューロンを使用するのでしょうか? 結局のところ、私たちのタスクは、ニューラル ネットワークに、どの数字 (0、1、2、...、9) が入力画像と一致するかを教えさせることです。より自然なアプローチは、4 つの出力ニューロンを使用することです。これは非効率的ではないでしょうか。最終的な判断は経験に基づいています。2 つの異なるネットワーク設計を実験すると、この特定の問題では、出力ニューロンが 10 個のニューラル ネットワークの方が、出力ニューロンが 4 個のニューラル ネットワークよりもパフォーマンスが優れていることがわかります。

なぜこれを実行するのかを理解するには、ニューラル ネットワークが基本的なレベルで何を実行しているかを理解する必要があります。まず、ニューロンが 10 個の場合を考えてみましょう。まず、最初の出力ニューロンについて考えてみましょう。これは、数値が 0 かどうかを教えてくれますが、隠れ層からの情報を重み付けできるため、それが可能です。隠れ層のニューロンは何をしていますか? 隠れ層の最初のニューロンが、次の画像が存在するかどうかを検出するためだけに使用されているとします。

この目標を達成するために、画像の対応する部分のピクセルには大きな重みを割り当て、他の部分には小さな重みを割り当てます。同様に、隠れ層の 2 番目、3 番目、4 番目のニューロンは、次の画像が存在するかどうかを検出するために使用されると想定できます。

ご想像のとおり、これら 4 つの画像が組み合わさって、上に示した数字の行のゼロが形成されます。

隠れ層の 4 つのニューロンがすべてアクティブになっている場合、その数は 0 であると推測できます。もちろん、これが 0 を推測できる唯一の方法ではありません。ニューラル ネットワークが上記の方法で動作すると仮定すると、4 ではなく 10 の出力が使用される理由を説明する合理的な理由が考えられます。出力が 4 つある場合、最初の出力ニューロンは、その数の最上位ビットが何であるかを判別しようと最善を尽くします。数の最上位ビットを数の形状に関連付けることは簡単な問題ではありません。数の形状要素が数の最上位ビットに密接に関連している適切な歴史的理由を想像することは困難です。

このヒューリスティックな方法は通常非常に効果的で、適切なニューラル ネットワーク構造を設計する時間を大幅に節約できます。著者は、ニューラル ネットワークを Tao レベルから説明しようとするこの方法を気に入っています。これにより、他の人の言うことに盲目的に従うのではなく、ニューラル ネットワークをより深く理解できるようになります。

パート3

勾配降下法を用いた学習

このセクションでは、ニューラル ネットワークが何を計算するのか、なぜそのように計算されるのかを理解できます。

ニューラル ネットワークの設計ができたので、数字の認識をどのように学習すればよいでしょうか。まず必要なのは、学習の元となるデータ セット、つまりトレーニング データ セットです。私たちは、手書きの数字のスキャン画像数万枚と正しい分類子を含む MNIST データセットを使用します。MNIST データは 2 つの部分に分かれています。最初の部分には、トレーニング データとして使用される 60,000 枚の画像が含まれています。これらの画像は 250 人の手書きサンプルをスキャンしたもので、そのうち半分は米国国勢調査局の職員、残りの半分は高校生です。これらの画像は 28×28 のグレースケール画像です。2 番目の部分はテスト データに使用される 10,000 枚の画像で、これも 28×28 のグレースケール画像です。このテスト データを使用して、ニューラル ネットワークが数字を認識する能力をどの程度習得したかを評価します。

トレーニング入力を表すために記号 x を使用します。便宜上、各トレーニング入力 x は 28×28 = 784 次元のベクトルと見なされ、ベクトル内の各エントリは画像内の単一ピクセルのグレースケール値を表します。対応する期待出力を表すために y = y(x) を使用します。ここで、y は 10 次元ベクトルです。たとえば、6 の特定のトレーニング イメージ x がある場合、y(x) = (0,0,0,0,0,0,1,0,0,0) T がネットワークの予想される出力になります。ここでの T は転置演算であり、行ベクトルを列ベクトルに変換することに注意してください。

ネットワークの出力 y(x) がすべてのトレーニング入力 x に適合するように重みとバイアスを見つけることができるアルゴリズムが必要です。この目標をどの程度達成したかを定量化するために、損失関数または目的関数とも呼ばれるコスト関数を定義します。

ここで、w はネットワーク内のすべての重みのセットを表し、b はすべてのバイアスを表し、n はトレーニング入力データの数を表し、a は入力が x の場合の出力ベクトルを表し、合計はトレーニング入力 x 全体に対して実行されます。もちろん、出力 a は x、w、b に依存します。

C を二次コスト関数と呼びます。これは平均二乗誤差または MSE と呼ばれることもあります。二次コスト関数の形式を見ると、合計式のすべての項が非負であるため、C(w,b) は非負であることがわかります。さらに、コスト関数 C(w,b) の値は非常に小さく、つまり C(w,b) ≈ 0 です。正確には、すべてのトレーニング入力 x に対して y(x) が出力 a に近い場合です。したがって、学習アルゴリズムが C(w,b) ≈ 0 となる適切な重みとバイアスを見つけることができれば、うまく機能します。したがって、トレーニング アルゴリズムの目標は、重みとバイアスのコスト関数 C(w,b) を最小化することです。言い換えれば、コストを可能な限り小さくできる一連の重みとバイアスを見つけたいのです。この目標を達成するために、勾配降下法と呼ばれるアルゴリズムを使用します。

なぜ二次コストを導入するのでしょうか。結局のところ、最初に関心があるのは正しく分類された画像の数ではないでしょうか。二次コストのような間接的な尺度を最小化するのではなく、この数を直接最大化してみてはいかがでしょうか。これは、ニューラル ネットワークでは、正しく分類された画像の数が重みとバイアスの滑らかな関数ではないために行われます。ほとんどの場合、重みとバイアスを少し変更しても、正しく分類された画像の数にはまったく影響しません。そのため、重みとバイアスを変更してパフォーマンスを向上させる方法を解決するのは困難です。二次コストのような滑らかなコスト関数を使用すると、重みとバイアスの小さな変更を使用してより良い結果を達成する方法をより適切に解決できます。

これが私たちが MSE を選んだ理由であり、いくつかの新しい洞察を得ることができました。

ニューラル ネットワークをトレーニングする目的は、2 次コスト関数 C(w,b) を最小化する重みとバイアスを見つけることですが、重み w とバイアス b の説明、わかりにくい σ 関数、ニューラル ネットワーク構造の選択、MNIST など、注意をそらす構造が多数あります。構造のほとんどを無視して、最小化に焦点を当てて理解できることがわかります。

さて、ある関数 C(v) を最小化したいとします。これは、任意の多変量実数値関数 v = v 1 ,v 2 ,… です。任意の関数にできることを強調するために、w と b の代わりに v を使用していることに注意してください。現時点では、ニューラル ネットワークのコンテキストに限定されません。 C(v) を最小化するには、C が 2 つの変数 v1 と v2 のみの関数であると想像します。

私たちが求めているのは、C のグローバル最小値を見つけることです。もちろん、上の図の関数の場合、一目で最小値を見つけることができます。つまり、私が示した関数は単純すぎる可能性があります。通常、関数 C は複雑な多変数関数である可能性があり、一目で最小値を見つけることは不可能です。

最小値を見つけることは不可能です。この問題を解決する 1 つの方法は、微積分を使用して最小値を求めることです。導関数を計算して C の極値点を見つけることができます。運が良ければ、C は 1 つまたは少数の変数のみの関数になりますが、変数が多すぎると悪夢となり、ニューラル ネットワークでは多くの変数が必要になることがよくあります。最大のニューラル ネットワークには、何億もの重みとバイアスに依存するコスト関数があり、これらは非常に複雑なため、微積分を使用して最小化することはもはや現実的ではありません。

微積分はもはや役に立たない。幸いなことに、非常にうまく機能するアルゴリズムを提案する優れた導出があります。まず、谷としての私たちの機能を想像してください。上の図をちょっと見るだけでも、理解するのは難しくありません。谷の斜面を転がる小さなボールを想像してください。私たちの日々の経験から、ボールは最終的に谷底に転がっていくことがわかります。このアイデアを使って関数の最小値を見つけることができるでしょうか? 仮想の球の開始位置をランダムに選択し、谷底まで転がる球の動きをシミュレートします。これをシミュレートするには、C の導関数 (または 2 次導関数) を計算するだけです。これらの導関数から、谷の局所的な「形状」に関するすべての情報が得られ、ボールがどのように転がるかがわかります。

ボールがどのように転がるかを知ることが重要であることに注意してください。

この問題をより正確に説明するために、球を v1 方向と v2 方向にそれぞれ ∆v1 と ∆v2 というごくわずかな量だけ動かしたときに何が起こるかを考えてみましょう。微積分学によれば、C は次のように変化します。

∆C が負になるように ∆v1 と ∆v2 を選択する方法を見つけたいと考えています。つまり、ボールが転がるように選択します。選択方法を確認するには、∆v を v の変化のベクトルとして定義する必要があります。∆v ≡ (∆v1, ∆v2) T、ここで T は転置された符号です。また、C の勾配を偏微分のベクトルとして定義し、勾配ベクトルを表すために ∇C を使用します。つまり、

これらの定義により、∆C の式は次のように書き直すことができます。

この式は、∇C が勾配ベクトルと呼ばれる理由を説明しています。∇C は、勾配から予想されるように、v の変化と C の変化を関連付けますが、この式の本当に興味深い点は、∆C が負になるように ∆v を選択する方法を示していることです。次のように選択したとします。

ここでηは小さな正の数（学習率と呼ばれるが、今後頻繁に登場することに注意）であり、

これにより、∆C ≤ 0 が保証されます。つまり、∆v 方程式の規則に従って v を変更すると、C は常に減少し、増加しません。これはまさに私たちが望んでいることです。したがって、∆v 方程式を使用して、勾配降下アルゴリズムでの球の「運動の法則」を定義します。つまり、∆v 方程式を使用して ∆v を計算し、球の位置 v を移動します。

次に、それを使用してルールを再度更新し、次の動きを計算します。これを何度も繰り返していくと、C は減少し続け、最終的には、私たちが期待しているように、地球規模の最小値に到達します。

要約すると、勾配降下アルゴリズムの動作方法は、勾配 ∇C を繰り返し計算し、反対方向に移動して谷を「転がり落ちる」というものです。次のように想像できます。

この更新ルールは、勾配降下アルゴリズムを定義するものと考えることができます。これにより、v を繰り返し変化させることで関数 C の最小値を見つける方法が得られます。このルールは常に機能するとは限りません。エラーを引き起こし、勾配降下法による関数 C のグローバル最小値の検索を妨げる可能性のあるものがいくつかあります。この点については後で説明します。しかし、実際には、勾配降下アルゴリズムは通常非常にうまく機能し、ニューラル ネットワークではコスト関数を最小限に抑える非常に効果的な方法であり、それによってネットワーク自体の学習を促進します。