ディープラーニングと通常の機械学習の違いは何ですか?

[[212077]]

本質的に、ディープラーニングは、ディープニューラルネットワーク構造（多くの隠れ層とパラメータを持つ人工ニューラルネットワーク）をパラメータ化するのに役立つ一連の技術とアルゴリズムを提供します。ディープラーニングの背後にある重要な考え方は、与えられたデータセットから高レベルの特徴を抽出することです。したがって、ディープラーニングの目標は、面倒な特徴エンジニアリングタスクの課題を克服し、従来のニューラル ネットワークのパラメーター化を支援することです。

さて、ディープラーニングを紹介するために、多層パーセプトロン (MLP) を使ったより具体的な例を見てみましょう。

MLP のコンテキストでは、ネットワーク内で線形ニューロンのみを使用するわけではないため、「パーセプトロン」という言葉は少し混乱を招く可能性があります。 MLP を使用すると、非線形問題を解決するための複雑な関数を学習できます。したがって、ネットワークは通常、入力層と出力層を接続する 1 つ以上の「隠し」層で構成されます。これらの隠し層には通常、何らかのシグモイド活性化関数 (対数シグモイドや双曲正接など) があります。たとえば、私たちのネットワークでは、ロジスティック回帰ユニットは 0 ～ 1 の範囲の連続値を返します。単純な MLP は次のようになります。

ここで、y は最終的なクラス ラベルであり、返されるのは入力 x に基づく予測です。「a」はアクティブ化したニューロンであり、「w」は重み係数です。ここで、この MLP に複数の隠し層を追加すると、ネットワークは「ディープ」と呼ばれるようになります。このような「深い」ネットワークの問題は、このネットワークの「適切な」重みを学習することがますます困難になることです。ネットワークのトレーニングを開始するとき、通常は初期の重みにランダムな値を割り当てますが、これは見つけたい「優れた」ソリューションとは大きく異なります。トレーニング中は、一般的なバックプロパゲーション アルゴリズム (逆モードの自動微分と考えてください) を使用して、「エラー」を右から左に伝播し、コスト (または「エラー」) 勾配の反対方向に移動しながら、各重みに関する偏導関数を計算します。さて、ディープ ニューラル ネットワークの問題は、「勾配消失」と呼ばれるものです。レイヤーを追加すればするほど、信号が弱くなるため、重みを「更新」することが難しくなります。私たちのネットワークの重みは最初は非常に悪い（ランダムに初期化される）可能性が高いため、バックプロパゲーションを使用して「ディープ」ニューラル ネットワークをパラメーター化することはほぼ不可能です。

ここでディープラーニングが役立ちます。大まかに言えば、ディープラーニングは、そのような「深い」ニューラル ネットワーク構造をトレーニングするのに役立つ「スマートな」トリックまたはアルゴリズムと考えることができます。ニューラル ネットワーク アーキテクチャにはさまざまなものがありますが、MLP の例を続けるために、畳み込みニューラル ネットワーク (CNN) の概念を紹介します。これは、MLP への「適切な」入力を検出するのに役立つ、MLP への「アドオン」と考えることができます。

一般的な機械学習アプリケーションでは、通常、特徴エンジニアリングの部分に重点が置かれており、アルゴリズムによって学習されたモデルは入力データと同じくらいしか良くなりません。もちろん、データセットには十分な識別情報が含まれている必要がありますが、情報が意味のない特徴に埋もれてしまうと、機械学習アルゴリズムのパフォーマンスに深刻な影響が出てしまいます。ディープラーニングの目的は、ノイズの多いデータから自動的に学習することです。これは、より効果的に学習できるようにする意味のあるディープニューラルネットワーク構造を提供するアルゴリズムです。ディープラーニングは、「特徴エンジニアリング」を自動的に学習するアルゴリズムと考えることができます。または、単に「特徴検出器」と呼ぶこともできます。これは、さまざまな課題を克服し、ニューラル ネットワークでの学習を促進するのに役立ちます。

画像分類の文脈で畳み込みニューラル ネットワークを考えてみましょう。ここでは、画像を通過する、いわゆる「受容野」（「窓」のようなものと考えてください）を使用します。次に、これらの「受容野」（たとえば、サイズは 5×5 ピクセル）を次のレイヤーの 1 つのユニットに接続します。これは「特徴マップ」と呼ばれます。このマッピングの後、いわゆる畳み込み層を構築します。我々の特徴検出器は本質的に互いのコピーであり、同じ重みを共有していることに注意してください。アイデアとしては、特徴検出器が画像の一部で役立つ場合、他の部分でも役立つ可能性が高く、同時に画像の各部分をさまざまな方法で表現できるようになるというものです。

次に、「プーリング」レイヤーがあり、ここでは特徴マップ内の隣接する特徴を単一のユニットに削減します（たとえば、最大の特徴を取得したり、平均化したりします）。私たちはこれを何度もテストして、最終的に画像のほとんど不変な表現（正確な用語は「等変」）が得られました。これは、画像内のオブジェクトがどこにあっても検出できるため、非常に強力です。

基本的に、この追加コンポーネントである CNN は、MLP 内の特徴抽出器またはフィルターとして機能します。畳み込み層を通じて、画像から有用な特徴を抽出でき、プーリング層を通じて、これらの特徴にスケーリングと変換において一定の違いを持たせることができます。