ディープラーニングを理解する

1. 現在の状況:

ディープラーニングは現在非常に注目されており、あらゆる種類のカンファレンスがそれと関係しています。 Baidu Brain と Google Brain のプロジェクトはまさにこれに関するものです。画像認識、音声認識、さらにはセキュリティ分野における暗号化プロトコルの認識など、いくつかの分野では非常に優れた結果が達成されています。写真に示すように、音声分野における実験精度は 90% を超えています。

2. ディープラーニングの本質

上記は、センサー (CMOS など) を介してデータを取得することから始まります。典型的な機械学習の例を以下に示します。次に、前処理、特徴抽出、特徴選択を経て、推論、予測、または認識に進みます。 ***最初の部分は機械学習の部分です。ほとんどの作業はこの領域で行われており、論文や研究も数多くあります。

真ん中の３つの部分は特徴表現としてまとめることができます。優れた特徴表現は最終的なアルゴリズムの精度に重要な役割を果たし、システムの計算とテスト作業の大部分はこの部分で消費されます。ただし、実際には、これは通常手動で行われます。手動の特徴抽出に依存します。

しかし、手動で特徴を選択するのは非常に手間がかかり、経験的（専門知識を必要とする）方法であり、選択が適切かどうかは経験と運に大きく左右され、調整には多くの時間を要します。手動で選択された特徴はあまり良くないので、一部の特徴を自動的に学習することは可能でしょうか? 答えはイエスです! これを行うにはディープラーニングが使用されます。別名の「教師なし特徴学習」を見ると、一目瞭然です。教師なしとは、特徴選択プロセスに人間が関与しないことを意味します。

ディープラーニングの本質は、多くの隠れ層と膨大なトレーニングデータを持つ機械学習モデルを構築することで、より有用な特徴を学習し、最終的に分類や予測の精度を向上させることです。したがって、「ディープモデル」は手段であり、「特徴学習」は目的です。ディープラーニングは、従来の浅い学習と次の点で異なります。1) モデル構造の深さを強調し、通常は 5、6、または 10 を超える隠しノードを使用します。2) 特徴学習の重要性を明確に強調します。つまり、レイヤーごとの特徴変換を通じて、元の空間内のサンプルの特徴表現が新しい特徴空間に変換され、分類や予測が容易になります。人工的なルールに基づいて特徴を構築する方法と比較して、ビッグデータを使用して特徴を学習すると、データの豊富な固有情報をより適切に特徴付けることができます。

3. ディープラーニングと従来のニューラルネットワークの関係

ディープラーニング自体は機械学習の一分野であり、簡単に言えばニューラルネットワークの開発として理解することができます。約 20 ～ 30 年前、ニューラル ネットワークは ML 分野で特にホットな話題でしたが、その後、次の理由により徐々に衰退しました。

1) 過剰適合しやすく、パラメータの調整が難しく、多くのトリックが必要になります。

2) 学習速度が比較的遅く、層数が比較的少ない場合（3 以下）は他の方法よりも効果は高くありません。

そのため、ニューラル ネットワークがあまり注目されなかった約 20 年間の期間があり、この期間は基本的に SVM とブースティング アルゴリズムが主流でした。しかし、熱狂的な老人であるヒントンは粘り強く努力し、最終的には（ベンジオ、ヤン・ルカンなどとともに）実用的なディープラーニングのフレームワークを提案しました。

4.ディープラーニングと従来のニューラル ネットワークには類似点と相違点があります。

両者の類似点は、ディープラーニングがニューラルネットワークに似た階層構造を採用していることです。システムは、入力層、隠れ層（複数の層）、出力層からなる多層ネットワークで構成されています。隣接する層のノードのみが接続されており、同じ層内または層をまたいだノード間の接続はありません。各層はロジスティック回帰モデルと見なすことができます。この階層構造は、人間の脳の構造に近いものです。

ニューラル ネットワークのトレーニングにおける問題を克服するために、DL はニューラル ネットワークとは非常に異なるトレーニング メカニズムを採用しています。従来のニューラル ネットワークでは、バック プロパゲーション法が使用されます。簡単に言うと、反復アルゴリズムを使用してネットワーク全体をトレーニングし、初期値をランダムに設定し、現在のネットワークの出力を計算し、現在の出力とラベルの差に応じて前のレイヤーのパラメーターを収束するまで変更します (全体的な方法は、勾配降下法です)。ディープラーニングは全体として、レイヤーごとのトレーニング メカニズムです。その理由は、バックプロパゲーション機構を採用すると、深いネットワーク（7層以上）の場合、最前層に伝播される残差が小さくなりすぎて、いわゆる勾配拡散が発生するためです。

5. まとめ

ディープラーニングとは、モデル化されるデータの基礎となる（暗黙的な）分布の多層（複雑な）表現を自動的に学習するアルゴリズムです。つまり、ディープラーニング アルゴリズムは、分類に必要な低レベルまたは高レベルの特徴を自動的に抽出します。高レベルの特徴とは、他の特徴に階層的に依存できる特徴を指します。たとえば、マシン ビジョンの場合、ディープラーニング アルゴリズムは元の画像から学習して、エッジ検出器、ウェーブレット フィルターなどの低レベルの表現を取得し、これらの低レベルの表現に基づいて、これらの低レベルの表現の線形または非線形の組み合わせなどの表現を構築し、このプロセスを繰り返して最終的に高レベルの表現を取得します。

ディープラーニングは、データをより良く表現する特徴を獲得することができます。同時に、モデルには多くのレベルとパラメータがあり、十分な容量があるため、モデルは大規模なデータを表現することが可能です。そのため、画像や音声など、特徴が明らかでない（手作業による設計が必要で、その多くは直感的な物理的意味を持たない）問題の場合、大規模なトレーニングデータでより良い結果を得ることができます。また、パターン認識機能と分類器の観点から見ると、ディープラーニングフレームワークは、機能と分類器を1つのフレームワークに統合し、データを使用して機能を学習し、使用時に手動で機能を設計する膨大な作業負荷を軽減します（これは現在、産業エンジニアが最も力を入れている領域です）。そのため、効果が向上するだけでなく、使用も非常に便利です。そのため、注目に値するフレームワークであり、MLを行うすべての人が注目する必要があります。

もちろん、ディープラーニング自体は最良ではなく、世界中のあらゆる ML 問題を解決できる強力なツールでもありません。また、全能であるほどに拡大されるべきでもありません。

[この記事は51CTOコラムニスト「ビッグデータとクラウドコンピューティング」によるオリジナル記事です。転載する場合はWeChatパブリックアカウントを通じて連絡し、許可を得てください。]

この著者の他の記事を読むにはここをクリックしてください