ディープラーニングの本質を探りますか?

[[184749]]

1. 人工知能の波が再び高まっている

画期的な出来事：AlphaGoがイ・セドルを破った。

AlphaGo は、Google の子会社である DeepMind の David Silver、Aija Huang、Demis Hassabis とそのチームによって開発された囲碁用の人工知能プログラムです。このプログラムは、状況を計算するために「価値ネットワーク」を使用し、次の動きを選択するために「戦略ネットワーク」を使用します。 2015年10月、AlphaGoはヨーロッパ囲碁チャンピオンでプロ二段のファン・フイを5対0のスコアで破り、2016年3月には世界囲碁チャンピオンでプロ九段のイ・セドルと対戦し、合計スコア4対1で勝利した。これにより人工知能の波が再燃し、熱気は新たな高みに達しました。

AlphaGo のコアでは、「ディープ畳み込みニューラル ネットワーク」と「MCTS (モンテ カルロ検索木)」アルゴリズムが使用されています。次に、ディープラーニングの本質とは何かを理解しましょう。ディープラーニング＝人工知能でしょうか？

2. ディープラーニングの起源と概念

ディープラーニングの概念は、人工ニューラルネットワークの研究から生まれました。複数の隠れ層を持つ多層パーセプトロンは、ディープラーニング構造です。ディープラーニングは、低レベルの特徴を組み合わせてより抽象的な高レベル表現の属性カテゴリまたは特徴を形成することにより、データの分散された特徴表現を検出します。

ディープラーニングの概念は、2006 年に Hinton らによって提案されました。ディープビリーフネットワーク（DBN）に基づく教師なし貪欲層ごとのトレーニングアルゴリズムが提案され、深層構造に関連する最適化問題を解決する希望がもたらされました。その後、多層オートエンコーダの深層構造が提案されました。さらに、Lecun らが提案した畳み込みニューラル ネットワークは、空間的な相対関係を使用してパラメータの数を減らし、トレーニングのパフォーマンスを向上させる、最初の真の多層構造学習アルゴリズムです。

ディープラーニングは、機械学習研究における新しい分野です。その目的は、人間の脳のように分析し学習するニューラル ネットワークを構築し、シミュレートすることです。画像、音声、テキストなどのデータを解釈する人間の脳のメカニズムを模倣します。

機械学習の方法と同様に、ディープラーニングの方法も教師あり学習と教師なし学習に分けられます。異なる学習フレームワークで確立された学習モデルは大きく異なります。たとえば、畳み込みニューラル ネットワーク (CNN) はディープラーニングの教師あり学習機械学習モデルですが、ディープ ビリーフ ネット (DBN) は教師なし学習機械学習モデルです。

3. ディープラーニングはどのような問題を解決しますか?

入力から出力を生成する際に行われる計算は、フロー グラフで表すことができます。フロー グラフは計算を表すことができるグラフであり、各ノードは基本的な計算と計算値を表し、計算の結果はノードの子の値に適用されます。すべてのノードと可能なグラフ構造に対して実行できる計算のセットを考慮し、関数のファミリを定義します。入力ノードには親ノードがなく、出力ノードには子ノードがありません。

このようなフロー グラフの特別なプロパティは、その深さ、つまり入力から出力までの最長パスの長さです。

従来のフィードフォワード ニューラル ネットワークは、層の数に等しい深さ (たとえば、隠し層の数に出力層の 1 を加えた数) を持つものとして考えることができます。 SVM の深さは 2 です (1 つはカーネル出力または特徴空間に対応し、もう 1 つは生成された出力の線形混合に対応します)。

人工知能の研究方向の 1 つは、多数の「If-Then」ルールによって定義される、いわゆる「エキスパート システム」に代表されるトップダウン アプローチです。人工ニューラル ネットワーク (ANN) は、もう 1 つのボトムアップ アプローチです。ニューラル ネットワークには厳密な正式な定義はありません。その基本的な特徴は、脳内のニューロン間で情報が伝達され、処理される方法を模倣することです。

3.1 脳は深い構造を持っている

1981年のノーベル生理学・医学賞は神経生物学者のデイビッド・ヒューベルに授与されました。彼の主な研究成果は、視覚系の情報処理メカニズムの発見と、脳の視覚皮質が階層的であることの証明でした。彼の貢献は大きく 2 つあります。1 つは、人間の視覚機能は抽象的かつ反復的であると信じていることです。抽象化とは、元の光のピクセルやその他の情報など、非常に具体的な画像要素を抽象化して、意味のある概念を形成することです。これらの意味のある概念は上方に反復され、人々が認識できるより抽象的な概念になります。

ピクセルには抽象的な意味はありませんが、人間の脳はこれらのピクセルをエッジに結び付けることができ、エッジはピクセルに比べてより抽象的な概念になります。エッジは球体を形成し、球体は風船になりますが、これもまた抽象的なプロセスです。最終的に、脳は自分が見ているものが風船であることを認識します。

視覚皮質は一連の領域から構成されており、各領域には入力の表現が含まれており、信号は一方から他方へと流れます (ここでは、より複雑な階層的に並列する経路に沿った接続は無視します)。この機能階層の各レベルは、異なる抽象化レベルでの入力を表し、階層の上位には、下位レベルの機能に基づいて定義されるより抽象的な機能が存在します。

脳内の表現は中央に密集しており、純粋に局所的であることに注目してください。つまり、表現はまばらで、ニューロンの 1% が一度にアクティブになります。ニューロンの数が多い場合でも、非常に効率的な（指数的に効率的な）表現が存在します。

3.2 認知プロセスは段階的に実行され、徐々に抽象化される

人間は思考や概念を階層的に整理します。

人間はまず単純な概念を学び、それからそれを使ってより抽象的な概念を表現します。

エンジニアはタスクを複数の抽象レベルに分解します。

これらの概念を学習/発見するのは素晴らしいことです (知識エンジニアリングは内省がないために失敗するのでしょうか?)。言語で表現可能な概念を内省すると、疎な表現も示唆されます。つまり、すべての可能な単語/概念のうち、ごく一部のみを特定の入力 (視覚的なシーン) に適用できます。

4. ディープラーニングの適用シナリオ

ディープラーニングは音声認識や画像処理などの分野で大きな成功を収めています。 2013 年と 2014 年以降、自然言語処理の分野でもディープラーニング アプリケーションの波が起こりました。研究が深まるにつれ、自動運転など他の分野もまだ研究が進められています。

5. ディープラーニングは人工知能と同等ですか?

5.1 強いAIと弱いAI

人工知能のより一般的な定義、そしてこの分野における初期の定義は、1956 年のダートマス会議でジョン マッカーシーによって提案されました。人工知能とは、機械の動作を人間が示す知的な動作のように見せることです。しかし、この定義は強い AI の可能性を無視しているようです (下記参照)。別の定義では、人工知能は人間が作った機械によって発揮される知能であるとされています。一般的に言えば、現在の人工知能の定義は、主に「人間のように考える」、「人間のように行動する」、「合理的に考える」、「合理的に行動する」という 4 つのカテゴリに分けられます。ここでの「アクション」は、物理的な動きではなく、行動を起こすこと、または行動する決定を下すこととして広く理解されるべきです。

強い AI: 強い AI の見解では、真に推論して問題を解決できるインテリジェントなマシンを作成できると考えられており、そのようなマシンは知覚力と自己認識力を備えていると考えられます。強力な AI には 2 つのタイプがあります。1 つはヒューマノイド AI で、機械が人間のように考え、推論します。 非人間的な人工知能とは、機械が人間とは全く異なる知覚や意識を持ち、人間とは全く異なる推論方法を使用することを意味します。

弱い人工知能: 弱い人工知能の見解では、真に推論して問題を解決できるインテリジェントなマシンを作成することは不可能であると考えられています。これらのマシンは、知的に見えるだけで、実際には知性を備えておらず、自律的な意識もありません。 主流の科学研究は弱い人工知能に焦点を当てており、この研究分野はかなりの成果を上げていると一般に考えられています。強力な人工知能の研究は行き詰まっている。

現在のディープラーニングやその他のアルゴリズムは、どちらかと言うと弱い人工知能であり、思考や推論の能力がまったくありません。簡単に言えば、ディープラーニングは本質的には依然として分類です。

6. ディープラーニングの研究方向

Hinton、Bengio、Lecun が Nature*** に発表した「Deep Learning Review」では、ディープラーニングの 3 つの主要な開発方向がまとめられています。

1) 教師なし学習。教師なし学習は、ディープラーニングが普及した最初の数年間に重要な役割を果たしました。たとえば、教師なし学習は、ディープ ビリーフ ネットワークやスパース オートエンコーダのトレーニングに使用されました。教師なし学習は主に、適切な初期値を得るための事前トレーニングに使用され、その後、教師ありトレーニングが微調整に使用されました。しかし、コンピューティング能力の発達により、データセットが十分に大きい限り、純粋な教師あり学習でも良いパフォーマンスを達成できることが分かりました。そのため、教師なし学習は近年あまり発展していません。ヒントン氏らは、教師なし学習が将来さらに発展することを期待しています。なぜなら、人間や動物の学習は大部分が教師なし学習だからです。つまり、教師が世界の原理を教えてくれるのではなく、世界を観察することで学習するのです。

2) 深層強化学習。つまり、深層強化学習の主なアイデアは、深層学習と強化学習を組み合わせることであり、これは知覚から行動までのエンドツーエンドの学習です。簡単に言えば、人間と同じように、視覚などの知覚情報を入力し、その間に人工的な機能処理を介さずに、ディープニューラルネットワークを通じて直接アクションを出力します。深層強化学習は、ロボットが 1 つまたは複数のスキルを真に完全に自律的に学習できるようにする可能性を秘めています。深層強化学習の最も著名な代表はDeepMindです。同社はNIPS 2013で発表した論文「Playing Atari with Deep Reinforcement Learning」で初めて深層強化学習という名称を提案しました。その後、Nature誌に「Human-level control through deep enhancement learning」という論文の改良版を発表し、大きな注目を集めました。それ以来、深層強化学習は深層学習の分野で最先端の研究方向となっています。最近のイ・セドルとAlphaGoの対決でも、AlphaGoの背後にある技術は深層強化学習でした。DeepMindは2016年にNature誌に「深層ニューラルネットワークとツリー探索による囲碁のゲームをマスター」というAlphaGoの背後にある技術を発表しました。

3) 自然言語理解。自然言語理解も、ディープラーニングが今後大きな成果を上げることができる分野です。ニューラル機械翻訳、質問応答システム、要約生成など、ディープラーニング技術を使用したさまざまなアプリケーションが良好な結果を達成しています。結果の向上は主に、注意メカニズムとリカレントニューラルネットワークの強力な組み合わせによるものです。今後数年間は関連する作業が多数行われると考えています。

[この記事は51CTOコラムニスト「ビッグデータとクラウドコンピューティング」によるオリジナル記事です。転載する場合はWeChatパブリックアカウントを通じて連絡し、許可を得てください。]

この著者の他の記事を読むにはここをクリックしてください