ディープラーニングの悪循環は驚くべき結果をもたらすだろう

オックスフォード大学の機械学習の先駆者である Nando de Freitas 氏は、最初のツイートで「ディープラーニングの悪循環」に関するこの記事を推奨しました。この記事の著者は、人間の自己認識の悪循環とディープラーニングのアルゴリズムの悪循環を結び付けています。「人間の思考」特有の属性であると思われる「自己創造」は、ディープラーニングで驚くべき成果を上げているようです。

悪循環とは、階層のさまざまなレベルにまたがる循環的なシステムです。このサイクルを通じて、人は自分の起源をたどることができます。

偶然にも、この「悪循環」は、実は Yann LeCun 氏が「過去 20 年間の機械学習における最もクールなアイデア」と呼んだものの根本的な理由なのです。

ループは、従来、異なる計算層の非循環グラフで構成される機械学習システムでは一般的ではありません。しかし、現在では、「フィードバック ループ」を採用することで、驚くべき新しい自動操作を実現できることがわかってきています。

これは誇張ではなく、今まさに起こっていることです。研究者たちは、それぞれの分野で人間をはるかに上回る特殊な自動化を作り出すことを期待して、「正確な」インテリジェント システムをトレーニングしています。

フィードバック ループがディープラーニング システムで効果的であることを初めて知ったのは、「ラダー ネットワーク」のときでした。ラダーネットワークは、2015 年 7 月にまで遡るかなり以前から使用されていました。(参照: https://arxiv.org/abs/1507.02672v2) 下の図はその構造を示しています。

ラダー ネットワークは、計算層を上下に移動する単一のループと、それに続く単一の単方向チャネルで構成されます。このシステムはループ部分から情報を収集しており、導入後は非常に良好な収束数値を示しています。これについては、元の研究者による 2016 年の論文でさらに詳しく説明されています。

タグ: 教師なしディープラーニング 知覚グループ化

複数のラダー ネットワークを連結すると、画像内のオブジェクトをグループ化できる大規模なネットワークを形成できます。

敵対的生成ネットワーク (GAN) にも独自のループがありますが、構造では表示されず、トレーニング中に隠されています。 GAN のトレーニング プロセスには、生成ネットワークと識別ネットワークを含む協力ネットワークと敵対ネットワークのトレーニングが含まれます。判別ネットワークは、生成ネットワークによって生成されたデータを分類するためにあらゆる手段を試みます。生成ネットワークは、判別ネットワークを欺くデータを見つけるためにあらゆる手段を試します。最終的には、ジェネレータと判別器の両方の堅牢性が向上します。 GANはチューリングテストの要件をある程度満たしており、現在最も先進的な画像生成モデルであると言えます。

よりスマートな結果（よりリアルなグラフィックスなど）を生成するために、ニューラル ネットワーク（識別器）を使用するジェネレーターの形でフィードバック メカニズムが存在するとほぼ確実に推測できます。 GAN がリアルなグラフィックスを生成する例は数多くあります。しかし、ラダーネットワークのおかげで、GAN の変化を推進する新しい構造が現在存在します。

ループを活用するこれらのシステムは、「増分学習」に関する新しい研究にも関連しています。ディープラーニング システムの欠点の 1 つは、ネットワークを微調整する際に、新しいデータでトレーニングすると、以前に獲得したスキルが破壊されてしまうことです。つまり、ネットワークは過去の学習を「忘れる」のです。スタンフォード大学で開発された「フィードバック ネットワーク」と呼ばれるモデル構造では、研究者らは、自身にフィードバックして内部で反復処理できる特別なネットワークを開発しました。

最近の出版物（2017 年 3 月）では、カリフォルニア大学バークレー校が GAN と新しい正規化手法を使用して、グラフ間の驚くべき変換を作成しました。彼らはこのシステムをCycle Generative Adversarial Networks (CycleGAN)と名付けましたが、驚くべき結果が得られました。

CycleGAN は優れた画像変換を実現できます。上記のように、絵画を入力するとリアルな写真が生成されます。また、馬をシマウマに変えたり、ある季節の写真を別の季節の写真に変えたりするなど、意味変換に似た機能を実装することもできます。

このアプローチの鍵となるのは、「サイクル整合損失」を活用することです。この損失により、ネットワークは最小限の損失で一方向の遷移とその後の反対方向の遷移を実現できるようになります。つまり、ネットワークは元の画像を変換することを学習するだけでなく、逆方向に変換することも学習する必要があります。

ディープラーニング システムをトレーニングする際の最大の課題は、ラベル付きデータが不足していることです。ラベル付けされたデータは、ディープラーニング モデルの精度を制御するソースです。しかし、繰り返しループを使い始めているこれらの新しいシステムは、監視不足の問題に対処しています。それはまるで、何もないところから新しいラベル付きデータ変数を自動的に作成し、さらに多くのデータで自らをトレーニングする永久機関があるかのようです。この自動化されたメカニズムにより、子供たちは自分自身でシミュレーションゲームをプレイすることができ、プレイを重ねるうちにこの分野の専門家になることができます。

これは、自己トレーニングを通じて新しい戦略を開発できる AlphaGo に似ています。自動化にフィードバック ループが組み込まれ、さまざまなシナリオをシミュレート (「想像」と呼ぶ人もいます) して、それらのシナリオの正確性を自己テストできるようになると、私たちは超技術的な爆発の臨界点に到達します。

しかし、私たち人類文明は、この爆発的かつ急速な発展によってもたらされる技術的エネルギーを掌握する準備がまだできていません。したがって、次に驚くべきディープラーニングの結果を目にしたときは、アルゴリズムに埋め込まれた奇妙なループを探してみてください。

元記事: https://www.esmadrid.com/en/whats-on/escher-gaviria-palace

[この記事は51CTOコラムBig Data Digest、WeChatパブリックアカウント「Big Data Digest（id: BigDataDigest）」のオリジナル翻訳です]

この著者の他の記事を読むにはここをクリックしてください