Facebook、MITなどが研究論文を発表：ディープラーニングの実際の仕組みを説明する理論

Facebook、プリンストン大学、MITのAI研究者らは最近、「ディープラーニング理論の原理：ニューラルネットワークを理解するための効果的な理論的アプローチ」と題する書籍を共同出版すると発表しました。この本の原稿は現在公開されています。

序文によれば、この本は基礎レベルで、ディープ ニューラル ネットワーク (DNN) を第一原理から理解するための理論的枠組みを提供します。 AI 実践者にとって、この理解は、これらの DNN をトレーニングするために必要な試行錯誤の量を大幅に削減できる可能性があります。たとえば、現在必要とされる時間と計算量の多い実験を行わなくても、特定のモデルに最適なハイパーパラメータを明らかにすることができます。

FacebookのAI研究科学者であるSho Yaida氏は、DNNは現代のAI研究の重要な要素の1つであると述べた。しかし、ほとんどの AI 研究者を含む多くの人々は、DNN は第一原理から理解するには複雑すぎると考えています。この問題は、業界が実験と試行錯誤を通じて AI で大きな進歩を遂げている一方で、研究者は DNN を非常に有用なものにしている重要な特性の多くについてまだよくわかっていないことを意味します。研究者がこれらの重要な特性をより深く理解すれば、大きな進歩と、より強力な AI モデルの開発につながる可能性があると彼は考えています。

矢井田氏はAIを産業革命初期の蒸気機関に例えた。蒸気機関は製造業を永遠に変えたが、熱力学の法則と統計力学の原理が開発されて初めて、科学者は蒸気機関がどのように、なぜ機能するのかを理論レベルで完全に説明できるようになったと彼は述べた。この理解不足によって人々が蒸気機関を改良するのを妨げることはなかったが、熱機関の原理の発見によって改良のペースは大幅に加速された。

[[406714]]

矢井田氏は、AIの分野も現在、同様の局面にあると指摘する。 DNN はブラック ボックスと見なされており、第一原理から理解するには複雑すぎる。したがって、AI モデルは、人間が蒸気機関を改良したのと同様に、試行錯誤を通じて微調整されます。しかし、矢井田氏は、試行錯誤は必ずしも悪いことではなく、長年の経験を組み合わせることで上手に行うことができるとも語った。しかし、試行錯誤は、DNN とその実際の動作を説明する統一された理論言語の代替にすぎません。

発表では、この本は、第一原理から、そして現実的なモデルが実際にどのように機能するかを説明することに焦点を当てて、AIの科学を再考するより大きなプロジェクトの第一歩に過ぎないと述べられている。このディープラーニングの一般理論が成功すれば、より強力な人工知能モデルが実現可能となり、知能の一般的な側面を研究するための枠組みにつながる可能性もある。

この本で説明されているフレームワークは、現代の AI コミュニティで使用されている実際の DNN に拡張できることは注目に値します。しかし、この本の主な焦点は、最も単純なディープラーニング モデル (ディープ多層パーセプトロン) にあります。

この新しい実用的な理論により、AI 理論家がニューラル ネットワークのより深く、より包括的な理解に向かって前進できることを期待しています。まだ解明すべきことはたくさんありますが、この研究によって、これらのモデルのどのような特定の特性によってインテリジェントなパフォーマンスが可能になるのかという理解がさらに深まることが期待されます。また、この本が AI コミュニティにおいて、現在の進歩を制限することがある試行錯誤のサイクルを減らすのに役立つことを願っています。私たちは、より効率的で、パフォーマンスが高く、トレーニングが速い、より優れたモデルを実践者が迅速に設計できるように支援したいと考えています。特に、DNN を設計する人は、トレーニングなしで最適なハイパーパラメータを選択し、最適なアルゴリズムとモデル アーキテクチャを選択して最良の結果を達成できるようになります。

詳細は公式ブログをご確認ください。

この記事はOSCHINAから転載したものです

この記事のタイトル: FacebookとMITが共同で研究論文を発表: ディープラーニングが実際にどのように機能するかを説明する理論

記事URL: https://www.oschina.net/news/147068/facebook-mit-ai-researchers