ニューラル ネットワークの BP アルゴリズムが発明されるまでになぜ長い時間がかかったのでしょうか?
|
ローズブラットは 1950 年代にパーセプトロンを提案し、多層ニューラル ネットワークの BP アルゴリズムが普及したのはそれからほぼ 30 年後のことでした。 実際にはこれは微積分の連鎖律を単純に応用しただけなのに、なぜこんなに時間がかかるのでしょうか? Bengio 氏は Quora で次のように返信しました。 一見明白なアイデアの多くは、後から振り返って初めて明白になります。 サイバネティクスでは、チェーン反転は多層非線形システムを解くために非常に早い段階で適用されました。 しかし、1980 年代初頭には、ニューラル ネットワークの出力は離散的であったため、勾配ベースの方法を使用して最適化することは不可能でした。 当時、ルメルハート氏とヒントン氏は、出力が滑らか (シグモイド) であれば、連鎖律を使用して多層ニューラル ネットワークをトレーニングできると考えていました。 したがって、これは単なる連鎖律の問題ではなく、離散出力の枠組みから抜け出すことに関するものです。このような概念の変更は簡単ではありません。 |
<<: 「アルゴリズム経済」はどのような新しいモデルやトレンドを生み出すのでしょうか?
>>: 2015年9月のプログラミング言語ランキング: 新しいインデックスアルゴリズムにより急上昇が解消
推薦する
大型模型＋ロボット、詳細なレビューレポートはこちら、多くの中国の学者が参加
大型モデルの優れた能力は誰の目にも明らかであり、ロボットに統合されれば、ロボットはより賢い脳を持つこ...
AIと「喧嘩」したくない？人々はどんなスマートホーム体験を望んでいるのでしょうか？
スマートホームの発展過程で、その定義は何度も変化してきました。当初のリモートコントロールの概念から、...
メタバースは過大評価されてきたが、2050年までにAIによって現実のものとなる
メタバースの概念が誇張され、まるでそれが本当に存在するかのように人々が話していることは間違いありませ...
音楽駆動型デジタルヒューマン技術の詳細な説明
1. ミュージックXRメーカーMusic XR Makerは、テンセントミュージック初のオーディオお...
自動運転の簡単な分析 - 衝突防止警報システム
朝起きると、自分が遅く起きたことに気づきます。時間通りに会社に着いて出勤記録を残さないようにし、勤怠...
Alibaba Cloudが「Tongyi Lingma」AIプログラミングツールをリリース、VS CodeやJetBrainsなどの主流IDEをサポート
11月1日、アリババクラウドは「Tongyi Lingma」というAIプログラミングツールをリリース...
C# 暗号化アルゴリズムの簡単な紹介
C# 暗号化アルゴリズムMD5 は Message-Digest Algorithm 5 の略で、1...
OpenAI が GPT をロボットの脳に組み込み、具現化された AGI のシンギュラリティが近づいています。エヌビディアとマイクロソフトがユニコーン企業フィギュアキャピタルに26億ドルを投資
スターヒューマノイドロボット企業フィギュアがハイライトの瞬間を迎えました！先ほど、OpenAIとFi...
強力なオープンソース SDXL 1.0 がリリースされました!高品質、超シンプルなプロンプトワンクリック生成
ちょうど今、Stability AI は次世代のテキスト グラフ モデルである SDXL 1.0 を...
アルゴリズムについていつも心配しているなら、脳を鍛えるのに役立つ12のアルゴリズム設計プロジェクトを紹介します
1. C言語プログラミング実験住所: http://www.shiyanlou.com/course...