ニューラル ネットワークの BP アルゴリズムが発明されるまでになぜ長い時間がかかったのでしょうか?
|
ローズブラットは 1950 年代にパーセプトロンを提案し、多層ニューラル ネットワークの BP アルゴリズムが普及したのはそれからほぼ 30 年後のことでした。 実際にはこれは微積分の連鎖律を単純に応用しただけなのに、なぜこんなに時間がかかるのでしょうか? Bengio 氏は Quora で次のように返信しました。 一見明白なアイデアの多くは、後から振り返って初めて明白になります。 サイバネティクスでは、チェーン反転は多層非線形システムを解くために非常に早い段階で適用されました。 しかし、1980 年代初頭には、ニューラル ネットワークの出力は離散的であったため、勾配ベースの方法を使用して最適化することは不可能でした。 当時、ルメルハート氏とヒントン氏は、出力が滑らか (シグモイド) であれば、連鎖律を使用して多層ニューラル ネットワークをトレーニングできると考えていました。 したがって、これは単なる連鎖律の問題ではなく、離散出力の枠組みから抜け出すことに関するものです。このような概念の変更は簡単ではありません。 |
<<: 「アルゴリズム経済」はどのような新しいモデルやトレンドを生み出すのでしょうか?
>>: 2015年9月のプログラミング言語ランキング: 新しいインデックスアルゴリズムにより急上昇が解消
推薦する
ChatGPTはユーザーがペイウォールを回避できないようにBing検索へのアクセスを停止
7月5日のニュース、6月28日、OpenAIのチャットボットChatGPTは、MicrosoftのB...
蝶ネクタイボイスチェンジャーなしでも1秒でコナンになれる——音声合成＋ディープラーニング
[51CTO.com からのオリジナル記事] 「名探偵コナン」を見たことがある友人なら、コナンに出て...
大きなモデルが必ずしも良いモデルとは限らない。小さな機械学習こそが未来だ
NASA の推進により、電子機器の小型化は消費者向け製品産業全体に広がりました。ベートーヴェンの全作...
Antの信用リスク管理の実践
1. 信用リスク管理業務の背景と事例まず、当社の事業シナリオについて簡単にご紹介させていただきます。...
100,000 台以上の Vision Transformer を一度にトレーニングするにはどうすればよいでしょうか?
[[413052]]この記事はLeiphone.comから転載したものです。転載する場合は、Lei...
マルチユーザーデータ取得: LangChain 技術ガイドとケーススタディ
著者 | 崔昊レビュー | Chonglouまとめこの記事では、さまざまなユーザー データの分離を確...
人工知能は核爆弾と同じくらい人類にとって脅威なのでしょうか? AI脅威理論の謎を解く
新たに世界一の富豪となり、テスラのCEO、そしてテクノロジー界の大物となったマスク氏は、ロボットが近...
携帯電話の顔認識は本当に安全ですか?
[51CTO.com クイック翻訳]顔認識は、セキュリティメカニズムとして、ますます多くの携...
視覚慣性走行距離計のIMU事前統合モデルについてお話しましょう
エンジニアリングの実践では、単に視覚オドメトリ (VO) を使用するのではなく、視覚と IMU を組...
美団テイクアウト広告のためのインテリジェントコンピューティングパワーの探求と実践
著者 | 嘉宏、舜慧、郭良 他ディープラーニングの時代では、コンピューティングパワーの需要と消費が増...
切り抜きや着色を超えて、人工知能がデザインに及ぼす影響をご覧ください
人工知能の時代では、ARデザインとスマートハードウェアデザインが徐々に発展しています。デザイン改革で...
Meta主任AI研究者ヤン・リクン氏：今日のAIは愚かであり、規制当局は我々に干渉すべきではない
ソーシャルメディアFacebookの親会社Metaの主任人工知能研究者ヤン・ルカン氏は10月20日、...