ニューラル ネットワーク: 神秘的で驚異的なニューラル ネットワークの完全な歴史

[[346995]]

さまざまな資料を読んでいくうちに、ニューラルネットワークの歴史に深く魅了されるようになりました。これは非常に興味深い研究テーマであり、とても楽しく研究してきました。ニューラルネットワークと人工知能は、前世紀以来、注目の話題となっています。大衆文化映画では、人工知能ロボットが世界中で人気を博し、多くの好奇心旺盛な人々を魅了しています。

ニューラル ネットワークは、生物学的ニューロンにヒントを得たプログラミング パラダイムであり、複雑な観測データセットでディープラーニング モデルが効率的に学習およびトレーニングできるようにします。ニューラル ネットワークは、複雑な計算問題を解決する大きな可能性を秘めたツールと見なされるようになった時期から、単なる理論的なアイデアとして嘲笑され、最終的にはより良い未来の創造者として称賛されるようになった時期まで、過去 1 世紀にわたってさまざまな段階を経てきました。

ニューラルネットワークの歴史の各段階を時系列順に振り返ってみましょう。

アイデア

生物学者、神経学者、研究者は、前世紀からニューロンの機能を研究してきました。 1890 年、アメリカの哲学者ウィリアム・ジェームズは、その後の研究で多くの研究者の考えを反映した洞察に満ちた理論を提唱しました。

この仮説は、皮質の任意の点における活動は皮質に放出される全体的な運動傾向の合計であると述べています。簡単に言えば、1 つのニューロンの発火は、信号がターゲットに到達するまで他のすべてのニューロンを刺激します。

1943 年、マカロックとピッツは単一ニューロンの最初の数学モデルを開発しました。確立されたニューロンモデルは包括的かつ広範囲にわたります。このモデルは改良され、現代でも広く使用されています。

これにより、ニューラル ネットワークの研究者や実践者の間で考え方に大きな変化が起こりました。人間の脳に似たニューロンモデルの数学的機能は、ほとんどの生物学者を驚かせ、人工知能への支持と人工知能が世界を席巻することへの懸念の波がこの瞬間から始まりました。

黄金時代

その後 1949 年から 1969 年までの 20 年間にわたり、私たちは多数の実験を実施しました。既存の方法論は大きく発展・拡張され、この時期はニューラルネットワークの黄金時代であったと言えます。

この時代は、ドナルド・ヘブが著書『行動の組織化』で紹介したヘブ理論のおかげで華々しく始まりました。ヘブビアン理論によれば、特定のシナプスを介してニューロンが次々と活性化されると、コンダクタンスが増加するとされています。

このフェーズには、学習フィルター、勾配降下法、ニューラルダイナミクスの開発、大規模な脳活動の誘発と伝播など、いくつかの重要なトピックがあります。複数のニューロンを同時に活性化して各情報ビットを表現する方法については、広範な研究が行われています。シャノンの情報エントロピー原理に基づく情報理論は、この分野における重要な研究領域となっています。

最も重要な発明は、1958 年にローゼンブラットによって発明されたパーセプトロン モデルでした。 Rosenblatt によって提案されたバックプロパゲーション法は、多層ネットワークのトレーニングに非常に役立ちます。広範囲にわたる研究と継続的な開発により、この時代は間違いなくニューラル ネットワークの黄金時代です。テイラーは出力ユニット間の抑制を伴う勝者総取り回路を構築し、パーセプトロン モデルの他のプロセスも完了しました。

閏期間

1970 年代から 1990 年代にかけて多くのテーマが研究され、調査されましたが、残念ながら、研究結果はどれも役に立ちませんでした。多数のニューロンを組み合わせてニューラル ネットワークを形成し、単一のニューロンよりも強力にして複雑な計算を実行する研究が行われています。

勾配降下法では複雑なタスクに対して望ましい解決策をうまく得ることができないため、他の数学的ランダム法、確率論的方法、または確率論的方法の開発が進められてきました。この間、さらなる理論的結果と分析が確立されました。

ボルツマンマシンとハイブリッドシステムは、複雑な計算問題を解決することにも成功しています。ボルツマンマシンは数学の問題をうまく解決しました。ハードウェアおよびソフトウェアの制限により、さまざまな欠陥に対する解決策を実装できません。それにもかかわらず、この期間中に、既存の研究を更新し改善する多くの成功した研究が実施されました。

しかし、これらの進歩にもかかわらず、ニューラル ネットワークの開発においては大きな進歩や成果は得られていません。急速に増加していた人工ニューラルネットワークの需要はもうありません。重要な理由の 1 つは、単純なパーセプトロンの限界を示すことでした。

ミンスキー氏とパパート氏は 1969 年にこのデモンストレーションを行い、単純なパーセプトロンの欠陥を示しました。単純なパーセプトロン モデルは計算上普遍的ではないことが理論的に証明されています。この瞬間は決して忘れられないでしょう。それはニューラル ネットワークのワーテルローを意味します。この動きにより、ニューラル ネットワーク分野の研究資金が劇的に減少し、ニューラル ネットワークの衰退が引き起こされました。

ニューラルネットワークの障害と崩壊

突然、ニューラル ネットワークをめぐる誇大宣伝がすべて消え去りました。人工ニューラルネットワークとディープラーニングは、主にデータと高度な技術の不足により、理論的な概念として嘲笑されました。

当時は、画像セグメンテーション、画像分類、顔認識、自然言語処理ベースのチャットボットなどの複雑なタスクを実行するためのコンピューティング リソースが不十分で、利用可能なデータも非常に限られていました。複雑なニューラル ネットワーク構造の場合、必要な結果を提供するのに十分なデータがありませんでした。たとえ必要なデータが利用可能であったとしても、当時利用可能なリソースでこの量のデータを計算することは、依然として非常に困難な作業です。

強化学習の成功やその他の小さなプラス面など、いくつかの前向きな兆候はあるものの、かつてのような大きな期待を再び呼び起こすには十分ではありません。研究者や科学者の並外れた先見性により、人工ニューラル ネットワークは発展し続けることができました。しかし、失われた名声と知名度を取り戻すにはさらに20年かかりました。

ニューラルネットワークの復活と絶対的な優位性

今後 20 年間、ディープラーニングの地位と人気は楽観的ではありません。この時代では、サポートベクターマシン (SVM) やその他の同様の機械学習アルゴリズムがより主流となり、複雑なタスクを解決するために使用されています。

機械学習アルゴリズムはほとんどのデータセットで優れたパフォーマンスを発揮しますが、データセットが大きくなってもパフォーマンスは大幅に向上しません。一定のしきい値に達すると、機械学習アルゴリズムのパフォーマンスは停滞します。データが増えるにつれて、継続的に学習して改善できるモデルがますます重要になります。

2012年、ジョージ・E・ダール率いるチームは、マルチタスクディープニューラルネットワークを使用して薬剤の生体分子標的を予測し、メルク分子活性チャレンジで優勝しました。 2014 年、ホクライター氏のチームは、栄養素、家庭用品、医薬品に含まれる環境化学物質のオフターゲット効果と毒性効果を検出するディープラーニング技術を使用して、国立衛生研究所、米国食品医薬品局 (FDA)、NCATS による「Tox21 データ チャレンジ」で優勝しました。

現時点では、ニューラル ネットワークは革命的な変化であると考えられています。今日、ディープラーニングとニューラル ネットワークは、あらゆるハイレベル ゲームの重要な機能となっています。畳み込みニューラル ネットワーク、Long Short-Term Memory (LSTM)、Generative Adversarial Networks は非常に人気があります。特にディープラーニングの強化は日々急速に進み、大きな進歩を遂げています。

ニューラル ネットワークの旅は永遠に記憶に残る価値があります。ニューラル ネットワークとディープラーニングは、素晴らしい展望から、現在ではほぼあらゆる複雑な問題を解決するための最良の方法の 1 つへと進化しました。私はこの時代に生き、この変化に貢献できることを嬉しく思います。

この記事はWeChatの公開アカウント「Reading the Core」から転載したもので、以下のQRコードからフォローできます。この記事を転載する場合は、Duxinshu の公開アカウントにご連絡ください。