人工知能の簡単な歴史 | (1) ディープラーニング、人工知能の新たな盛り上がり

人工知能はまだ少し遠く、Google の巨大なデータセンターの部屋や神秘的な MIT ロボット工学研究所にしか存在しないと感じているかもしれません。実際、インターネットやスマートフォンを通じて、人工知能は私たちの日常生活に浸透し始めています。

著者の故郷である、福建省の美しい海岸沿いの都市、厦門に住んでいると仮定します。朝起きて、今日のニュースを見るために携帯電話で「Toutiao」アプリを開くと、「Toutiao」の人工知能推奨システムが、あなたの過去の読書習慣に基づいて、お気に入りのNBAバスケットボールスター、カリー選手の優勝ニュースを推奨します。通勤途中に「百度地図」アプリを開き、目的地「厦門大学」を音声で直接言うと、「百度地図」はわずかに福建訛りの中国語を自動的に認識し、渋滞の少ないルートを案内します。会社に到着してメール システムを開くと、人工知能ベースのスパム対策アルゴリズムがすでに数十件のスパム メールをブロックしており、静かに作業効率の向上に役立ちます。また、iFlytek の人工知能音声入力ソフトウェアを使用して重要な文書を口述し、Google 翻訳を使用して文書を英語とスペイン語に翻訳し、海外の顧客に送信することもできます。昼食後、同僚と一緒に近くの公園を散歩します。芝生の上に美しい赤い花を咲かせた木が見えます。その花の名前を知りたくて、携帯電話の「Xingse」アプリを開き、写真を撮ってアップロードします。すぐに、人工知能の画像認識アルゴリズムが、その花の学名をBauhinia rubra、別名バウヒニアと特定し、花言葉は兄弟愛を象徴しています...

私たちに利便性と幸福をもたらすこれらの人工知能アルゴリズムの背後には、現在人工知能分野で最も注目されている技術であるディープラーニング技術が核となっています。第 2 章では、人工知能がチェスと囲碁で人間の世界チャンピオンを凌駕するまでの経緯を説明します。Alpha Go Go ソフトウェアが非常に強力な理由は、その戦略ネットワークと評価ネットワークにあり、これら 2 つのサブシステムの生成もディープラーニングに依存しています。

ディープラーニングとは何でしょうか?簡単に言えば、機械学習は人工知能における非常に重要な分野であり、ディープラーニングは機械学習の分野です。機械学習により、コンピューターは大量のデータや過去の経験を通じて学習し、コンピューター プログラムのパフォーマンスを継続的に最適化し、分類や予測などの機能を実現できるようになります。ディープラーニングにより、複数の処理層を持つニューラル ネットワーク コンピューティング モデルは、複数の抽象化レベルでデータの表現を学習できます。簡単に言えば、ディープラーニングはビッグ データ内の複雑な構造を検出できます。これらの概念は少し複雑に聞こえるかもしれませんが、この本の後半でさらに詳しく説明します。

近年、ディープラーニングは画像認識、音声認識、自然言語処理、ロボット工学、自動医療診断、検索エンジンなどで驚異的な成果を上げており、携帯電話やインターネットを通じて人間の仕事や生活に総合的な影響を与え始めています。この章では、ディープラーニングの歴史を振り返り、人工知能とディープラーニングのさまざまな応用を探ります。

初期の人工ニューラルネットワーク

ディープラーニングの概念は、人工ニューラル ネットワークの研究から生まれました。初期のニューラル ネットワーク モデルは、人間の神経系と脳の学習メカニズムを模倣しようとしました。 1943 年、神経生理学者ウォーレン・マカロックと論理学者ウォルター・ピッツが共同で重要な論文「神経活動に内在する概念の論理的計算」を発表しました。この論文では、彼らは、人間のニューロンの細胞構造をシミュレートする McCulloch-Pitts ニューロン モデル (略して MP ​​モデル、図 3.1 を参照) を提案しました。彼らは、ニューロンの概念を初めてコンピューティング分野に導入し、最初の人工ニューロン モデルを提案して、ニューラル ネットワークへの扉を開きました。表 3.1 に、生物学的ニューロンと MP モデルを示します。

図3.1 MPモデル

表3.1 生物学的ニューロンとMPモデル

MP モデルは、入力信号を変換して出力結果を得るという人間のニューロンの動作原理を大まかにシミュレートします。図 3.1 の下部は、N 個の入力信号 x1、x2、…、xN (人間のニューロンの N 個の樹状突起に対応し、各樹状突起は他のニューロンに接続されて信号を取得します) を持つ人工ニューロンです。各信号は重み (各樹状突起接続の重要度に対応)、つまり W11、W12、…、W1N に対応し、これらの N 個の入力の加重合計が計算され、しきい値関数が渡されて「0」または「1」の出力が得られます。出力結果は、人間のニューロンでは「0」と「1」がニューロンの「抑制」と「活性化」の状態を表し、人工ニューロンでは「0」と「1」が論理的な「いいえ」と「はい」を表します。

1958 年、心理学者のフランク・ローゼンブラット教授はパーセプトロン モデルを提唱しました。パーセプトロンは MP モデルに基づく単層ニューラル ネットワークであり、サンプル データに基づいて重み特性を学習できる最初のモデルです。 2 つのカテゴリに線形に分割できるデータの場合、パーセプトロンのエラー訂正アルゴリズムに従って、サンプル データに基づいて複数の反復操作を実行し、最終的に操作の収束を達成して、各入力 x に対応する重み W を決定できます。この反復計算プロセスを「ニューラル ネットワーク トレーニング」と呼び、トレーニングされたニューラル ネットワークは最終的に新しいデータの分類予測を行うことができます。これは最も単純な「機械学習」プロセスです。

1960 年代には、パーセプトロン モデルに触発されて、多くの数学者、物理学者、コンピューター エンジニアがニューラル ネットワークの研究に専念しました。 1969年、有名な人工知能の専門家であるミンスキー教授とシーモア・パパート教授は「パーセプトロン：計算幾何学入門」という本を出版し、パーセプトロンモデルは線形に分離可能な問題しか解決できないことを証明し、パーセプトロンはXOR問題などの非線形に分離可能な問題を解決できないことを明確に指摘しました。同時に、当時の計算能力では多層ニューラルネットワークを実現することはほぼ不可能だったとも指摘している。ミンスキー教授とパパート教授によるパーセプトロン研究に対する悲観的な予測は、ニューラル ネットワーク研究の最初の低迷期をもたらしました。この本の出版から 10 年以上経っても、ニューラル ネットワークに基づく研究はほぼ停滞していました。

ジェフリー・ヒントン

1986 年、ディープラーニングの巨匠、ジェフリー・ヒントン教授が登場し始めました。同年、ヒントン教授、デイビッド・ルメルハート教授、ロナルド・ウィリアムズ教授は、ネイチャー誌に「誤差逆伝播による表現の学習」という重要な論文を発表しました。この論文で提案された逆伝播アルゴリズムにより、ニューラル ネットワークのトレーニングに必要な時間が大幅に短縮されました。 30 年経った今日でも、バックプロパゲーション アルゴリズムはニューラル ネットワークをトレーニングするための基本的な方法であり続けています。同時に、ヒントン教授が提唱するディープニューラルネットワークは、XOR問題やその他の線形不可分問題もうまく解決できます。

ヒントン教授（図3.2参照）は1947年に英国で生まれました。彼は非常に伝説的な一家に生まれました。彼の祖父の祖父はブール代数の創始者である偉大な数学者ジョージ・ブールでした。ジョージ・ブールの妻は『代数の哲学と喜び』を著した作家メアリー・エベレストでした。メアリー・エベレストの叔父は、有名なイギリスの測量士であり探検家であったジョージ・エベレストでした。彼は当時のイギリス植民地であったインドの測量局長を務め、ヒマラヤの測量作業を指揮しました。後にイギリス人は彼の姓にちなんで世界最高峰のエベレスト山と名付けた。ヒントン教授のフルネームはジェフリー・エベレスト・ヒントンです。家族が彼にエベレストという名前を付けたのは、将来彼が科学の頂点に立つことを祝福していたのかもしれません。ところで、文学青年に少し「噂話」をさせましょう。ジョージ・ブールの末娘、エセル・リリアン・ヴォイニッチは、中国の読者が特に好きな小説「ガドフライ」の著者です。彼女の人生と恋愛も非常に刺激的です。彼女はスーパースパイのシドニー・ライリー（映画「007」のジェームズ・ボンドの原型）とロマンチックな恋愛関係にあったと言われています。ここでは詳細には触れません。

[[391581]]

図3.2 当時の巨匠ヒントン教授

ヒントン教授の父、ハワード・エベレスト・ヒントンは昆虫学者であり、曽祖父のチャールズ・ハワード・ヒントンは著名な数学者であり、初期の人気科学ライターおよび SF 作家の一人でした。ヒントン氏は高校生の頃から、人間の脳と神経ネットワークの謎に魅了されてきた。 1970年、ヒントンはケンブリッジ大学を卒業し、実験心理学の学士号を取得した。彼は 1978 年にエディンバラ大学で人工知能の博士号を取得し、カーネギーメロン大学のコンピュータサイエンス学部で 5 年間勤務しました。その後、彼はカナダに移住し、トロント大学の有名な教授になりました。

ヒントン教授の科学研究キャリアの最初の20年間は、多くの成果を達成したものの、コンピューターの計算速度が十分でなく、ディープニューラルネットワークの最適化が困難だったため、ディープニューラルネットワークに基づくディープラーニングは学術界で十分な注目を集めず、論文を発表したり科学研究資金を獲得したりすることも困難でした。ヒントン教授は、黙々と研究に取り組み、同時に、後にディープラーニングの分野で有名になるヤン・ルカンやヨシュア・ベンジオなど、多くの優秀な学生や協力者を育てました。

2004 年、ヒントン教授はカナダ高等研究機構からの財政支援を受けて、ニューラル コンピューティングおよび適応知覚プロジェクト (略して NCAP) を設立しました。 NCAP プロジェクトの目標は、生物学的知能を模倣すること、つまり、脳が視覚、聴覚、書き言葉の手がかりを使って環境を理解し、それに反応するプロセスをシミュレートすることに専念する世界クラスのチームを作成することです。ヒントン教授は研究者を慎重に選び、コンピューターサイエンス、生物学、電子工学、神経科学、物理学、心理学などの分野の専門家をNCAPプロジェクトに参加するよう招待しました。その後の事実により、ヒントン教授がこのような学際的な共同プロジェクトを立ち上げたことは、人工知能の研究にとって素晴らしい取り組みであったことが証明されました。図 3.3 に示すように、ヤン・ルカン、ジョシュア・ベンジオ、アンドリュー・ンなど、NCAP プロジェクト セミナーに定期的に参加した多くの研究者が、後に非常に優れた成果を達成しました。最も重要なことは、このチームがより効率的なディープラーニングアルゴリズムを体系的に作成したことです。最終的に、彼らの優れた成果により、ディープラーニングは人工知能の分野で主流の方向になりました。 2012年、ヒントン教授は「カナダのノーベル賞」として知られる、カナダ最高の国家科学賞であるキラム賞を受賞しました。

[[391582]]

図3.3 左から右へ：ルカン、ヒントン、ベンジオ、アンドリュー・ン

2013 年、Google はヒントン教授が設立した DNN Research 社を買収しました。実際、同社には製品も顧客もほとんどなく、ディープラーニング分野の専門家はヒントン教授と、2012 年の Image Net コンテストで優勝した彼の 2 人の学生、アレックス・クリジェフスキー氏とイリヤ・スツケバー氏の 3 人だけでした。 Googleは数紙を買うために数千万ドルを費やしたと冗談を言う人もいる。世界トップクラスの人材を紹介するというGoogleの寛大な姿勢は、まさにGoogleの二人のボス、ラリー・ペイジ（ローレンス・エドワード・ペイジ）とセルゲイ・ブリン（セルゲイ・ブリン）の未来に対する偉大なビジョンを反映しており、中国の起業家にとって非常に学ぶ価値があると私は信じている。 2014年にGoogleが4億ドルを投じてDeep Mindを買収したとき、同社はコンピュータゲームをプレイするための強化学習アルゴリズムの使用に関する論文をNature誌に発表したばかりの小さな会社だったが、多くの人々はなぜ同社がそれほどの価値があるのか​​理解できなかった。ディープマインド社が世界に衝撃を与えたアルファ囲碁を開発して初めて、人々はペイジ氏とブリン氏のビジョンを信じるようになった。