人工知能に必要な条件：ディープラーニングモデル、ビッグデータ、計算能力

著者: マイケル・チャン

2016年、AlphaGoが囲碁でイ・セドルに勝利し、誰もが人工知能の時代が到来したと信じました。人工知能についても同じことが言えます。ある歴史的な機会により、独立して発展してきたいくつかの分野が偶然融合し、大きな推進力を生み出しました。この人工知能開発の波に必要な 3 つの条件は、ディープラーニング モデル、ビッグ データ、コンピューティング能力 (並列コンピューティング) です。

ディープラーニングモデル

AlphaGo が使用する機械学習モデルは、ディープラーニングのゴッドファーザーであるジェフリー・ヒントンによって 1986 年に提唱され、2010 年に大きな進歩を遂げました。

[[392241]]

ヒントンのTwitterプロフィール写真

2012年の夏、64歳のヒントンさんはトロント近郊の自宅を離れ、グーグルでインターンとして働くことになった。 「Noogler（新グーグル社員の略）」と縫い付けられたプロペラ帽をもらい、1980年代から90年代生まれの人たちが中心となった歓迎会に出席した。若いニューグラーたちはヒントン氏を認識できないだろう。なぜならヒントン氏は何十年もの間、ニューラルネットワークのアルゴリズムにひそかに取り組んでいたからだ。彼の言葉によれば、若者たちは彼を「老人性の白痴」として扱っているようだった（ロバート・デ・ニーロの映画「インターンシップ」を覚えているだろうか？）。

Google が彼を採用した理由は、彼のディープラーニング アルゴリズム モデルが機械学習のほぼすべての分野で限界を打ち破ったからです。近年の人工知能の飛躍的進歩は、過去数十年にわたるヒントン氏の研究によるものだ。1986年に発表された同氏の最初の論文では、人間の脳のようにニューラルネットワークを通じて機械が学習するモデルが提案された。しかし、最初の成功を収めた後、このモデルは停滞しました (データと計算能力という他の 2 つの要素が欠けていたため)。ほとんどの学者はこれに背を向けたが、ヒントンはそうしなかった。

それから20年後の2006年、ヒントン氏のチームが画期的な成果をあげました。 「ディープラーニング」と改名されたニューラルネットワークは、音声認識、画像の説明、自然に読める文章の生成など、あらゆる主要タスクで従来の AI に勝ち始めました。これらのアルゴリズムは、自動運転車や仮想アシスタントから検索エンジンの推奨に至るまで、バックエンド テクノロジーの基盤となります。

近年、Google、Facebook、Microsoft、BAT、TikTokなどのテクノロジー大手は、いずれもディープラーニングのゴールドラッシュを開始し、世界でも数少ない専門家の獲得を競い合っており、数億ドルのベンチャーキャピタルに支えられたディープラーニングの新興企業も雨後の筍のように出現している。これは、ヒントンのモデルが人工知能の研究と応用の方法のパラダイムを変えたためです。

ヒントン家があまりにも多くの神のような人物を生み出してきたことは言及する価値がある。

ヒントンの曽祖父はブール代数のブール、ジョージ・ブールであった。ブールは32歳の時に『論理の数学的分析』を出版し、論理と代数の関係を確立した。 39歳のとき、彼は『思考の法則』を出版し、ブール論理学とブール代数を確立した。数学の一分野である数理論理学は、現代のコンピュータの数学的基礎を築きました。

ブルの妻はメアリー・エベレストであり、エベレスト山はメアリーの叔父でインド測地測量局の主任測量士であったジョージ・エベレストにちなんで名付けられました。ブールの末娘、エセル・リリアン・ヴォイニッチは偉大な作品『The Gadfly』を著した。

ブールの長女メアリー・エレンは多くの有名人を輩出している。エレンは数学者のチャールズ・ハワード・ヒントンと結婚した。アレンの孫娘（ヒントンの叔母）のジョーン・ヒントンは、中国語名がハン・チュン（ヒントンの音訳）で、シカゴ大学原子核物理学研究所の大学院生である。彼女はエンリコ・フェルミの教え子であり、ヤン・ジェンニンとリー・ジェンダオの同級生であり、マンハッタン計画に参加した数少ない女性科学者の一人である。

「逃亡した原子力スパイ」

1953年、アメリカの雑誌「トゥルース」は、アメリカのマンハッタン計画に参加していた女性物理学者ジョーン・ヒントンが突然姿を消し、その後北京に現れたと報じた。著者（海軍少将）は、ハン・チュンがアメリカの原爆の秘密を中国に漏らし、中国政府の原爆計画の開発に協力した可能性もあると疑っている。ハン・チュンが中国に逃げることを選んだのは、原爆が人類に与えた被害に嫌気がさしたからだ。中国に最も不足しているのは牛乳だと考え、科学的な牛の飼育と農業の機械化を推進する中国を支援することを選んだ。彼女は中国のグリーンカードを取得した最初の外国人であり、2010年に北京で亡くなった。

ハン・チュン氏と同様に、ヒントン氏も米軍の大量破壊兵器開発にうんざりしていたため、1980年代にカーネギーメロン大学（CMU）を離れ、人工知能の研究に専念するためにカナダのトロント大学に進学した。 2010年、63歳の時にディープニューラルネットワークAlexNetを発表し、機械学習のあらゆる分野の推進に大きな役割を果たしました。 2018年、彼と彼の学生および協力者は、コンピューターサイエンスの最高賞であるチューリング賞を受賞しました。

人工知能のためのビッグデータ

ヒントンのディープラーニングアルゴリズムは、機械学習のさまざまなサブフィールドに革命をもたらしました。 2012 年に、このアルゴリズムの威力が世間に認識されました。

2012 年当時、音声認識は完璧とは程遠いものでした。これらのシステムは通常、隠れマルコフモデル (HMM) またはガウス混合モデル (GMM) を使用して音声のパターンを認識します。 2012 年に Hinton らによって発表された画期的な論文では、ディープ ニューラル ネットワークがこれらの以前のモデルを大幅に上回る性能を発揮できることが示されました。

2012 年の ImageNet Large Scale Visual Recognition Challenge (ILSVRC) は、画像認識におけるディープ ニューラル ネットワークの使用にとって決定的な瞬間でした。ヒントン氏と彼の学生であるアレックス・クリジェフスキー氏、イリヤ・スツケバー氏は、「AlexNet」と呼ばれる畳み込みニューラルネットワーク（CNN）を発表した。これは、ImageNet視覚認識における既存のエラー率を半分の15.3％に削減し、2位より10.8パーセントポイント低いものとなった。

なぜこれまでこのアルゴリズムの威力に気づかなかったのでしょうか?理由は簡単です。研究者たちはこれまで人工知能を訓練するための大規模なデータを持っていなかったのです。ディープラーニング アルゴリズムは、小規模データに対しては大きな利点がありません。

「データサイズとアルゴリズムのパフォーマンス」

図からわかるように、従来のアルゴリズムではボトルネックが発生し、データ規模がどれだけ大きくなっても改善する方法はありません。ただし、ディープラーニングでは、データの規模が拡大するにつれて、アルゴリズムのパフォーマンスを継続的に向上させることができます。

このコンピューター ビジョン コンテストで使用された大規模データ ImageNet は、スタンフォード大学の Fei-Fei Li 教授の研究から生まれたものです。彼女は異なる分野間の関係を結びつけることに関して深い洞察力を持っています。彼女のコンピューター ビジョンの同僚たちは、コンピューターが画像を認識してデコードする方法のモデルに取り組んでいましたが、これらのモデルは範囲が限られていました。犬を認識するためのアルゴリズムと猫を認識するためのアルゴリズムをそれぞれ作成するといった具合でした。

フェイフェイ・リーは、問題はモデルではなくデータにあるのではないかと疑った。子どもが無数の物体や光景を観察することで物体を認識することを学ぶことができるのであれば、コンピュータも大規模で多様な画像とそれらの関係性を分析することで同様の方法で学習できる可能性があります。ただし、モデルをトレーニングして画像内のオブジェクトが何であるかをコンピューターに伝えるには、大量のラベル付き画像が必要になります。数百万、あるいは数千万枚の画像を含むデータベース内のすべてのオブジェクトにラベルを付ける作業は、物理的に非常に大きな作業です。

2007 年にプリンストン大学の助教授であったフェイフェイ・リーが ImageNet のアイデアを思いついたとき、当時は誰もが数百から数千枚の画像のデータベースの使用にしか慣れていなかったため、同僚から協力を得るのは困難でした。ある人はこうコメントしました。「1 つの物体さえ認識できないのに、なぜ何千、何万もの物体を認識する必要があるのか​​？」

リー氏はプリンストン大学の学生にタグ付け作業の報酬として1時間当たり10ドルを支払おうとしたが、進捗は遅かった。その後、ある生徒が彼女に Amazon Mechanical Turk のことを教えてくれ、彼女は突然、非常に低コストで多くの人を雇ってラベル付けを行うことができるようになりました。 2009 年、Fei-Fei Li 氏のチームは 320 万枚のラベル付き画像を収集し (後に 1,500 万枚に増加)、論文を発表し、オープン データベースを構築しました。

当初、このプロジェクトはあまり注目されませんでした。その後、チームは翌年ヨーロッパで開催されるコンピュータービジョンコンテストの主催者に連絡し、参加者がImageNetデータベースを使用してアルゴリズムをトレーニングすることを許可するよう依頼しました。これが ImageNet 大規模視覚認識チャレンジとなりました。

長年にわたる ImageNet チャレンジの参加者は、テクノロジー コミュニティのあらゆる場所で見つけることができます。 2010年のコンテストの最初の優勝者たちは、その後、Google、Baidu、Huaweiで上級職に就きました。 2013年のImageNet優勝アルゴリズムに基づいて設立されたClarifaiは、その後、ベンチャーキャピタルから4000万ドルの支援を受けた。 2014年、オックスフォード大学の研究者2人が優勝し、すぐにGoogleに引き抜かれ、買収したDeepMind研究所に加わった。

「ImageNetのエラー率は年々減少しています」

このデータベースは、ディープラーニングの潜在能力を一気に刺激し、データの規模がモデルの効率よりも重要である場合があることを人々に認識させました。これまで、人々は常に小規模データに基づいてアルゴリズムの精度を少しずつ向上させることに重点を置いていましたが、ImageNetとAlexNetにより、データの規模が人工知能にもたらす変化を誰もが認識するようになりました。コンテスト最終年の2017年までに、物体を識別するコンピューターのエラー率は、2012年の15%から3%未満に低下しました。 2020 年には、多くのアルゴリズムでエラー率を 2% 未満に削減できます。

計算能力（並列計算）

いわゆるディープニューラルネットワークとは、ニューラルネットワークに多数の層があり、各層に多数のノードがあることを意味します。最適なモデルを計算するには、膨大な量の計算を行う必要があります。この方法がこれまで普及しなかった理由は、計算負荷が大きすぎるためでした。小規模なデータを処理する場合、ディープラーニングの精度は他の単純なモデルよりも高くありませんが、計算量がはるかに大きいため、普及していません。 2010年頃、並列コンピューティングが容易になったことで、このコンピューティングのボトルネックの重要性は急激に低下し、人工知能に必要な3つの条件が満たされました。

CPU と GPU

並列コンピューティングにより計算速度が大幅に向上します。 12 個以上のコアを備えた従来の CPU (中央処理装置) は、12 個以上の独立したコンピューティング タスクを同時に処理できます。 GPU（グラフィックス プロセッシング ユニット）は、もともとグラフィックス表示を高速化するために使用されていました。複雑なグラフィックスの光と影を計算する必要がある場合は、GPU の数千のコアを使用して並列処理することで、計算速度を大幅に高速化できます。

GPU はすべての高速化シナリオに適しているわけではありません。私たちが遭遇する問題の多くはシリアルです。つまり、計算の結果が完了した後、次の計算を開始できます。このようなシナリオでは、CPU の方が効率的です。ただし、シナリオによっては、各計算が互いに独立しており、待機する必要がないため、ディープラーニング アルゴリズムはまさにこの機能を満たしています。誰かが単純な比較をしました。CPU は古代の軍隊の将軍のようなもので、シリアルな問題に遭遇したときに単独で戦うのに適していますが、GPU は兵士のようなもので、並列な問題に遭遇したときに突入するのに適しています。ディープラーニングアルゴリズムは並列コンピューティングで解決できる問題であるため、完全に一致しました。GPU並列コンピューティングの計算能力は、人工知能を高速化する必要があるシナリオで広く使用されていました。

エヌビディア株価

GPUチップを製造するNVIDIAの株価も急騰し、2016年から現在までに20倍に増加した。その後、TPU や NPU など、人工知能コンピューティング専用のより優れたコプロセッサが開発され、AI アルゴリズムをより効率的に処理できるようになりました。

GPU の重要性は、もちろんブロックチェーンとビットコインの開発にも関係しています。ブロックチェーンのプルーフ・オブ・ワークには多くの独立した計算が必要であり、これは GPU がその能力を発揮できる領域でもあります。