Googleのジェフ・ディーンが単独著者として執筆: ディープラーニング研究の黄金の10年

コンピュータの出現以来、人類は思考できる機械を創ることを夢見てきました。 1956 年、ジョン マッカーシーはダートマス大学で開催されたセミナーで人工知能の概念を提唱しました。数学者と科学者のグループが集まり、機械に言語を使用させ、抽象的な理解と概念を形成し、さまざまな既存の問題を解決する方法を探りました。当時、セミナーの参加者は、数か月以内にこれらの問題に真の進歩がもたらされるだろうと楽観的でした。

人工知能は、1956 年にダートマス大学でジョン マッカーシーが主催したセミナーで生まれました。このセミナーでは、機械に言語を使用させ、抽象概念や概念を形成し、現在では解決困難な種類の問題を解決する方法を探るため、数学者や科学者のグループが集まりました。当時、セミナーの参加者は、数か月の集中的な取り組みでこれらの問題に真の進歩がもたらされるだろうと楽観的でした。

1956 年のダートマス人工知能会議の参加者: マービン・ミンスキー、クロード・シャノン、レイ・ソロモノフ、およびその他の科学者。写真提供: マーガレット・ミンスキー

数か月というタイムラインは過度に楽観的であることが判明しました。その後 50 年間で、ロジックベースのシステム、ルールベースのエキスパート システム、ニューラル ネットワークなど、AI システムを作成するためのさまざまなアプローチが人気を博し、その後廃れていきました。

AI が重要な開発段階に入り、驚異的な進歩を遂げたのは、2011 年頃になってからでした。これは、ディープラーニングにおけるニューラル ネットワークの復活によるものです。これらの技術的進歩により、コンピューターが周囲の世界を見て、聞いて、理解する能力が向上し、AI は科学や人間の探究の他の分野で大きな進歩を遂げることができました。その理由は何でしょうか?

最近、Google の大物 Jeff Dean 氏が「ディープラーニングの黄金の 10 年: コンピューティング システムとアプリケーション」という記事を公開し、ディープラーニングのこの黄金の 10 年間におけるコンピューティング システムとアプリケーションの進歩の理由を探りました。この記事では、この進歩を可能にしたコンピューティング ハードウェアとソフトウェア システム、過去 10 年間の機械学習分野におけるいくつかの興味深いアプリケーション例、そしてインテリジェント マシンを作成するという目標を真に達成するために、より強力な機械学習システムを作成する方法という 3 つの領域に焦点を当てています。

ジェフ・ディーンによるこの記事は、アメリカ芸術科学アカデミーのジャーナルである AI & Society of Dædalus の特別号に掲載されました。

記事アドレス: https://www.amacad.org/sites/default/files/publication/downloads/Daedalus_Sp22_04_Dean.pdf

ディープラーニングの黄金の10年

AIハードウェアとソフトウェアの進歩

AI ハードウェアとソフトウェア: ディープラーニングは、さまざまな線形代数演算 (行列乗算、ベクトル内積、および同様の演算など) を組み合わせて動作しますが、この演算には制限があるため、専用のコンピューターまたはアクセラレータ チップを構築して処理することができます。汎用 CPU と比較して、この特殊なアクセラレータ チップは、新しいコンピューティング効率と設計オプションをもたらすことができます。

コンピュータまたはアクセラレータ チップは、これらのタイプの計算をサポートするためにカスタム構築されます。この特殊化により、より多様なアルゴリズムを実行する必要がある汎用 CPU に比べて、新たな効率性と設計の選択肢が可能になります。

2000 年代初頭から、少数の研究者が GPU を使用してディープラーニング アルゴリズムを実装する方法を研究し始めました。その後、2004 年に、コンピューター科学者の Kyoung-Su Oh 氏と Keechul Jung 氏が、GPU を使用したニューラル ネットワーク アルゴリズムの速度が 20 倍近く向上することを実証しました。 2008 年、コンピューター科学者の Rajat Raina 氏とその同僚は、GPU を使用すると、特定の教師なし学習アルゴリズムを CPU ベースの最高の実装よりも最大 72.6 倍高速化できることを実証しました。

コンピューティング ハードウェアの改善により、ディープラーニングは画像認識、音声認識、言語理解などの分野で大きな進歩を遂げ始めています。ディープラーニング アルゴリズムには、特殊なハードウェアの構築に適した 2 つの非常に優れた特性があります。1 つ目は、精度の低下に対して非常に寛容であることです。2 つ目は、ディープラーニングの計算方法が、密な行列またはベクトルに対する一連の異なる線形代数演算で構成されていることです。

ディープラーニングとコンピューティングを容易にするために、研究者はオープンソースのソフトウェア フレームワークを開発しました。これにより、多くの研究者、エンジニアなどがディープラーニングの研究を進め、より幅広い分野にディープラーニングを適用できるようになりました。

初期のフレームワークとしては、Torch、Theano、DistBelief、Caffe などがあり、2015 年に Google が開発しオープンソース化した TensorFlow もあります。これは、機械学習の計算を表現できるフレームワークで、Theano や DistBelief などの初期のフレームワークのアイデアを組み合わせたものです。現在までに 5,000 万回以上ダウンロードされている TensorFlow は、世界で最も人気のあるオープンソース ソフトウェア パッケージの 1 つです。

PyTorchはTensorFlowの1年後の2016年にリリースされ、Pythonを使ってさまざまな研究のアイデアを簡単に表現できることから研究者の間で人気を博しました。 2018 年にリリースされた JAX は、洗練された自動微分化と基盤となる XLA コンパイラを組み合わせた Python 用の人気のオープン ソース ライブラリであり、TensorFlow でも使用され、機械学習の計算をさまざまな種類のハードウェアに効率的にマッピングします。

TensorFlow や PyTorch などのオープンソースの機械学習ライブラリやツールの重要性は強調しすぎることはありません。研究者がアイデアを迅速に試すことができるからです。世界中の研究者やエンジニアがお互いの研究成果をより簡単に活用できるようになると、分野全体の進歩が加速します。

研究成果の急増

研究の継続的な進歩、ML ハードウェア (GPU、TPU など) の計算能力の向上、オープンソースの機械学習ツール (TensorFlow、PyTorch など) の広範な採用により、機械学習とその応用の分野における研究成果が急増しています。強力な指標の 1 つは、人気のプレプリント ホスティング サービスである arXiv に公開された機械学習分野の論文数です。arXiv では、2018 年に 2009 年と比べて 32 倍以上のプレプリントを公開しました (2 年ごとに 2 倍以上増加)。機械学習の研究者は、気候科学や医療などの重要な分野の専門家と協力することで、社会に利益をもたらし人類の進歩を促進する重要な問題の解決に貢献しています。私たちは刺激的な時代に生きていると言ってもいいでしょう。

科学技術への応用の急増

コンピューティング能力の革命的な成長、機械学習のハードウェアとソフトウェアの進歩、機械学習の研究成果の急増により、科学と工学における機械学習の応用が急増しました。機械学習の研究者は、気候科学やヘルスケアなどの主要分野と協力することで、社会に利益をもたらし人類の発展を促進する重要な問題の解決に貢献しています。これらの科学および工学の分野には次のものが含まれます。

• 神経科学
• 分子生物学
• 健康管理
• 気象、環境、気候の課題
• ロボット
• アクセシビリティ
• パーソナライズされた学習
• コンピュータ支援による創造性
• 重要な構成要素
• トランスフォーマー
• コンピュータシステム向け ML

各セグメントの詳細については原文をご参照ください。

機械学習の未来

ML 研究コミュニティでは興味深い研究の方向性がいくつか生まれており、それらを組み合わせるとさらに興味深いものになるかもしれません。

まず、Sparsely-Gated Mixture of Experts (Sparsely-Gated MoE) などのスパース活性化モデルを検討します。これは、特定のインスタンスに対してモデルのサブセットのみが「アクティブ化」される (たとえば、2048 人の専門家のうち 2 人または 3 人) 非常に大容量のモデルを構築する方法を示しています。

2 つ目は、自動機械学習 (AutoML) の研究です。この研究では、ニューラル アーキテクチャ検索 (NAS) や進化的アーキテクチャ検索 (EAS) などの手法を使用して、ML モデルまたはコンポーネントの効率的な構造やその他の側面を自動的に学習し、特定のタスクの精度を最適化できます。 AutoML では通常、多くの自動化された実験が実行され、それぞれが計算負荷の高いものになる可能性があります。

最後に、数個から数十個の関連タスクの適切な規模でのマルチタスクトレーニング、または関連タスク用に大量のデータでトレーニングされたモデルから新しいタスク用に少量のデータで微調整されたモデルへの転移学習は、幅広い問題の解決に非常に効果的であることが示されています。

非常に興味深い研究の方向性は、上記の 3 つのトレンドを組み合わせて、1 つのシステムを大規模な ML アクセラレータ ハードウェア上で実行することです。目標は、数千または数百のタスクを実行できる単一のモデルをトレーニングすることです。このようなモデルは、構造の異なる多くのコンポーネントで構成される場合があり、インスタンス間のデータ フローはインスタンスごとに比較的動的です。モデルでは、専門家のスパースゲート混合や学習ルーティングなどの手法を使用して、非常に大容量のモデルを生成する場合がありますが、1 つのタスクまたはインスタンスでは、システム内の全コンポーネントのごく一部のみがスパースにアクティブ化されます。

下の図 1 は、マルチタスクのスパースアクティブ化機械学習モデルを示しています。

各コンポーネント自体は、ルーティングされるデータのタイプに合わせてコンポーネントの構造を適応させるために、AutoML のようなアーキテクチャ検索を実行している可能性があります。新しいタスクでは、有用である限り、他のタスクでトレーニングされたコンポーネントを活用できます。ジェフ・ディーン氏は、非常に大規模なマルチタスク学習、共有コンポーネント、学習済みルーティングにより、新しいタスクごとに新しい例が比較的少ない場合でも、モデルが新しいタスクを高い精度で迅速に完了できることを期待しています。その理由は、モデルが他の関連タスクを完了する際に、すでに獲得した専門知識と内部表現を活用できるためです。

何百万ものタスクを処理し、新しいタスクを自動的に完了することを学習できる単一の機械学習マシンを構築することは、人工知能とコンピューター システム エンジニアリングの分野における本当に大きな課題です。これには、機械学習アルゴリズム、責任ある AI (公平性や説明可能性など)、分散システム、コンピューター アーキテクチャなど、多くの分野の専門知識が必要であり、機械学習のすべての応用分野で新しいタスクを独立して解決できるように一般化できるシステムを構築することで、人工知能の分野を前進させます。

責任あるAI開発

AI は日常生活のあらゆる面で人々を支援する力を持っていますが、すべての研究者と実践者は、AI ツールの動作や他者への影響に関する偏見、公平性、プライバシーの懸念、その他の社会的要因を慎重に検討し、責任を持って手法を開発し、これらすべての問題に適切な方法で対処するよう努める必要があります。

AI の責任ある開発を導くための明確な原則を策定することも重要です。 Google は 2018 年に、企業の AI 関連の作業と使用をガイドする一連の AI ガイドラインを発表しました。 AI 原則のセットには、機械学習システムにおける偏見、安全性、公平性、説明責任、透明性、プライバシーなど、考慮すべき重要な領域がリストされています。近年、他の機関や政府もこのモデルに倣い、AI の使用に関する独自のガイドラインを発行しています。ジェフ・ディーン氏は、この傾向がトレンドではなく、すべての機械学習の研究と開発における標準になるまで続くことを望んでいます。

ジェフ・ディーンの将来ビジョン

2010 年代はまさにディープラーニングの研究と進歩にとって黄金の 10 年でした。 1956 年のダートマス人工知能シンポジウムで提起された最も困難な問題のいくつかは、この 10 年間で大きな進歩を遂げました。機械は、初期の研究者が期待したとおりに、見て、聞いて、言語を理解することができます。中核分野での成功は、多くの科学分野で大きな進歩をもたらし、スマートフォンをよりスマートにするだけでなく、人々が日常生活に役立つより複雑で強力なディープラーニングモデルを作成し続けることで、将来的にさらなる可能性を切り開きます。強力な機械学習システムの助けにより、将来、人々はより創造的で有能になるでしょう。