次世代人工知能の開発方向（第1部）

[[349500]]

人工知能は半世紀以上前から存在していますが、人工知能の分野は過去 10 年間で急速に発展しました。 2012 年の ImageNet コンペティションでディープラーニングの現代が始まってから、まだ 8 年しか経っていません。それ以来、AI 分野の進歩は目覚ましく、今では AI は私たちの日常の仕事のあらゆる側面に組み込まれています。

一部の専門家は、この驚異的なペースは加速する一方だと指摘している。 5年後には、人工知能の分野は今日とは大きく異なるものになっているでしょう。現在最先端と考えられている方法は時代遅れになり、現在は新興または周辺的な方法が主流になるでしょう。

次世代の AI はどのようなものになるでしょうか? どのような新しい AI アプローチが、テクノロジーとビジネスにおいて現在想像もできない可能性を切り開くのでしょうか? この記事では、今後数年間で AI の分野と社会を再定義することになる 3 つの新たな AI 領域に焦点を当てています。

1. 教師なし学習

今日の AI の世界で最も支配的なパラダイムは、教師あり学習です。教師あり学習では、AI モデルは、人間が事前に定義されたカテゴリに従ってキュレートし、ラベル付けしたデータセットから学習します。 （「教師あり学習」という用語は、人間の「教師」が事前にデータを準備するという事実に由来しています。）

教師あり学習は、自動運転車から音声アシスタントまで、過去 10 年間で AI の目覚ましい進歩を推進してきましたが、依然として重大な限界があります。

何千ものデータ ポイントに手動でラベルを付けるプロセスは、コストがかかり、面倒な作業になる可能性があります。データを機械学習モデルに取り込む前に人間が手動でラベル付けする必要があるという事実は、AI の大きなボトルネックになっています。

より深いレベルでは、教師あり学習は、狭く制限された形式の学習を表します。教師ありアルゴリズムは、特定のデータセット内のすべての潜在的な情報、関係、意味を探索して吸収することができないだけでなく、研究者が事前に決定した概念とカテゴリのみを対象とします。

対照的に、教師なし学習は、人間が提供するラベルやガイダンスなしにアルゴリズムがデータから学習する AI アプローチです。

多くの AI リーダーは、教師なし学習を人工知能の次のフロンティアと見ています。 AIの伝説的人物であるヤン・ルカン氏は「次のAI革命は監督されない」と語っています。カリフォルニア大学バークレー校のジテンダ・マリク教授は、より鮮明にこう表現しています。「ラベルは機械学習研究者の麻薬です。」

教師なし学習はどのように機能するのでしょうか? 簡単に言うと、システムは世界の他の部分に基づいて世界の一部について学習します。システムは、エンティティの動作、エンティティ間のパターン、エンティティ間の関係（コンテキスト内の単語やビデオ内の人物など）を観察することで、環境の全体的な理解を導きます。一部の研究者はこれを「他のすべてからすべてを予測する」と要約しています。

教師なし学習は、教師あり学習の「補助輪」を必要とせず、自由な探索と推論を通じて人間が世界について学ぶ方法をより正確に反映しています。その基本的な利点の 1 つは、世界には常にラベル付けされていないデータの方がラベル付けされたデータよりもはるかに多く存在するということです (前者の方が入手しやすい)。

密接に関連する用語「自己教師あり学習」を好む LeCun 氏の言葉を借りれば、「自己教師あり学習では、入力の一部が残りの入力を予測するための教師信号として使用されます。データが無限であり、各例によって提供されるフィードバックの量が多いため、世界の構造に関する知識は [他の AI パラダイム] ではなく自己教師あり学習を通じて学習できます。」

教師なし学習は自然言語処理に革新的な影響を及ぼしました。 NLP は、約 3 年前に Google で開発された新しい教師なし学習アーキテクチャである Transformer のおかげで、最近驚異的な進歩を遂げています。 （トランスフォーマーの詳細については、以下の＃3を参照してください。）

教師なし学習を AI の他の分野に適用する取り組みはまだ初期段階ですが、急速な進歩が遂げられています。たとえば、Helm.ai というスタートアップは、教師なし学習を使用して自動運転車の業界リーダーを上回ることを目指しています。

多くの研究者は、教師なし学習が人間レベルの AI を開発するための鍵であると考えています。 LeCun 氏は、教師なし学習を習得することが「今後数年間に ML と AI が直面する最大の課題」であると考えています。

2. フェデレーテッドラーニング

デジタル時代の主な課題の一つはデータのプライバシーです。データは現代の AI の生命線であるため、データ プライバシーの問題は AI 開発の軌道において重要な (そして多くの場合制限的な) 役割を果たします。

プライバシーを保護する AI (プライバシーを侵害することなく AI モデルがデータセットから学習できるようにする方法) は、ますます重要になっています。おそらく、プライバシーを保護する AI への最も有望なアプローチは、フェデレーテッド ラーニングです。

フェデレーテッド ラーニングの概念は、2017 年初頭に Google の研究者によって初めて提案されました。フェデレーテッド ラーニングへの関心は過去 1 年間で急増しており、2020 年の最初の 6 か月間で、フェデレーテッド ラーニングに関する研究論文が 1,000 件以上発表されました。これは、2018 年のわずか 180 件と比較して大幅に増加しています。

現在、機械学習モデルを構築する標準的な方法は、すべてのトレーニング データを 1 か所 (通常はクラウド) に収集し、そのデータに基づいてモデルをトレーニングすることです。しかし、このアプローチは、プライバシーとセキュリティ上の理由から中央データリポジトリに移動できない世界のデータの多くには実現可能ではありません。これにより、従来の AI テクノロジーにとって禁断の領域となります。

フェデレーテッド ラーニングは、従来の AI 手法を覆すことでこの問題を解決します。

フェデレーテッド ラーニングでは、モデルをトレーニングするために統合されたデータセットは必要ありませんが、代わりにデータをその場所に保存し、エッジにある多数のデバイスとサーバーに分散します。代わりに、モデルの多くのバージョンがトレーニング データとともにデバイスに送信され、各モデルはデータの各サブセットでローカルにトレーニングされます。結果として得られたモデル パラメータ (トレーニング データ自体は除く) がクラウドに送り返されます。これらの「ミニモデル」をすべてまとめると、データセット全体で一度にトレーニングされたかのように機能する全体的なモデルが作成されます。

最初のフェデレーテッド ラーニングの使用例は、数十億台のモバイル デバイスに分散された個人データに基づいて AI モデルをトレーニングすることです。研究者らは次のように結論づけています。「現代のモバイル デバイスは、機械学習モデルに適した膨大な量のデータにアクセスできます。しかし、こうした豊富なデータはプライバシーが重視されるか、膨大であるか、またはその両方であるため、データ センターからアクセスできない可能性があります。私たちは、トレーニング データをモバイル デバイス上に保持し、ローカルで計算された更新を集約して共有モデルを学習するという代替案を提唱しています。」

最近、ヘルスケアは連合学習アプリケーションにとって特に有望な分野として浮上しています。

その理由は理解しにくいことではありません。一方では、ヘルスケア分野には AI の価値ある使用例が数多くあります。一方、医療データ、特に患者の個人識別情報は極めて機密性が高いため、HIPAA などの規制機関によってその使用と移動が制限されています。フェデレーテッド ラーニングにより、研究者は機密性の高い医療記録をソースから転送したり、プライバシー侵害の危険にさらしたりすることなく、命を救う医療 AI ツールを開発できるようになります。

ヘルスケア分野での連合学習を追求するスタートアップ企業が数多く登場しています。最も有名なのはパリを拠点とする Owkin で、初期段階のプレーヤーとしては Lynx.MD、Ferrum Health、Secure AI Labs などがあります。

ヘルスケアの枠を超えて、金融サービスから自動運転車、政府のユースケースから幅広い消費者向け製品まで、機密データを扱うあらゆる AI アプリケーションの開発において、フェデレーテッド ラーニングが将来的に中心的な役割を果たすようになるかもしれません。差分プライバシーや準同型暗号化などの他のプライバシー保護技術と組み合わせることで、フェデレーテッド ラーニングは、データ プライバシーに対する厄介な課題を軽減しながら、AI の大きな可能性を解き放つ鍵となる可能性があります。

現在、世界中でデータ プライバシーに関する法律が制定されつつあります (GDPR と CCPA に始まり、今後は同様の法律が多数制定される予定です)。これにより、プライバシーを保護するテクノロジーの必要性がさらに高まるでしょう。今後数年間で、フェデレーテッド ラーニングが AI テクノロジー スタックの重要なコンポーネントになると予想されます。

3. トランスフォーマー

私たちは自然言語処理の黄金時代に突入しました。

OpenAI がこれまでに作成された中で最も強力な言語モデルである GPT-3 をリリースし、この夏テクノロジー界を魅了しました。これは NLP の新しい基準を設定します。印象的な詩を書いたり、効率的なコードを生成したり、思慮深いビジネスメモを作成したり、自分自身について書いたりすることができます。

GPT-3 は、NLP の機能を再定義する、同様のアーキテクチャを持つ一連の NLP モデル (Google の BERT、OpenAI の GPT-2、Facebook の RoBERTa など) の中で最新 (かつ最大) のモデルです。

言語 AI 革命を推進する重要な技術的ブレークスルーは Transformer です。

Transformer は 2017 年に画期的な研究論文で紹介されました。これまで、最先端の NLP 手法は、リカレント ニューラル ネットワーク (LSTM など) に基づいていました。定義上、リカレント ニューラル ネットワークはデータを順番に提示し、出現順に単語を 1 つずつ処理します。

Transformer の優れた革新の 1 つは、言語処理を並列化することです。つまり、特定のテキスト本文内のすべてのトークンが、順番にではなく同時に分析されます。この並列化をサポートするために、Transformer は attention と呼ばれる AI メカニズムに大きく依存しています。注意により、モデルは単語間の関係を、単語間の距離に関係なく考慮し、段落内のどの単語やフレーズに「注意を払う」のが最も重要であるかを判断できます。

並列化がなぜそれほど価値があるのでしょうか? 並列化により、Transformer の計算効率が RNN よりもはるかに高くなり、より大きなデータセットでトレーニングできるようになるからです。 GPT-3 は約 5,000 億語でトレーニングされ、1,750 億のパラメータで構成されており、既存の RNN をはるかに上回っています。

現在までに、GPT-3 などの成功により、Transformer はほぼ NLP とのみ関連付けられています。しかし、今月、Transformer をコンピューター ビジョンにうまく適用した画期的な新しい論文が発表されました。多くのAI研究者は、この研究がコンピュータービジョンの新時代の到来を告げるものになると考えている。 (著名な ML 研究者である Oriol Vinyals 氏は、「私の言いたいことは、畳み込みとはおさらばだということです」と述べています。)

Google や Facebook などの大手 AI 企業は Transformer ベースのモデルを実稼働に導入し始めていますが、ほとんどの組織はまだこのテクノロジーの製品化と商業化の初期段階にあります。 OpenAI は、GPT-3 を API 経由で商用利用できるようにする計画を発表しており、これにより、GPT-3 上でアプリケーションを構築するスタートアップのエコシステム全体が誕生する可能性があります。

自然言語から始まり、今後数年間で Transformer がまったく新しい世代の AI 機能の基盤となることが期待されます。過去 10 年間、人工知能の分野は刺激的な展開を見せてきましたが、これは次の 10 年間の始まりに過ぎないことが判明しました。