次世代人工知能の開発方向（第2部）

[[349523]]

人工知能は半世紀以上前から存在していますが、人工知能の分野は過去 10 年間で急速に発展しました。 2012 年の ImageNet コンペティションでディープラーニングの現代が始まってから、まだ 8 年しか経っていません。それ以来、AI 分野の進歩は目覚ましく、今では AI は私たちの日常の仕事のあらゆる側面に組み込まれています。

一部の専門家は、この驚異的なペースは加速する一方だと指摘している。 5年後には、人工知能の分野は今日とは大きく異なるものになっているでしょう。現在最先端と考えられている方法は時代遅れになり、現在は新興または周辺的な方法が主流になるでしょう。

次世代の AI はどのようなものになるのでしょうか。どのような新しい AI アプローチが、テクノロジーとビジネスにおいて現在想像もできない可能性を切り開くのでしょうか。前回の記事「次世代の人工知能の開発方向 (パート 1)」では、今後数年間で AI と社会の分野を再定義することになる AI 内の 3 つの新興領域 (教師なし学習、フェデレーテッド ラーニング、トランスフォーマー) について取り上げました。

この記事ではさらに 3 つ紹介します。

4. ニューラルネットワーク圧縮

人工知能はエッジへと移行しています。

クラウドとの間でデータを送受信することなく、エッジ デバイス (電話、スマート スピーカー、カメラ、車両など) で AI アルゴリズムを直接実行できることには大きな利点があります。

おそらく最も重要なのは、エッジ AI ではデータをソースからリモート サーバーに移動する必要がないため、データのプライバシーが強化されることです。また、エッジ AI では、すべての処理がローカルで行われるため、レイテンシも低くなります。これは、自動運転車や音声アシスタントなどの時間に敏感なアプリケーションにとって非常に重要です。エネルギー効率とコスト効率に優れており、機械学習の計算コストと経済コストが増大するにつれて、ますます重要な考慮事項になります。さらに、インターネット接続を必要とせずに AI アルゴリズムを自律的に実行できるようになります。

AIビジネス界の巨人の一人であるNvidiaのCEO、ジェンスン・フアン氏は、エッジAIがコンピューティングの未来であると信じています。「AIはクラウドからエッジへと移行しており、AIコンピューターに接続されたスマートセンサーは多くのアプリケーションを高速化し、エネルギーを節約できます。時間が経つにつれて、AIを搭載したこのような小型の自律型コンピューターが何兆台も存在するようになるでしょう。」

しかし、ユビキタス エッジ インテリジェンスという壮大なビジョンを現実のものにするには、重要な技術的ブレークスルーが必要です。AI モデルを小型化する必要があります。現在よりもさらに小型化する必要があります。そのため、ニューラルネットワークのパフォーマンスを損なうことなく圧縮する技術の開発と商品化は、AI 分野における最も重要な追求の 1 つとなっています。

現在、一般的なディープラーニング モデルは非常に大きく、実行するには膨大なコンピューティング リソースとストレージ リソースが必要です。 OpenAI の新しい言語モデル GPT-3 は、1,750 億のモデルパラメータを持ち、モデルを保存するだけで 350 GB を超えるスペースを必要とすることで、この夏話題になりました。 GPT-3 ほどの大きさではないモデルでも、依然として大量の計算が必要です。数年前に開発され、広く使用されているコンピューター ビジョン モデルである ResNet-50 では、画像を処理するために 1 秒あたり 38 億回の浮動小数点演算が使用されます。

これらのモデルはエッジでは実行できません。スマートフォン、Fitbit、Roomba のチップなどのエッジ デバイスのハードウェア プロセッサは、それらをサポートするほど強力ではありません。

したがって、ディープラーニング モデルをより軽量にする方法を開発することが重要です。これにより、分散型 AI を中心に構築されたさまざまな製品とビジネス チャンスが実現します。

このようなモデル圧縮はどのように機能するのでしょうか?

近年、研究者や起業家はこの分野で大きな進歩を遂げ、ニューラルネットワークを小型化するさまざまな技術を開発してきました。これらの手法は、剪定、量子化、低ランク分解、コンパクトな畳み込みフィルタ、知識蒸留の 5 つの主なカテゴリに分類できます。

プルーニングでは、ニューラル ネットワーク内の冗長な接続や重要でない接続を識別して削除し、ニューラル ネットワークをスリム化する必要があります。量子化は、値を表すために使用するビット数を減らすことでモデルを圧縮します。低ランク因数分解では、モデルのテンソルが分解され、元のテンソルを近似するスパース バージョンが構築されます。コンパクト畳み込みフィルターは、畳み込みを実行するために必要なパラメーターの数を減らすように特別に設計されたフィルターです。最後に、知識の蒸留では、モデルの完全版を使用して、その出力を模倣するように小さなモデルに「教える」ことが含まれます。

これらの手法のほとんどは互いに独立しているため、連携して導入することで結果を改善できます。実際には、その一部（プルーニング、量子化）は既存のモデルに適用できますが、その他（コンパクト フィルター、知識蒸留）ではモデルをゼロから開発する必要があります。

ニューラル ネットワーク圧縮技術を研究段階から市場へ投入するスタートアップ企業がいくつか登場しています。さらに有望なものとしては、Pilot AI、Latent AI、Edge Impulse、Deeplite などがあります。一例として、Deeplite は、同社の技術により、パフォーマンスを犠牲にすることなく、ニューラル ネットワークを 100 倍小型化し、10 倍高速化し、20 倍の電力効率を実現できると主張しています。

「過去10年間で、ある程度の計算能力を備えたデバイスの数は世界中で爆発的に増加しました」と、パイロットAIのCEO、ジョン・スー氏は説明する。 「Pilot AI のコア IP は、物体検出や追跡などのタスク用の AI モデルのサイズを大幅に削減し、AI/ML ワークロードをエッジ IoT デバイス上で直接実行できるようにします。これにより、デバイス メーカーは、押しボタン ドアベル、サーモスタット、ガレージ ドア オープナーなど、毎年販売される数十億個のセンサーを、次世代の IoT アプリケーションを強化できる豊富なツールに変換できるようになります。」

大手テクノロジー企業はこの分野のスタートアップ企業を積極的に買収しており、このテクノロジーの長期的な戦略的重要性を浮き彫りにしています。今年初め、Appleはシアトルを拠点とするXnor.aiを2億ドルで買収した。 Xnor のテクノロジーは、Apple が iPhone やその他のデバイスにエッジ AI 機能を導入するのに役立つでしょう。テスラは、自社の車両における推論をサポートするために、2019年にこの分野の先駆者の1つであるDeepScaleを買収しました。

先月発表された、ここ数年で最も重要なテクノロジー取引の1つである、NvidiaによるArmの400億ドルでの買収は、エッジへのAIの移行によって加速された効率的なコンピューティングへの移行によって主に推進された。

NvidiaのCEO、ジェンスン・フアン氏は、この取引について語った際、この点を強調した。「エネルギー効率はコンピューティングの将来において最も重要なことです。NvidiaとArmは協力して、AI時代の世界トップクラスのコンピューティング企業を築き上げます。」

今後数年間で、AI は束縛されず、分散化され、アンビエント化され、エッジにある何兆ものデバイス上で実行されるようになります。モデル圧縮は、このビジョンの実現に役立つ重要な実現技術です。

5. 生成AI

今日の機械学習モデルは、主に既存のデータを組み合わせて分類し、たとえば顔の認識や詐欺の特定などを行います。生成 AI は、独自の新しいコンテンツを生成できる AI の構築に重点を置いた、急速に成長している新しい分野です。つまり、生成 AI は AI を認識を超えて創造へと導きます。

生成 AI の中核となるのは、生成的敵対ネットワーク (GAN) と変分オートエンコーダー (VAE) という 2 つの主要テクノロジーです。

両方のアプローチが魅力的なのは、GAN が 2014 年に、AI の先駆者であるヨシュア・ベンジオがモントリオール大学で博士号を取得していたときに、イアン・グッドフェローによって発明されたことです。

グッドフェロー氏の概念的なブレークスルーは、2 つの別々のニューラル ネットワークを使用して GAN を構築し、それらを互いに対戦させることでした。

与えられたデータセット（顔写真のコレクションなど）から始めて、最初のニューラル ネットワーク（「ジェネレーター」と呼ばれる）は、ピクセルの点で既存の画像と数学的に類似した新しい画像の生成を開始します。同時に、2 番目のニューラル ネットワーク (「識別器」) には、元のデータセットからのものか、ジェネレーターの出力からのものか知らされずに写真が供給されました。そのタスクは合成写真を認識することです。

2 つのネットワークが常に相互作用するにつれて (ジェネレーターは識別器を騙そうとし、識別器はジェネレーターの作成物を騙そうとする)、互いの能力が磨かれていきます。最終的に、識別器の分類成功率は 50% に低下し、ランダムな推測と同程度となり、合成された写真がオリジナルと区別できなくなってしまいました。

2016年、AIの第一人者ヤン・ルカン氏はGANを「過去10年間の機械学習における最も興味深いアイデア」と呼んだ。

GAN とほぼ同時期に導入された VAE は、概念的には GAN に似た技術であり、GAN の代替として使用できます。

GAN と同様に、VAE は連携して出力を生成する 2 つのニューラル ネットワークで構成されています。最初のネットワーク (「エンコーダー」) は、入力データの一部を受け取り、それを低次元表現に圧縮します。 2 番目のネットワーク (「デコーダー」) は、この圧縮された表現を受け取り、元のデータの特性に対する確率分布とランダム性関数に基づいて、元の入力を「リフ」する新しい出力を生成します。

一般的に、GAN は VAE よりも高品質の出力を生成しますが、構築がより困難でコストがかかります。

より広い意味での人工知能と同様に、生成 AI は、実世界での広範な有益な応用と恐ろしい応用の両方を生み出してきました。どちらが勝利するかは時が経てばわかるだろう。

良い面としては、生成 AI の最も有望な使用例の 1 つは合成データです。合成データは、AI モデルのトレーニングに必要なデータセットをデジタルで構築できるようにする、潜在的に革新的なテクノロジーです。

適切なデータにアクセスすることは、今日の AI において最も重要であり、かつ最も困難な部分でもあります。通常、ディープラーニング モデルをトレーニングするには、研究者は現実世界から数万のデータ ポイントを収集する必要があります。次に、モデルがデータから学習できるようにする前に、各データ ポイントにラベルを添付する必要があります。これは、せいぜい費用がかかり、時間のかかるプロセスです。最悪なのは、必要なデータがまったく入手できないことです。

合成データは、専門家が正確なニーズに合わせてオンデマンドで高忠実度のデータセットを人工的に作成できるようにすることで、このパラダイムを覆します。たとえば、合成データ アプローチを使用すると、自動運転車メーカーは、実際の道路ですべてのシナリオに実際に遭遇することなく、車両が学習するための数十億の異なる運転シナリオを生成することができます。

合成データが現実世界のデータに正確に近似するにつれて、AI が民主化され、独自のデータ資産の競争上の優位性が損なわれることになります。オンデマンドで安価にデータを生成できる世界では、業界間の競争のダイナミクスが一変するでしょう。

この機会を追求するために、Applied Intuition、Parallel Domain、AI.Reverie、Synthesis AI、Unlearn.AI など、多くの有望なスタートアップ企業が登場しています。 Nvidia、Google、Amazonなどの大手テクノロジー企業も合成データに多額の投資を行っています。合成データの最初の主要な商用利用例は自動運転車でしたが、この技術は医療から小売業など、さまざまな業界に急速に広がっています。

合成データの大きなプラスの可能性を打ち消す、もう一つの生成 AI アプリケーションが社会に広範囲にわたる破壊的な影響を及ぼす可能性があります。それが DeepFakes です。

本質的に、DeepFakes テクノロジーは、コンピューターとインターネット接続があれば誰でも、他人の顔を使って、実際には言っていないことやしていないことを言ったりしたりしているような、本物らしく見える写真やビデオを作成できるようにします。

ディープフェイク技術が広く利用されている最初のユースケースは、アダルトコンテンツです。スタートアップ企業Sensityの2019年7月のレポートによると、オンライン上のディープフェイク動画の96%は成人向けコンテンツだという。ディープフェイクはほとんどの場合、同意なしに行われ、有名人や個人的な知り合いが登場する露骨なビデオを人工的に合成したものです。

インターネットのこうした暗い一角から、ディープフェイクの使用は政治の領域にまで広がり始めており、その害はさらに大きくなっています。ガボン、マレーシア、ブラジルで起きたディープフェイクをめぐる最近の政治的出来事は、今後何が起こるかの初期の例となるかもしれない。

ブルッキングス研究所は最近の報告書で、ディープフェイクがもたらす政治的、社会的危険の範囲を厳しくまとめた。「民主的な議論を歪め、選挙を操作し、組織への信頼を損ない、ジャーナリズムを弱体化させ、社会的分裂を悪化させ、公共の安全を損ない、公選職者や公職候補者を含む著名人の評判に回復不能なダメージを与える」

合成データとディープフェイクのコア技術は同じです。しかし、ユースケースと現実世界への潜在的な影響は正反対です。

テクノロジーにおける偉大な真実の 1 つは、あらゆるイノベーションは、人間がそれをどのように使用するかに応じて、人類に大きな利益をもたらす可能性もあれば、社会に深刻な害をもたらす可能性もあるということです。それは原子力についても当てはまりますし、インターネットについても当てはまります。人工知能についても同様です。生成 AI は強力な例です。

6. 「syetem2」の推論

ノーベル賞を受賞した心理学者ダニエル・カーネマンは、彼の画期的な著書『ファスト＆スロー』の中で、「システム 1」思考と「システム 2」思考の概念を広めました。

• システム 1 は直感的なシステムであり、主に高速、無意識、非言語的認知を担っています。これは現在、ディープラーニングが主に行っていることです。
• システム 2 は論理分析システムであり、論理、計画、推論、言語で表現する能力を備えた意識的なシステムです。これは、ディープラーニングが将来注力する必要があるものです。

システム 1 の思考は直感的、高速、簡単、自動的です。システム 1 のアクティビティの例としては、友人の顔を認識すること、通り過ぎる看板の文字を読むこと、または「戦争と _______」という文章を完成させることなどが挙げられます。システム 1 では意識的な処理はほとんど必要ありません。

システム 2 の思考はより遅く、より分析的かつ慎重です。抽象的な問題を解決したり、新しい状況に対処したりするために努力を要する推論が必要な場合、人々はシステム 2 思考を使用します。システム 1 のアクティビティの例としては、複雑な難問を解くことや、社会的状況における特定の行動の適切性を判断することなどが挙げられます。

System11/System12 フレームワークは人間の認知を分析するために開発されましたが、今日の人工知能の世界にもうまく適合します。つまり、今日の最も先進的な AI システムは、システム 1 のタスクでは優れていますが、システム 2 のタスクでは苦戦しています。

AIリーダーのアンドリュー・ン氏は、次のようにうまくまとめています。「一般的な人間が1秒未満で精神的な作業を完了できるのであれば、おそらく今または近い将来にAIを使用してそれを自動化できるでしょう。」

Yoshua Bengio 氏は、2019 年の NeurIPS での基調講演でまさにこのトピックについて取り上げました。ベンジオ氏は演説の中で、AI システムがシステム 1 のタスクから、計画、抽象的推論、因果理解、オープンエンドの一般化などのシステム 2 の機能にまで拡張できるようにする AI への新しいアプローチを呼びかけました。

「私たちは、世界を理解し、世界の優れたモデルを構築し、原因と結果を理解でき、知識を獲得するために世界で行動できる機械を望んでいます」とベンジオ氏は語った。

AI分野の議題、軌跡、野心を整理する方法は多種多様です。しかし、おそらく最も強力かつ簡潔な言い方はこうでしょう。「AI が進歩するためには、システム 2 の思考力を向上させる必要がある。」

システム 2 AI に移行するための最善の方法を正確に知っている人は、まだ誰もいません。これをどのように行うかについての議論は近年しばしば論争を呼んでいる。この議論は知性の概念に関する根本的な哲学的疑問を提起します。

ベンジオ氏は、今日のニューラル ネットワークにさらなる革新をもたらすことができる一方で、システム 2 の推論は現在のディープラーニング パラダイム内で実装できると確信しています。

「これらの課題に対処するにはまったく新しいものを発明する必要があり、おそらくは古典的な AI に戻って高レベル認知などの問題に取り組む必要があると主張する人もいます」とベンジオ氏は NeurIPS での基調講演で述べました。「しかし、ディープラーニングの力を拡張して、認知システム 2 でこのような高レベルの問題に取り組む道が今や開かれています。」

ベンジオ氏は、システム 2 AI の追求に特に期待が持てるディープラーニングの既存の技術として、注意メカニズム、継続的学習、メタ学習を指摘しています。

しかし、AI分野にはもっと根本的なリセットが必要だと考える人もいます。

教授であり起業家でもあるゲイリー・マーカス氏は、システム 2 の知能を研究するための非ディープラーニング アプローチを特に支持してきました。マーカス氏は、ニューラル ネットワークとシンボリック メソッドを組み合わせたハイブリッド ソリューションを提唱しています。このアプローチは、AI 研究の最初の数年間は人気がありましたが、最近では人気が落ちています。

「ディープラーニングは、インテリジェントマシンを構築するという大きな課題の一部に過ぎません」とマーカス氏は、現代のディープラーニング時代の幕開けである2012年にニューヨーカー誌に書いています。 「このような技術には因果関係を表現する方法が欠けており、抽象的なアイデアを獲得する上で課題に直面する可能性があります。…論理的推論のための明白な方法がなく、抽象的な知識（たとえば、オブジェクトが何であるか、何に使用されるか、通常どのように使用されるかなど）を統合するにはほど遠いです。」

マーカス氏は、推論できる AI への代替の道を追求するために、ロボット工学のスタートアップ Robust.AI を共同設立しました。つい最近、Robust は 1,500 万ドルのシリーズ A 資金調達ラウンドの完了を発表しました。

コンピューター科学者のジュディア・パール氏も、システム 2 推論への道はディープラーニングを超えると主張するもう一人の著名な思想家です。パール氏は長年、単なる統計的関連性ではなく因果関係を理解する能力である因果推論が、真に知的な機械を構築する鍵であると主張してきた。パール氏は最近こう言っています。「ディープラーニングの素晴らしい成果はすべて、曲線フィッティングに帰着します。」

このシリーズで検討した AI の 6 つの領域のうち、最終目標は最もオープンで抽象的です。システム 2 AI への道は数多くあります。前方の道はまだ霧がかかっています。それは困難な旅かもしれないが、私たちの生きている間に経済と世界を変えることになるだろう。