Andrew Ng 氏へのインタビュー: 今後 10 年間で人工知能はどこに向かうのでしょうか?

IEEE Spectrum とのインタビューで、彼は基本モデル、ビッグデータ、スモールデータ、データエンジニアリングに関する洞察を語り、「データ中心の AI」運動を開始した理由を述べました。

「過去 10 年間で、コード、つまりニューラル ネットワークのアーキテクチャは非常に成熟してきました。ニューラル ネットワークのアーキテクチャを固定したまま、データを改善する方法を探す方が効率的です。」

アンドリュー・ン氏は、データ中心の考え方は、大規模なニューラルネットワークアクションの構築をサポートする Google Brain プロジェクトを立ち上げたときに受けた批判と同様に、多くの批判を受けていると述べました。アイデアは新しくなく、方向性が間違っているとのことです。ウー教授によれば、批評家の中には業界のベテランも多く含まれているという。

少量データについても、ウー教授はそれが強力になり得ると考えている。「50個の適切なデータ（例）があれば、ニューラルネットワークに何を学習させたいかを説明するだけで十分です。」

以下は、AI Technology Reviewが原文の意味を変えずにまとめたインタビュー原文です。

IEEE: 過去 10 年間、ディープラーニングはビッグデータとビッグモデルによって成功してきましたが、これは持続不可能な道だと考える人もいます。この見解に同意しますか?

アンドリュー・ン：いい質問ですね。

自然言語処理 (NLP) の分野では、すでに基礎モデルの威力を確認しています。正直に言うと、私はより大規模な NLP モデルと、コンピューター ビジョン (CV) の基礎モデルの構築にもっと興味を持っています。ビデオデータには利用できる情報がたくさんありますが、コンピューティング性能とビデオデータ処理コストの制限により、関連する基本モデルを確立することができません。

ビッグデータとビッグモデルは、ディープラーニング エンジンとして 15 年間にわたって正常に動作しており、現在でも活発に活動しています。そうは言っても、いくつかのシナリオではビッグデータは適用できず、「スモールデータ」の方が優れたソリューションとなることもわかっています。

IEEE: あなたがおっしゃった CV 基本モデルとはどういう意味ですか?

Andrew Ng: 非常に大規模でビッグデータでトレーニングされ、使用時に特定のアプリケーションに合わせて微調整できるモデルを指します。これはスタンフォード大学の友人と私が作った用語です。例えば、GPT-3 は NLP の分野における基本モデルです。基本モデルは、機械学習アプリケーションを開発するための新しいパラダイムを提供し、大きな可能性を秘めていますが、同時に、それが合理的で、公平で、偏りのないことをどのように保証するかという課題にも直面しています。基本モデルに基づいてアプリケーションを構築する人が増えるにつれて、これらの課題はますます明らかになるでしょう。

IEEE: CV の基礎モデルを作成するきっかけは何でしたか?

Andrew Ng: 現時点ではまだスケーラビリティの問題が残っています。 NLP と比較すると、CV にはより強力な計算能力が必要です。現在の 10 倍の性能を持つプロセッサを製造できれば、10 倍のビデオ データを含む基本的なビジュアル モデルを簡単に構築できるようになります。 CV における基礎モデルの開発の兆候はすでに見られます。

ところで、過去 10 年間でディープラーニングの成功は、膨大な量のユーザーデータを特徴とする消費者向け企業でより多く発生していることを述べておきたいと思います。したがって、他の業界では、ディープラーニングの「スケーリングパラダイム」は適用されません。

IEEE: 思い出してみると、貴社は数百万人のユーザーを抱える消費者向け企業としてスタートしましたね。

Andrew Ng: 10 年前、私が Google Brain プロジェクトを立ち上げ、Google のコンピューティング インフラストラクチャを使用して「大規模な」ニューラル ネットワークを構築したとき、大きな論争が巻き起こりました。当時、ある業界の重鎮が私に「ひそかに」Google Brain プロジェクトを始めることは私のキャリアに悪影響を与えるだろう、大規模な開発だけでなくアーキテクチャの革新にも注力すべきだと言ったのです。

私の学生と私が発表した最初の NeurIPS ワークショップ論文で CUDA の使用を推奨していたことを今でも覚えています。しかし、業界のベテランの一人は、CUDA プログラミングは複雑すぎるので、それをプログラミング パラダイムとして使用するのは手間がかかりすぎるとアドバイスしてくれました。私は彼を説得しようとしたが、失敗した。

IEEE: 今では全員が納得していると思います。

アンドリュー・ン：そうだと思います。

過去 1 年間、私はデータ中心の AI について議論してきましたが、10 年前と同じ「何も新しいことはない」「これは間違った方向だ」というコメントに遭遇しました。

IEEE：「データ中心の AI」をどのように定義し、なぜこれをムーブメントと呼ぶのですか?

Andrew Ng: 「データ中心の AI」は、AI システムの構築に必要なデータに重点​​を置くことを目的とした体系的な分野です。 AI システムの場合、アルゴリズムをコードに実装し、データセットでトレーニングする必要があります。ディープラーニングは、人々が従ってきた「データセットをダウンロードし、コードを改善する」というパラダイムのおかげで、過去 10 年間で大きな成功を収めてきました。

しかし、多くのアプリケーションでは、コード（ニューラル ネットワーク アーキテクチャ）は基本的に解決されており、大きな問題にはなりません。したがって、ニューラル ネットワーク アーキテクチャを固定したまま、データを改善する方法を見つける方が効率的です。

私が最初にこのことを話したとき、多くの人が賛同して手を挙げました。「私たちは20年間ずっと「ルーチン」に従って物事を行ってきました。常に直感に基づいて物事を行ってきました。それを体系的なエンジニアリングの分野に変える時が来たのです。」

「データ中心の AI」は、1 つの企業や研究者のグループよりもはるかに大きなものです。友人と私が NeurIPS で「データ中心の AI」に関するワークショップを開催したとき、出席した著者と講演者の数に非常に満足しました。

IEEE: ほとんどの企業は少量のデータしか持っていませんが、「データ中心の AI」はどのように役立つのでしょうか?

Andrew Ng: 私はかつて 3 億 5000 万枚の画像を使用して顔認識システムを構築したことがあります。また、数百万枚の画像を使用して視覚システムを構築するという話はよく耳にするかもしれません。しかし、これらのスケール製品のアーキテクチャでは、50 枚の写真のみでシステムを構築することはできません。

そうなります。高品質な画像が 50 枚しかない場合でも、欠陥の体系的な検出など、非常に価値のあるものを作成できます。多くの業界ではビッグデータセットが存在しないことから、現在は「ビッグデータから高品質データへ」という視点にシフトする必要があると考えています。実際、ニューラル ネットワークに学習させたい内容を説明するには、50 個の適切な例だけで十分です。

Andrew Ng: 50 枚の画像を使用してどのようなモデルをトレーニングできますか?大きなモデルの微調整ですか、それとも完全に新しいモデルですか?

Andrew Ng: Landing AI の取り組みについてお話ししましょう。メーカー向けの目視検査では、トレーニング済みのモデルである RetinaNet を使用することが多いのですが、事前トレーニングはそのほんの一部にすぎません。さらに難しい問題は、メーカーが同じように微調整のために適切な画像セットを選択してラベル付けできるようにするツールを提供することです。これは、視覚、NLP、音声のいずれの分野でも非常に現実的な問題であり、ラベル付けを行う人でさえも手動でラベル付けすることに消極的です。

ビッグデータを利用する際、データが不均一な場合の一般的な対処方法は、大量のデータを取得し、アルゴリズムを使用して平均化することです。しかし、データの違いをフラグ付けし、データの一貫性を向上させるための非常に的を絞った方法を提供するツールが開発されれば、これは高性能システムを実現するためのより効果的なアプローチとなるでしょう。

たとえば、10,000 枚の画像があり、それを 30 枚ずつグループ化すると、その 30 枚の画像のラベルは一貫性がなくなります。私たちが行っていることの 1 つは、こうした矛盾に注意を向けることができるツールを構築することです。その後、それらの画像にすぐにラベルを付け直して一貫性を高めることができ、パフォーマンスが向上します。

IEEE: トレーニング前にデータをより適切に設計できれば、高品質のデータに重点​​を置くことでデータセットのバイアスの問題に対処できると思いますか?

アンドリュー・ン： おそらくそうでしょう。多くの研究者は、偏ったデータがシステムに偏りをもたらす多くの要因の 1 つであると指摘しています。実際、データの設計には多くの努力が払われてきました。 Olga Russakovsky 氏は NeurIPS ワークショップでこのトピックについて素晴らしい講演を行いました。

また、カンファレンスでのメアリー・グレイ氏の講演も非常に気に入りました。彼女は、「データ中心の AI」は解決策の一部ではあるが、解決策全体ではないと述べていました。 Datasheets for Datasets などの新しいツールも、これに大きく貢献しているようです。

データ中心の AI が提供する強力なツールの 1 つは、データの単一のサブセットをエンジニアリングする機能です。データセットの大部分で良好なパフォーマンスを発揮するようにトレーニングされているが、データのサブセットのみで偏りが生じる機械学習システムを想像してみてください。現時点では、このサブセットのパフォーマンスを向上させるためにニューラル ネットワーク アーキテクチャ全体を変更するのは非常に困難です。ただし、データのサブセットのみに基づいて設計できれば、より的を絞った方法でこの問題に対処することができます。

IEEE: データ エンジニアリングとは具体的に何を意味しますか?

Andrew Ng: 人工知能の分野では、データのクリーニングは非常に重要ですが、データのクリーニング方法は手動で行う必要がある場合がよくあります。コンピューター ビジョンでは、Jupyter ノートブックを使用して画像を視覚化し、問題を見つけて修正する場合があります。

しかし、私は非常に大きなデータセットを処理できるツールに興味があります。ラベルにノイズが多い場合でも、これらのツールを使用すると、データの単一のサブセットにすばやく効果的に注意を向けたり、より多くのデータを収集すると役立つ 100 個のグループのうちの 1 つのグループにすばやく注意を向けたりすることができます。より多くのデータを収集することは多くの場合役立ちますが、大量のデータを収集するためにすべての作業を行うと、非常にコストがかかる可能性があります。

たとえば、私はかつて、背景に車の騒音があると音声認識システムのパフォーマンスが低下することを発見しました。これを知って、車の騒音を背景に、より多くのデータを収集することができました。すべての作業には、処理に非常にコストと時間がかかる、より多くのデータの収集が含まれます。

IEEE: 合成データを使用することは良い解決策でしょうか?

Andrew Ng: 合成データは「データ中心の AI」ツールボックスにおける重要なツールだと思います。 NeurIPS ワークショップでは、Anima Anandkumar が合成データに関する素晴らしい講演を行いました。合成データは、前処理中にアルゴリズムを学習するためのデータセットを増やすだけでなく、重要な用途があると思います。開発者が反復的な機械学習開発ループの一部として合成データ生成を使用できるツールが増えることを期待しています。

IEEE: 合成データを使用すると、より多くのデータセットでモデルを試すことができるということですか?

アンドリュー・ン：全然そんなことはないです。たとえば、スマートフォンにはさまざまなタイプの欠陥があります。スマートフォンの筐体の欠陥を検出したい場合、傷、へこみ、穴、素材の変色、その他のタイプの欠陥が考えられます。モデルをトレーニングし、エラー分析によって全体的にはパフォーマンスは良好だが道路の穴についてはパフォーマンスが悪いことが判明した場合、合成データを生成することで、より的を絞った方法でこの問題に対処できるようになります。ピットイン カテゴリのみで、より多くのデータを生成できます。

IEEE: 具体的な例を挙げていただけますか?ある企業が Landing AI に来て、目視検査に問題があると言ったら、どうやって説得しますか?どのような解決策を提案しますか?

Andrew Ng: 合成データ生成は非常に強力なツールですが、私は通常、まずはよりシンプルなツールをたくさん試します。たとえば、データ拡張を使用してラベルの一貫性を改善したり、製造業者にさらに多くのデータを収集するように依頼したりします。

顧客が当社に相談に来た場合、私たちは通常、まず顧客の検出問題について話し合い、いくつかの画像を見て、その問題がコンピューター ビジョンで解決可能かどうかを検証することから始めます。可能であれば、LandingLens プラットフォームにデータをアップロードするよう依頼します。私たちは通常、「データ中心の AI」アプローチに基づいたアドバイスを提供し、データのラベル付けを支援します。

Landing AI の主な焦点の 1 つは、メーカーが機械学習の作業を自ら行えるようにすることです。私たちの仕事の多くは、ソフトウェアを使いやすくすることに費やされています。機械学習の開発反復を通じて、プラットフォーム上でモデルをトレーニングする方法や、データラベル付けの問題を改善してモデルのパフォーマンスを向上させる方法について、多くの提案をお客様に提供しています。トレーニングとソフトウェアは、トレーニング済みのモデルが工場のエッジ デバイスに展開されるまで継続されます。

IEEE: では、変化する需要にはどのように対応していますか?製品が変更されたり、工場の照明条件が変わったりしても、モデルは適応できますか?

Andrew Ng: メーカーによって異なります。多くの場合、データのドリフトは発生しますが、20年間同じ生産ラインをほとんど変更せずに稼働させているメーカーもあり、今後5年間は変更が予想されておらず、環境が安定しているため、物事がやりやすくなります。他のメーカー向けには、大規模なデータドリフトの問題が発生した場合にフラグを立てるツールも提供しています。製造業の顧客がデータを修正し、モデルを自動的に再トレーニングおよび更新できるようにすることが非常に重要だと考えています。例えば、アメリカでは午前3時です。変化が起きたら、すぐに学習アルゴリズムを自ら調整して運用を維持できるようにしてほしいですね。

消費者向けソフトウェア インターネットでは、少数の機械学習モデルをトレーニングして 10 億人のユーザーにサービスを提供できます。一方、製造業では、10,000 社のメーカーが 10,000 個の AI モデルをカスタマイズしている可能性があります。課題は、Landing AI が 10,000 人の機械学習の専門家を雇用せずにこれをどのように実現するかです。

IEEE: では、品質を向上させるには、ユーザーが独自のモデルをトレーニングできるようにする必要があるのでしょうか?

アンドリュー・ン：はい、もちろんです！これは製造業だけでなく、業界全体の AI の問題です。例えば医療分野では、電子カルテのフォーマットは病院ごとに少しずつ異なります。独自の AI モデルをトレーニングしてカスタマイズするにはどうすればよいでしょうか。すべての病院の IT スタッフがニューラル ネットワーク アーキテクチャを再構築することを期待するのは非現実的です。したがって、データを設計し、ドメイン知識を表現するツールをユーザーに提供することで、ユーザーが独自のモデルを構築できるようにするためのツールを構築する必要があります。

IEEE: 読者に知っておいてほしいことは他に何かありますか?

Andrew Ng: 過去 10 年間で、人工知能における最大の変化はディープラーニングであり、次の 10 年間ではデータ中心へと移行すると思います。ニューラル ネットワーク アーキテクチャが成熟するにつれて、多くの実用的なアプリケーションにおけるボトルネックとなるのは、「必要なデータをどのように取得し、開発するか」です。データ中心の AI はコミュニティに大きなエネルギーと可能性を秘めており、より多くの研究者が参加してくれることを願っています。