LeCun、Zhou Zhihua、Kai-Fu Leeらは2020年にAIに何を期待しているのでしょうか?

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。

ディープラーニングの人気により、研究者、学生、論文数、商用アプリケーション、投資額など、機械学習の分野全体が2010年代に爆発的な成長を遂げたと言えます。しかし、機械学習エコシステム全体は、データ収集、システムの堅牢性、エネルギー消費、不明瞭な深層学習理論などの問題に依然として直面しています。

2020 年が到来しました。機械学習分野の著名な学者たちは、今年何を期待しているのでしょうか? Andrew Ng 氏の DeepLearning.ai と The Batch 誌は、Yann LeCun 氏、Kai-Fu Lee 氏、David Patterson 氏、Zhihua Zhou 氏を含む多くの学者にインタビューしました。Leifeng.com AI Technology Review は、これを主な内容として、次のようにまとめました。

スタンフォード大学コンピューターサイエンスおよび電気工学助教授チェルシー・フィン氏：より優れた一般化能力を持つロボットに期待

[[312011]]

人工知能の分野では、囲碁やコンピュータゲームをプレイできるAIを作成するなど、賞賛に値する成果を生み出すことに関心を持つ人が多くいます。この成果の複雑さは確かに称賛に値するが、知能のもう一つの非常に重要な側面、つまり一般化、つまり多くの異なるタスクを処理し、多くの異なる環境に対処する能力を簡単に見落としてしまう可能性がある。 2020 年には、より優れた一般化機能を備えたモデルの構築に役立つ新しい手法が登場することを期待しています。

私の研究では、強化学習を使用してロボットを訓練し、ロボットが自分の行動が環境にどのような影響を与えるかを理解できるようにしています。たとえば、私はロボットがさまざまなオブジェクトと対話して、さまざまなタスクを完了することを目指します。たとえば、物を箱に入れたり、ゴミをちりとりに掃き込んだりします。しかし、強化学習トレーニングを使用してこれらの目標を達成することは、実際には非常に困難です。

教師あり学習では、ImageNet データセット内の 1,400 万枚の画像で画像認識エンジンをトレーニングすると、常にある程度の一般化が得られます。強化学習では、モデルは環境と対話しながら学習し、その過程で徐々に多くのデータを収集します。 ImageNet でトレーニングされたモデルの優れた一般化レベルには慣れていますが、現在のテクノロジーでは、強化学習モデルでそのようなレベルの一般化を達成するには、新しいモデルごとに ImageNet と同じサイズのデータ​​セットを収集する必要があります。これは基本的に不可能です。

強化学習によってトレーニングされたシステムに優れた一般化能力を持たせたい場合は、環境を探索しながらデータを収集するだけでなく、オフライン データセットから学習できるエージェントを設計する必要があります。また、ImageNet が当初の 100 万枚の画像から現在の 1,400 万枚に成長したように、事前に収集されたデータセットが環境や世界の変化を反映して徐々に更新されることを期待しています。

いくつかの変化はすでに起こり始めています。たとえば、いくつかの研究では、ロボットは自身の環境との相互作用と人間が誘導するロボットアームの動作のデモンストレーションから、新しい物体をツールとして使用する方法を学習できます。また、私たちは、4 つの異なる研究機関の 7 つの異なるロボット プラットフォームからのデータを含む、収集した大規模なロボット相互作用データセットなど、他のソースからのデータも使用しようとしています。

多くの研究者が強化学習の一般化を改善しようとしていることがわかります。これらの課題を解決できれば、ロボットは現在のように研究室で「一見知的」なことを行うだけではなく、「現実世界で知的に行動する」という目標に一歩近づくことになります。

ニューヨーク大学教授、FBの主任AI科学者、2018年チューリング賞受賞者のヤン・ルカン氏：自己教師あり学習に引き続き期待しています

[[312012]]

人間は基本的に 20 時間で安全に車を運転する方法を習得できますが、現在の模倣学習アルゴリズムでは運転の習得に数十万時間、強化学習アルゴリズムでは運転の習得に数百万時間も必要です。なぜこのようなことが起こるのでしょうか?明らかに私たちは何か重要なことを見落としていました。

人間が効率的に学習できるのは、頭の中に世界のモデルを持っているからだと思われます。新生児は世界とどのように関わり合うべきかほとんど分かっていませんが、数か月以内に観察を通じて豊富な背景知識を身につけていきます。どうやら、私たちの脳の大部分は、世界の構造を理解し、直接観察できないもの（時間的には未来のことかもしれないし、空間的には不明瞭なことかもしれない）を予測することに費やされているようです。

これは、AI の将来の発展の道筋が「自己教師あり学習」であるべきであることを意味していると私は考えています。これは教師あり学習と非常によく似ていますが、システムにサンプルからラベルへの分類関係を学習させるのではなく、モデルが観察できないようにサンプルの一部をマスクし、観察されていない部分を予測させます。たとえば、ビデオから特定のセグメントを抽出し、前後のコンテンツに基づいてこのセグメントを再コンパイルするようにマシンをトレーニングします。

この方法は、最近、自然言語理解の分野で特に効果を発揮しています。BERT、RoBERTa、XLNet、XLM などのモデルはすべて、テキストの段落内の欠落した単語を予測するために自己教師学習の考え方を使用してトレーニングされています。これらのモデルは、すべての重要な言語タスクで優れたスコアを達成します。 2020 年には、自己教師あり学習法によってビデオや画像から特徴を学習できるようになることを期待しています。ビデオなどの高次元連続データでも同様の革命が起こる可能性はあるでしょうか?

重要な課題は不確実性に対処することです。 BERT のようなモデルは、文中に欠けているオブジェクトが「猫」なのか「犬」なのかを判断することはできませんが、確率分布を生成することはできます。しかし、画像や動画のフレームについては、確率分布を生成できる適切なモデルが現在のところ存在しません。しかし、最近の研究により私たちはこの目標に近づき、近いうちにそれが見つかる可能性が非常に高いです。モデルがビデオ内のアクションを予測できるようにするには、いくつかのトレーニング サンプルのみが必要になります。今年は AI 分野にとって非常にエキサイティングな年になるでしょう。

Sinovation Ventures会長兼CEO、李開復氏：AIはあらゆるところに存在すると予想しています

[[312013]]

人工知能は、探索と発見の時代から実用化の時代に入りました。当社はこれまで多くの AI プロジェクトに投資してきましたが、そのほとんどは中国で行われています。現在、銀行、金融、運輸、物流、スーパーマーケット、レストラン、倉庫、工場、学校、医薬品の研究開発など、多くの分野で AI と自動化の大規模な応用が見られます。しかし、経済全体で見ると、AIを活用し始めている企業はごくわずかです。ここにはまだまだ成長の余地があります。

人類の技術開発と進歩の歴史において、AIの発明は電気の発明と同じくらい重要になるだろうと私は信じています。今後 10 ～ 20 年で、AI は私たちの個人生活や仕事にますます浸透し、より高い効率性とよりスマートな体験をもたらすでしょう。企業、機関、政府は AI を全面的に受け入れ、社会の進歩を促進する必要があります。

私が最も期待しているのは、ヘルスケアと教育における AI の影響です。これら両方の分野は AI が参入するのに適しており、AI によって多くの良いことが実現できます。

私たちが投資した企業のひとつは、AIとビッグデータを活用してサプライチェーンを最適化し、農村部に住む150万人以上の中国人の医薬品不足を緩和しました。また、当社は、新薬の発見にかかる時間を従来の 3 分の 1 から 4 分の 1 にまで短縮できるアプローチである、ディープラーニングと生成化学の力を医薬品開発に組み合わせる企業にも投資しています。

教育分野では、生徒の英語の発音を改善したり、試験や宿題の採点をしたり、数学の学習プロセスをゲーム化してカスタマイズしたりするのに役立つ AI ベースの方法を開発している企業も見られます。これにより、教師は日常業務から解放され、新世代の生徒により多くの時間とエネルギーを費やすことができ、教師と生徒の間に刺激的で励みになる関係を築くことができます。

2020年以降、より多くの起業家が誕生し、AIを良いことに活用し始めることを期待しています。

Google TPUチーム、2017年チューリング賞受賞者、スタンフォード大学元教授のデイビッド・パターソン氏：激しい競争がAIチップの高速化につながる

[[312014]]

新しい AI ハードウェアの開発に投資されている数十億ドルは、2020 年に早期の成果が見られるでしょう。 2017年にGoogleが開発したTPUは、コンピューティングコストを大幅に削減しました。その後2、3年で、Alibaba、Cerebras、Graphcore、Habana、Intelなどの多くの企業が独自のAIチップの開発を始めました。これらのチップは、科学研究の研究所や企業のデータセンターに徐々に導入されるようになるでしょう。 AIファミリーがこれらのチップの機能を最大限に活用し、AI分野でより優れたモデルを使用し、より価値のある実用的なアプリケーションを実現できるようになることを願っています。

では、機械学習を開発するエンジニアは、これらの新しい統合代替プラットフォームが従来の CPU + GPU ソリューションよりも優れたパフォーマンスを発揮できるかどうかをどうやって知るのでしょうか?

コンピュータ アーキテクチャの評価方法は少し回りくどく、絶対的なサイズを直接比較するものではありません。異なるサイズのデバイスを比較するには、パフォーマンスを価格で割ったり、パフォーマンスを消費電力で割ったり、パフォーマンスをチップの数で割ったりします。各競技者は、他の競技者と競争する際のベンチマーク テストとして、自社のチップを代表する一連のプログラムを選択します。このようなテスト プログラムのグループを多数選択し、得られたすべてのスコアを平均すると、単一のグループでテストするよりもチップの実際のパフォーマンスをより正確に反映できます。

MLPerf は、50 社と 9 つの大学が選定した代表的なプログラムに基づいて設計された、新しい AI チップ ベンチマーク テストです。 MLPerf には、テスト、トレーニング、推論のためのプログラム、データセット、固定仕様が含まれており、精度やハイパーパラメータ選択の範囲などの重要なパラメータに対する明確な要件が示されています。機械学習分野の急速な発展に対応するため、MLPerf も 3 か月ごとに新しいバージョンに更新されます。

一部の製品は公正なテストでは勝てないため、その製品の広報部門は MLPerf ベンチマークを回避し、「当社のユーザーは MLPerf のテスト プログラムを気にしていません」などと発言することもあります。しかし、そのような話に騙されないでください。まず、MLPerf は新しいプログラムの追加に対応しているため、現在 MLPerf に含まれていないワークロードは追加できます。第二に、競合他社は、比較方法が正反対にならないようにするために、他のチップの MLPerf スコアにも注意を払うでしょう。

間違った商品を購入してしまった場合に返品できないのではないかと心配な場合は、まず MLPerf スコアを確認することを忘れないでください。

南京大学コンピュータサイエンス教授兼人工知能学院長 周志華氏：新しい方法、明確な規制

2020年には3つの期待があります。

• ディープニューラルネットワークを超える、より新しく高度な機械学習手法が登場することを期待します。学術研究者、エンジニア、開発者は長い間、ニューラル ネットワーク モデルを研究し、応用してきました。他の機械学習手法における技術革新の余地は比較的大きいです。

• AIがより多くの分野に応用され、人々の日常生活にさらに良い影響を与えることを願っています。

• AIの学術研究者、エンジニア、開発者がさらに熟考と議論を重ね、AI技術の発展が誤った方向に進まないようにする方法、AI技術が悪用されたり乱用されたりしないようにする方法を検討していただければと思います。

セバスチャン・ルーダー博士、インサイトデータ分析センター、ディープマインド研究科学者、NLPインターネットセレブリティ：規模だけではありません

2020 年の NLP 研究の発展に対して、私はいくつかの願いを持っています。

• 大規模なデータセットではなく、より少ないサンプルから学習する

• より大きなモデルを開発するのではなく、よりコンパクトで効率的なモデルを開発する

• 少なくとも2つの言語（できれば異なる言語ファミリー）でモデルを評価する

• 新しいNLPデータセットには少なくとも2つの言語が含まれている必要がある

• NLP を使用して科学研究を支援し、より多くの科学的知識を発見します (Nature の論文「教師なしの単語埋め込みにより材料科学文献から潜在的知識を捕捉」など)