ジェフ・ディーンが2020年の機械学習のトレンドについて語る：マルチタスクとマルチモダリティが大きく進歩する

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

2020 年に機械学習はどこに向かうのでしょうか?

カナダのバンクーバーで開催された NeurIPS で、ジェフ・ディーン氏は海外メディア VB のインタビューで自身の展望を語りました。

彼は、マルチタスク学習とマルチモーダル学習が大きく進歩し、機械学習モデルがより良い役割を果たせるようにする、より興味深いデバイスが登場するだろうと考えています。

さらに、機械学習を使用して AI チップを構築する方法や、BERT に関する Google の見解などについても話しました。

Google AI の責任者として、彼の考えは実務家にとって非常に参考価値があります。量子ビットは次のようにコンパイルされます。

BERTについて語る: 誰もがSOTAを過度に強調している

Q: 今年は BERT にとって大きな年です。 BERT はどこにでも存在し、さまざまな種類の BERT が存在します。 BERT にはどのような変更が加えられましたか?次にどんな変化が起こるでしょうか?

Jeff Dean: BERT は他の研究の進歩に基づいている点が興味深いです。彼は、1年前に取り組んだトランスフォーマーの成果に部分的に頼っていました。

Transformer の作業は、実際には初期の LSTM ベースのシーケンス モデルで見られた問題に対処しています。この研究スレッド全体は、機械学習モデルを実際に作成する上で非常に有益だったと思います。

それでは、さらに多くのことができる、より複雑な NLP タスクに移りましょう。事前トレーニング済みの BERT を多数の任意のテキストに対して微調整することは、私たちが解決したい多くの NLP 問題に対する優れたパラダイムです。

そのため、Google 社内でも自社製品にさまざまな応用シナリオが見られるようになりました。たとえば、最近、検索品質を向上させるために検索エンジンに BERT を適用しました。

これをもっと広い文脈で捉えるべきだと思います。より多くのコンテキストを提供できるモデルを今後も見ていきたいと思います。

現状では、BERT や他のモデルは数百語のテキストではうまく機能しますが、数万語のテキストでは苦労します。

これは興味深い方向性です。マルチモーダルモデルは非常に興味深いと思います。テキストを画像、音声、ビデオと興味深い方法で組み合わせることができます。

私たちもコミュニティの他のメンバーも、すでにこの点についていくつかの作業を行っていますが、将来的にはさらに重要になると思います。 BERT に基づいて改善が行われると信じています。

そのため、基礎研究も継続していきます。

Q: はい、MT-DNN、RoBERTta など、いろいろなものを見かけます。

ジェフ・ディーン：ええ、それぞれ素敵な名前がついていますね。しかし、特定の問題に関して、前例のない、わずかに優れた、最先端の結果を得ることに少し重点を置きすぎているように思います。

そして、問題解決に対するまったく異なるアプローチに対する評価が少し欠けています。これらの方法は難しいため、最先端の技術には達しないかもしれませんが、探求する価値が非常に高い分野です。

Q: 例えば、堅牢性でしょうか?

ジェフ・ディーン：そうです。あるいは「問題をまったく異なる方法で解決し、希望を見出すことが重要であるという考え」です。人々がそれらの方向を追求したら面白いだろう。

Q: GLUE リーダーボードのトップを目指すのではなく?

ジェフ・ディーン：そうです。

AIチップについて語る: 専用チップはムーアの法則以降の時代に非常に効果的

Q: ムーアの法則以降の世界で留意すべき点は何でしょうか?

Jeff Dean:非汎用コンピューティングでは、CPU ではなく専用チップを使用することが非常に効果的であることが証明されています。

たとえば、TPU や GPU は多くの制限があるものの、機械学習の計算に必要なことを中心に設計されているため、汎用 GPU と比較してパフォーマンス上の大きな利点があります。

したがって、過去のようなコンピューティング能力の大幅な成長は見込めませんが、特化によってアーキテクチャ上の利点は大きくなっています。

Q: 機械学習ハードウェアの作成における機械学習の応用について詳しく説明していただけますか?

ジェフ・ディーン：私たちは、機械学習を ASIC チップ設計、特にトランジスタのレイアウトとそれらの接続方法に適用する初期の取り組みを行ってきました。

基本的に、現在の設計プロセスではレイアウトを支援するツールがいくつかありますが、複数の反復を完了するには手動のレイアウトとルーティングの専門家も必要です。

通常、希望する設計から始めて、面積、電力、配線長に関する適切な制約を満たしながら、設計計画や製造プロセスをすべて満たしてチップ上に配置できるようになるまでには、1 週間以上かかります。

そのため、この作業の一部では、機械学習を使用して、より自動的な配置とルーティングを行うことができることがわかりました。

基本的に、特定のチップの ASIC 配置のゲームをプレイする機械学習モデルを作成できます。これにより、社内で実験していたいくつかのチップでも良い結果が得られました。

2020年について語る: マルチタスク学習とマルチモーダル学習は大きな進歩を遂げる

Q: 2020 年に人工知能の分野でどのようなトレンドやマイルストーンが生まれると思いますか?

ジェフ・ディーン：マルチタスク学習とマルチモーダル学習は、より多くの問題を解決するために大きく進歩すると思います。それは楽しいと思います。

そして、モデルをより効果的に機能させる、モバイルやその他の効率的なデバイスがますます増えていくと思います。

さらに、AI の原則に関連する作業も明らかに重要です。しかし、Google は非常に大規模な研究組織であるため、さまざまな推進力があり、1 つだけであるとは言い難いのです。

しかし、一般的には、私たちは最先端の技術をさらに開発し、NLP、言語モデル、マルチモーダルなど、多くの重要な分野での能力を向上させるための基礎研究を行っていきます。

同時に、私たちは同僚や製品チームと協力して製品アプリケーションの調査を行い、興味深い機能や製品を構築できるようにしていきます。

私たちが取り組んでいるチップ設計作業のように、Google がまだ行っていないけれども興味深い機械学習のアプリケーションをいくつか実行する予定です。

Q: 例えば、日常的に使用するロボットなどでしょうか?

ジェフ・ディーン：はい、私たちはロボット工学の研究に力を入れています。ロボットをある種のカジュアルな環境で働かせるというのは、解決するのが本当に難しい問題だと思います。

しかし、この分野ではここ数年でかなりの進歩を遂げており、これも研究の興味深い方向性であると思います。私たちは前進するために一生懸命働いています。