ディープラーニングにも格闘技カンファレンスがある！ 8つのテクノロジーの巨人：私の学派はAGIを実現できる

[[426161]]

ディープラーニングの研究は格闘技の競技のようなものですか?

意外なことに、何でもやっているように見えるこれらのテクノロジー企業や AI 研究所は、実は自分たちが深く関わっている独自の「学校」を持っているのです。

ディープマインド

Alphabetの子会社であるDeepMindは、強化学習の代名詞とも言えるでしょう。

AlphaGo から MuZero、そして最近の AlphaFold 2 まで、DeepMind は強化学習におけるブレークスルーを追求してきました。

AlphaGo は、プロの囲碁プレイヤーに勝利したコンピュータ プログラムです。高度な検索ツリーとディープニューラルネットワークを組み合わせています。

MuZero は、囲碁、チェス、象棋において AlphaZero レベルの熟達度に達しているだけでなく、視覚的に複雑なさまざまな Atari ゲームもマスターしています。

MuZero はトレーニング中に外部の経験がなく、ゲームのルールしか知りません。

https://deepmind.com/blog/article/muzero-mastering-go-chess-shogi-and-atari-without-rules

これらのニューラル ネットワークは、囲碁盤の説明を入力として受け取り、何百万ものニューロンのような接続を含むさまざまなレイヤーを通じて処理します。

このモデルは、「ポリシー ネットワーク」を通じて次の動きを選択し、別の「価値ネットワーク」を通じてゲームの勝者を予測します。

さらに、DeepMind はタンパク質の構造を予測できるシステム「AlphaFold」もリリースしました。

2018年、AlphaFoldは国際タンパク質構造予測コンペティション（CASP）に初参加し、参加した98チームの中で1位を獲得しました。

第 2 世代 AlphaFold の画期的な点は、すべての原子の 3D 構造を予測し、タンパク質構造をより迅速かつ正確に予測できることです。

現在、DeepMind チームは AlphaFold を 20,296 個のタンパク質に適用しており、これはヒトのプロテオームの 98.5% を占めています。

AlphaFold は、個々のタンパク質に基づいてヒトプロテオームの空間的な 3 次元構造をほぼ予測し、その結果は非常に正確です。これ自体が構造生物学における大きな進歩です。

オープンAI

GPT-3 は、世界で最も話題になっているトランスフォーマー モデルの 1 つです。

今後の言語モデル GPT-4 では、規模は GPT-3 より大きくはなりませんが、コード生成機能に重点が置かれることになります。

最近、OpenAI は自然言語をコードに変換する AI システムである OpenAI Codex を立ち上げました。

これは GPT-3 の派生であり、自然言語と、パブリック GitHub リポジトリを含むパブリック ソースからの数十億行のソース コードの両方を含むデータを使用してトレーニングされています。

現在、GPT-3 の競合製品としては、EleutherAI GPT-j、BAAI の Wu Dao 2.0、Google の Switch Transformer などがあります。

要約すると、OpenAI は一連の Transformer モデルを通じて AGI を実現したいと考えています。

フェイスブック

Facebook は、基礎的なオープンな科学研究を通じて、クロスドメイン自己教師学習技術を使用して、自社製品の画像、テキスト、音声、ビデオ理解システムを改善しています。

自己教師学習に基づく事前トレーニング済み言語モデルである XLM-R は、RoBERTa アーキテクチャを使用して、Instagram および Facebook 上の多言語ヘイトスピーチ分類器を改善します。

Facebook は、自己教師あり学習が人間レベルの知能への正しい道であると信じています。また、最新の研究成果を公開し、トップレベルの会議で論文を発表したり、ワークショップを開催したりすることで、この分野の研究を加速させる取り組みも行っています。

最近の取り組みとしては、VICReg、Text-free NLP、DINO などがあります。

グーグル

Google は、自動機械学習 (AutoML) の先駆者の 1 つです。

時系列分析やコンピュータービジョンなど、非常に多様な分野でAutoMLを推進しています。

今年、Google Brain の研究者は、シンボリックプログラミングに基づく新しい AutoML アプローチである PyGlove を導入しました。 AutoMLのシンボリック表現を実現するために、Pythonの汎用シンボリックプログラミングライブラリに適用されています。

この分野における Google の最新製品には、Vertex AI、AutoML Video Intelligence、AutoML Natural Language、AutoML Translation、AutoML Tables などがあります。

りんご

iPhone の Siri は、私たちが「Hey Siri」と言うと反応するのに、他の人が言うと反応しないのはなぜですか?

論理的に言えば、そのようなモデルをトレーニングすると音声データが収集され、このデータはすべて iPhone に保存されます。

しかし実際には、Apple は分散型機械学習の一種である Federated Learning を使用しています。

フェデレーテッド ラーニングは、データ サイロの問題を効果的に解決できます。ユーザー データを公開することなく、複数のユーザー データを統合モデルに集約できます。

これにより、ユーザーデータのプライバシーとセキュリティを維持しながら、エッジでの機械学習モデルのスムーズなトレーニングが保証されます。

フェデレーテッド ラーニングは、Google の研究者が 2016 年の論文「分散データ向けディープ ネットワークの通信効率の高い学習」で初めて提案し、現在では業界のさまざまな企業に広く採用されています。

出典：http://arxiv.org/pdf/1602.05629.pdf

2019年、Appleはスタンフォード大学と共同で「Protected Reconstruction with Applications to Private Federated Learning」と題した研究論文を発表し、これまで不可能だった大規模なローカルプライベートモデルのトレーニングへの実用的なアプローチを実証した。

出典：http://arxiv.org/pdf/1812.00984.pdf

この研究には、実用性をほとんど損なうことなく大規模な画像分類と言語モデルを適応させるための理論的かつ経験的な方法も含まれます。

Apple は現在、フェデレーテッド ラーニングと分散代替テクノロジーを活用して、ユーザーのプライバシーに重点を置いた製品やアプリケーションを開発するためのさまざまな革新的な方法を研究しています。

マイクロソフト

Microsoft Research は世界トップクラスの人工知能研究所の 1 つであり、コンピューター ビジョンと音声分析における機械学習の研究とテクノロジの先駆者です。

AI の適用シナリオがますます多様化するにつれて、少量のデータや複雑なタスクなど、実際に発生する可能性のあるさまざまな課題と相まって、機械学習の結果が理想的ではなく、非効率的になることがあります。

この目的のために、機械学習が生まれました。人間は専門知識と経験を活用して、AI がより的を絞って学習できるようにし、強化学習アルゴリズムがより速く解決策を見つけられるように支援できます。

https://www.msra.cn/zh-cn/news/features/machine-teaching

さらに、インテリジェンスの観点から、Microsoft は人工知能、コンピューター ビジョン、検索、情報検索などの研究分野をカバーしています。システム面では、量子コンピューティング、データ プラットフォームと分析、セキュリティ、プライバシー、暗号化に関するリソースを提供します。

アマゾン

Amazon は、Alexa における転移学習手法の優れたパフォーマンスにより、現在では主要な研究センターの 1 つとなっています。

[[426163]]

Amazon は、さまざまな言語モデル、技術、より優れた機械翻訳など、転移学習の分野で先進的な研究を行っています。

今年 1 月、Amazon の研究者は、確率的意図分類のための効率的な転移学習法である ProtoDA を提案しました。

IBM

IBM は機械学習における先駆的な取り組みにもかかわらず、テクノロジー企業の中で主導的な地位を失ってしまった。

1950 年、IBM のアーサー・サミュエルは、チェスをプレイするためのコンピュータ プログラム (Deep Blue) と、チェスの分析専用のスーパーコンピュータを開発しました。

1996年2月10日、ディープ・ブルーは初めて世界チェスチャンピオンのカスパロフに挑戦したが、2対4で敗れた。研究チームはその後、ディープ ブルーを改良しました。このディープ ブルーには「デッパー ブルー」というニックネームが付けられています。 1997年、彼は再びカスパロフに挑戦し、最終的に3.5対2.5で勝利した。

2020年までに、IBMは量子機械学習の研究を進め始めました。

IBMは現在、研究者、開発者、企業が量子コンピューティングの知識がなくても量子クラウドサービスを通じて言語をエンコードできるようにするための専用ハードウェアを開発し、回路ライブラリを構築しています。

IBM は、2023 年までに、クラウドベースの API から呼び出して共通の開発フレームワークを使用できる、クロスドメインの事前構築済みランタイムの完全なセットを提供する予定です。

IBM は、量子カーネルお​​よびアルゴリズム開発者とともに基盤を築き、企業の開発者が量子物理学を考慮することなく独自に量子コンピューティング モデルを探索できるように支援すると考えています。

言い換えれば、開発者は、あらゆるクラウドネイティブ ハイブリッド運用でシステム、言語、プログラミング フレームワークを自由に構築したり、量子コンポーネントをあらゆるビジネスに統合したりすることができます。