2020年のAIの現状

人工知能（AI）は今日最もホットな話題の一つです。最近の進歩は文字通りそれ自体を物語っています。GPT-3 に挨拶すれば、GPT-3 も挨拶してくれるでしょう。 AIが発見した医薬品はもうすぐ登場します。政策立案者が何世紀も前の法律で今年のテクノロジーを理解しようと努める中、企業はこれまで以上に多くの博士号取得者を採用している。研究者や投資家にとっては刺激的な時代だが、政治家や弁護士にとってはそうでもないかもしれない。

今年、Nathan Benaich 氏と Ian Hogarth 氏は 3 度目の共同作業を行い、最新の研究、業界、人材、政策ニュースを網羅した AI に関するビジネスの現状レポートを作成しました。最後に、著者は 2021 年の予測をしています。

[[357218]]

レポート全文はここからお読みいただけます。

この記事では、レポートの主なテーマと調査結果を要約し、その問題に関する私自身の考えを述べます。 。

レポート概要

研究 (スライド 10-62)

このレポートは技術的な側面から始まる。AI 論文のうちコードをオープンソース化しているのはわずか 15% であり、PyTorch が「研究市場シェア」の大部分を占めており、いくつかの大学グループが 10 億パラメータのマークに到達している。さらに、大規模モデルの経済的および環境的コストについても説明します。ハードウェアが改良されても、ディープラーニングのコストは飛躍的に増加しています。現在の SOTA モデルは、調整はもちろん、トレーニングにも数百万ドルの費用がかかります。

アプリケーションの面では、自然言語処理 (NLP) が今年最も注目を集めました。自然言語処理を超えて、AI は生物学と医学における継続的な論文ブーム​​を推進しています。これら 2 つの分野に加えて、グラフ ニューラル ネットワーク (GNN) と強化学習 (RL) も今年は画期的な進歩を遂げました。

もちろん、COVID-19 は AI コミュニティにも影響を及ぼしており、この病気のほぼすべての側面に関する研究が行われています。

才能（スライド63-81）

論文数が増えるにつれ、学術界を離れて大手テクノロジー企業に移る教授の数も増え、大学は苦しんでいる。反撃するために、大学はAI専門の研究所と資金提供プログラムに注力している。

国際的な頭脳流出はさらに深刻です。今年は多くの科学者が研究を行うためにアジアから米国に移住し、そのほとんどは卒業後も米国に留まりました。アメリカの外国人材への依存は明白だ。米国で働く AI 研究者の 70% はアメリカで訓練を受けていません。これは出版結果につながります。 NeurIPS口頭発表の約29%を中国の研究者が占めました（採択率は0.5%）。

COVID-19にもかかわらず、AI人材の需要は依然として高く、AIコースの受講者数も増加しています。

業界（スライド 82-129）

最大の注目点はAIを活用した医薬品だ。 AI医薬品が市場に投入される時期が近づいています。これは生物学/医学論文の急増と連動しています。しかし、軽蔑されているのは、規制と手続きです。現在の承認方法は、AI によって発見された製品や AI 主導の製品、継続的な改善ワークフロー向けに設計されていません。

自動運転車（AV）業界も同様の問題に直面しています。数十億ドルが投資されているにもかかわらず、無人運転車に関する法律は自動運転車そのものに比べて大きく遅れています。資金の一部は社内ハードウェア、具体的にはカスタム LiDAR 技術に充てられ、別の資金は自動運転車のスタックに充てられ、残りは依然として大部分が手作業で作成される予定です。

同時に、コンピューティングの需要は、Graphcore の M2000、Nvidia の DGX-A100、Google の TPUv4 など、新しいコンピューティング プラットフォーム プロバイダーや特殊な AI ハードウェアの誕生につながっています。同時に、ML インフラストラクチャと運用の改善に向けた作業も急速に進んでいます。

スライド 113 から 129 は、業界の成功事例を紹介しています。

政治（スライド 130 ～ 170）

今年は、性別や人種による偏見、警察や軍隊での使用、顔認識、監視、偽造など、AI が主流になることに伴う倫理的問題が顕著でした。特に、軍の AI 技術への関心は驚くべきものですが、予想外のことではありません。

NeurIPS、ICLR、Google などの会議では新しい倫理規定が採用されており、一部の企業は公平性とプライバシーの理想に傾倒しています。しかし、本当の変化を実現するにはまだ長い道のりが残っています。チップの生産と知的財産の所有権は、政府にとってより大きな懸念事項であるように思われます。

政治の流行語は「AIナショナリズム」です。これは国家主権の問題であり、AIリーダーになるための投資と全国的なAI政策の策定の問題です。

予測（スライド 172）

ベナイチ氏とホガース氏は、2021年の予測でレポートを締めくくっています。それらは次のとおりです（スライド 172）。

1) より大きな言語モデルを構築するための競争が続いており、最初の 10 兆個のパラメータ モデルが登場しました。

2) 最先端の結果を達成するために、注意ベースのニューラル ネットワークが NLP からコンピューター ビジョンに転送されます。

3) 親会社の戦略変更により、大企業の AI ラボが閉鎖されました。

4) 米国防総省の米軍AIスタートアップへの活動と投資に応えて、中国とヨーロッパの防衛に特化したAIスタートアップが次々と参入し、今後12か月間で総額1億ドル以上を調達した。

5) 大手 AI ファーストの創薬スタートアップ企業 (Recursion、Exscientia など) が IPO を実施するか、100 億ドル以上で買収される。

6) DeepMind は、AlphaFold を超えて、構造生物学と新薬発見において大きな進歩を遂げました。

7) Facebook は 3D コンピューター ビジョンを通じて、拡張現実と仮想現実の分野で大きな進歩を遂げました。

8) NVIDIA は最終的に Arm の買収を完了しませんでした。

これらの予測は来年のものですが、いくつかはすでに実現しています。 （１）に関しては、マイクロソフトは、同社のDeepSpeedライブラリにはすでに「兆パラメータモデル」の機能が搭載されていると発表しました。今のところ発表はないが、10兆ドル規模のモデルが出現する道筋があることは明らかだ。 （２）に関しては、16×16ワードの画像値がこの方向に移動します。

(6)に関しては、AlphaFoldに加えて、AlphaFold 2もあります。その最新バージョンは、2012年にAlexNetがコンピュータービジョンに与えた影響と同等かそれ以上の影響を与えて生物学に影響を与えました。現在のメディア報道は一貫しているようです。著者は2021年にこれを正しいとマークすると確信しています。

レポート内容

次に、スライドの順序に従って、レポートの調査結果に自分の視点を追加し、最近のイベントとの関連を説明します。覚えておいてください、このレポートは 10 月に発表されました。それ以来、多くのことが起こりました。

研究 (スライド 10-62)

AI 論文のうち、コードを公開しているのはわずか 15% です (スライド 11)。他のコンピューター サイエンス分野では、この割合はどのくらいなのでしょうか。また、すべてのコードが同じように作成されるわけではありません。コードの観点から見ると、既存のコンポーネントから作成された新しいアーキテクチャは、完全に新しい実装よりも重要性が低くなります。新しい損失関数または最適化関数は、埋め込まれたコード スニペットと同じくらい短くなる場合があります。全体的に見て、AI は私たちが考えるほどオープンではないことに同意しますが、コンピューター サイエンスの他の分野と比較すると、まだかなりオープンです。

PyTorch は業界での使用において TensorFlow を上回るでしょう (スライド 13、14): これは真実だと信じていますが、データは誤解を招きます。論文の30%のみがフレームワークを述べていました。多くは依然として TensorFlow によって制約される可能性があります。また、Keras データが表示されていないのも奇妙だと感じました (スライド 14)。

AI の競争はリソースを大量に消費します (スライド 16 ～ 24): 最近、Timnit Gebru は、大規模な言語モデルのトレーニングにかかる​​金銭的および環境的コストを概説した論文草稿が原因で Google から解雇されました。彼女の論文によると、NAS でトレーニングされた 0.2bi パラメータ Transformer のコストは約 100 万ドルです。 GPT-3には175biがあります。数学は地球にとって何の役にも立っていないようだ。

この軍拡競争では何も得られません (スライド 16 ～ 24): NLP のブレークスルーをめぐる競争は、本当のブレークスルーにはまったくつながらないと思います。 GPT-3 は、GPT-2 の強化版と言えます。前述の Microsoft DeepSpeed を考慮すると、肥大化したモデルがメディアに登場し続けることになり、そのような取り組みでは理解において有意義な結果は得られないでしょう。

大学はついていけるか、ついていけるか? (スライド 22): AI 部門は大手テクノロジー企業に追いつくことはできません。大学は別のゲームをプレイする必要がある。小規模なモデル研究では、対数的なコストで最大限のパフォーマンスが得られる可能性があります。しかし、同社は現在、効果的な学習に関する研究の第一人者です。たとえば、MobileNet/EfficientDet は Google 製、ShuffleNet は Face++ 製です。

トランスフォーマーが際立っています (スライド 29): これらのモデルはアテンション メカニズムに基づいていますが、N 要素のシーケンスが与えられた場合、このメカニズムは N² になるため、電力とリソースを大量に消費することで有名です。効果的な注意は注目されている話題ですが、まだ勝利を宣言された解決策はありません。上で述べた AI コストのほとんどは、このメカニズムに起因しています。

生物学は「AI の瞬間」を迎えています (スライド 30): まさにその通りです。 AlphaFold 2 により、2010 年代の AlexNet やコンピューター ビジョンと同様に、この 10 年間で生物学に大きな進歩が見られるかもしれません。

AI ベースのスクリーニング マンモグラム (スライド 34): これは議論を呼ぶ記事です。超人的なパフォーマンスを主張しているが、説明可能性に欠けており、これまでのところ、第三者が調査して再現するためのコードやデータセットは公開されていない。広く報道されたこの記事は世界中の研究者から熱烈な反応を呼び起こし、彼らはこぞって「AI研究における透明性と再現性の重要性」を表明した。コミュニティとして、私たちはAIが愚かな正確さの競争にならないようにする障壁を打ち破るために努力しなければならない。医師はブラックボックスのアルゴリズムをどうやって信頼できるのでしょうか?

才能（スライド63-81）

頭脳流出（スライド 64）：これは AI と 2020 年に関するものですが、この見方がいかに米国中心的であるかを言及せずにはいられません。言及されている大学はすべて米国にあります。脳は常に移動しており、特に発展途上国から裕福な国へと移動しています。たまたま今回は大学が「貧しい国」で企業が「豊かな国」なのです。

· 離職率は起業家精神の低下と関連している (スライド 66): これはあまり良い関連性ではないと思います。市場には企業が溢れ、人材が不足しており、多くの企業にとって悪い環境となっています。スライド 73 も同意します。なぜなら、博士号取得者のほとんどが外国人であり、外国人は自分でビジネスを始めるよりも大企業に入社する可能性が高いからです。

NeurIPS の中国教育を受けた研究者による寄稿 (スライド 70): 中国が AI のリーダーになる計画に関連しています。

米国で活躍するトップクラスの AI 研究者のほとんどは、米国で訓練を受けていません (スライド 71 ～ 75)。これらのスライドは、米国が外国人の才能に大きく依存しているという単純な事実を示しています。ほとんどの学生は博士号を取得し、テクノロジー企業で働き続けます。外国人排斥法はアメリカにとって有害だ。しかし…

トランプは米国にとって悪である（スライド 76）：移民を締め出そうとするトランプの試みは何も達成していないが、米国が外国人の才能に依存していることへの認識を高めたことは確かであり、AI で優位に立とうとする他の国々は、自国の大学に才能を引き付ける機会をつかむかもしれない。

業界（スライド82～129）

AI ファーストの創薬 (スライド 83 ～ 92): 明らかに、医薬品への投資は自動運転車への投資よりも早く利益を生むでしょう。さらに、より優れた医薬品やより広範な疾病治療のカバーは、自動運転車よりも人類にとって有益であるかもしれない。

· AV 企業はまだ初期段階にあります (スライド 93 ～ 96): 法律はまだ未熟であり、世界中で施行されるには程遠い状況です。もし今日発売された自動運転車が完璧なものなら、ほぼすべての場所で禁止されるか、いずれにしても運転手が必要になるだろう。

10 億ドルでも十分ではない場合 (スライド 97 ～ 106): さらに投資しても、まだ十分ではありません。 AV はお金の問題ではなく、時間の問題です。人工知能はまだ十分に成熟しておらず、私たちの法律もそれに対応できる準備ができていません。現在の視覚研究では、私たちの世界が連続しているという事実が無視されています。単一の画像から道路標識を検出する必要はありません。複数のフレームワークからの結果をより適切に集約する必要があります。私の意見では、企業は LiDAR と規制による行き止まりの問題に資金を投じているだけです。

· コンピューティングの進歩 (スライド 107 ～ 111): 新しいハードウェアは常に素晴らしいものです。ただし、スタックの残りの部分が持ちこたえるかどうかはわかりません。大規模なデータセットと大規模な計算の問題は、次のバッチを時間どおりに準備することです。計算が高速（かつ大規模）になるほど、必要な速度（+データ拡張）でトレーニング データを取得することが難しくなります。

政治（スライド 130 ～ 170）

· モラルハザード（スライド 131）：これには特別な注意が必要です。ティムニット・ゲブル氏の最近の解雇は、倫理に関して業界全体がいかに間違っているかを浮き彫りにしている。大手 AI 技術に AI 倫理の研究を主導するよう求めるのは、石油会社に地球温暖化との戦いを主導するよう求めるようなものです。彼女の解任は、企業が自社のビジネスモデルに悪影響を与えない限り、自らの役割を果たすことを示している。これは驚くべきことではありません。アメリカの大学は企業からの資金提供と密接な関係にあるため、大学が関与することを期待するのは難しい。

顔認識は大きな問題です (スライド 132 ～ 140): 現在の法律は人間向けに設計されています。これを、人口内のすべての個人を識別できるシステムに一般化するにはどうすればよいでしょうか? 私たちには匿名性の権利がありますか? どの程度までですか? 企業はブロックされるべきですが、法執行機関は許可されるべきでしょうか? ある意味では、スーパーヒーローには類似点があります。私たちの法律はスーパーマンやフラッシュにどのように適用されるのでしょうか? 普通の人間の法律が超人的な能力にも同じように適用されると本当に期待できるのでしょうか?

音声とテキストについてはどうでしょうか? (スライド 132 ～ 140): 顔認識は私たちの存在と結びついていますが、携帯電話で私たちが話す内容についてはどうでしょうか? 私たちが話す内容はすべて処理され、監視され、誤解される可能性があります。法律を表面的に可決し、他のメディアを無視することは、私たちの行動はすべて監視されているという重大な事実を無視することになる。

AI ナショナリズム (スライド 161 ～ 167): ほとんどの先進国は AI とその存在に対する脅威に気づき始めています。 AI の覇権は容易に軍事的、経済的支配につながり、主権に影響を及ぼす可能性があります。中国は長い間 AI リーダーシップの実現に向けて取り組んでおり、人材に多額の投資を行っていることから、明らかに時代をリードしています。上で述べたように、中国が米国から外国人の優秀な人材を引き寄せるのは時間の問題だと私は考えています。インドでも同じことが言えます。

人工知能は史上最高点に達しています。結果はこれまでで最高でした。これほど多くの論文があったことはかつてありませんでした。アルファ、フォーマー、パペット。アブレーション研究に没頭しすぎて、他に何があるのか​​を見失ってしまうのは簡単です。モデルは正確であることに加えて、経済的、包括的、解釈可能でなければなりません。正確さだけを追求するためにこれらの属性を犠牲にするのは自己中心的です。それは著者だけに役立ちます。高精度は最後のステップではなく、最初のステップです。

最も重要なことは、AI は天然資源ではないということです。それは国や土地に属するものではなく、コンピュータも同様です。 AI の覇権をめぐる競争は、他のいかなる地政学的闘争とも異なります。これは、コンピューティング ハードウェアと、それを操作する才能と人材の流れによって推進される知的なコンテストです。