年次指数レポートではAIが「産業化」しているが、より優れた指標とテストが必要とされている

海外メディアVentureBeatによると、中国は人工知能の研究論文の総数で米国を上回り、資金提供を受ける人工知能のスタートアップ企業はますます少なくなり、米国議会はこれまで以上に人工知能について議論しているという。これらは、先週発表されたスタンフォード大学の年次レポート「2021年人工知能指数」で強調された3つの主要なトレンドです。この報告書は、AIの進歩と、その技術が教育、スタートアップ、政府の政策に与える影響を記録することを目指しています。このレポートでは、ディープラーニング、画像認識、物体検出、タンパク質折り畳みなどの AI の主要なサブフィールドにおけるパフォーマンスの向上について詳しく説明しています。

AI インデックス レポートは、スタンフォード大学の人間中心の AI 研究所と 11 人のメンバーで構成される運営委員会によって作成されており、ハーバード大学、OECD、Partnership on AI、SRI International からの寄稿者も含まれています。このレポートは、arXiv の AI 研究データ、Crunchbase の資金データ、Black in AI や Queer in AI などのグループの調査など、さまざまなソースからのデータセットを利用しています。アルゴリズムの影響評価を研究するOECDグループの責任者で、OpenAIの元政策ディレクターのジャック・クラーク氏は、報告書で見つかったもう一つの大きな傾向はAIの産業化だと述べた。

「私にとってのストーリーは、AI が産業化しつつあり、期待されるほど多くのデータがないため、その産業化を完全に評価する方法がよくわかっていないということだと思います。そして、それは AI が「機能しない」状態から「商業展開にうまく機能する」状態へと、皆さんが考えるよりも速く移行したためだと思います。つまり、研究コミュニティを含め、誰もが商業展開のペースに追いつくために競争しているということです」と彼は言いました。

レポートのその他の重要なポイントは次のとおりです。

• LinkedIn が提供したデータによると、2016 年から 2020 年にかけて AI 採用が最も多かったのはブラジル、インド、カナダ、シンガポール、南アフリカでした。
• 2020年には民間投資や合併・買収など世界全体の投資額が40％増加しました。しかし、3年連続で、AIスタートアップへの資金提供を受けるスタートアップはますます少なくなっています。
• 2019年、北米ではAIの博士号を取得した卒業生の約3人に2人が産業界に就職しており、2010年の44％から増加しています。
• AI 博士課程の卒業生の大半は米国外から来ており、5 人中 4 人が卒業後も米国に留まります。
• 50万件のブログと6万件の英語ニュース記事を分析した結果、Googleによるティムニット・ゲブル氏の解雇や、欧州委員会、国連、バチカンが立ち上げた倫理イニシアチブなどの話題を含むAI倫理に関する記事が、2020年に最も人気のあるAI関連ニュースの1つであることが判明した。
• 2020年、ほとんどのグループがバーチャル会議を選択したため、主要なAI研究会議への参加者は2倍に増加しました。
• 2020年のコンピューティング研究協会の調査によると、AI博士号取得者の18%は女性です。
• 中国は論文総数では米国を上回ったが、AI研究会議での引用数では米国が20年連続のリードを維持した。
• GitHub スターの総数に基づくと、TensorFlow が最も人気のある AI ソフトウェア ライブラリであり、次に Keras と PyTorch が続きます。
• arXiv 上の AI 関連論文の数は、2015 年の約 5,500 件から 2020 年には約 35,000 件に増加しました。
• Queer in AI 2020の会員調査では、回答者の約半数が嫌がらせや差別を経験し、インクルージョンに関する問題に遭遇したことが判明しました。
• 学術研究者は、発表される論文の総数において世界をリードしています。しかし、米国では企業による研究が第2位であるのに対し、欧州と中国では政府による研究が第2位となっている。
• 2004年から2019年にかけて、カーネギーメロン大学（16）、ジョージア工科大学（14）、ワシントン大学（12）が産業界に最も多くの教員を失った。

報告書の技術的課題の進歩に関するセクションでは、コンピュータービジョンシステムや言語モデル、さらには創薬や効率的な化学および分子合成などのタスクのための人工知能の進歩が強調されています。

AI Indexレポートは、物体検出システムYOLOなど、監視に使用できるAIシステムの進歩を示しています。 6,000人のデータセットから音声を認識する能力を測定するVoxCelebでも、かなりの進歩が遂げられています。 AI Indexのチャートを見ると、2017年には平等エラー率が約8％だったのが、2020年には1％未満にまで低下したことがわかります。

「この指標からわかるのは、AIシステムの等価性エラー率が8%から約0.5%に低下したということであり、この機能が世界中でひっそりと導入されていくだろうということだ」とクラーク氏は語った。

技術進歩の専門家パネルは、タンパク質の折り畳み方を予測するAlphaFoldの能力とGPT-3を、2020年に最も注目されたAIシステムの2つとして選びました。 AI IndexはGPT-3が学習成果をほとんど達成していないことを認めているが、元Ethical AIチームの共同リーダーであるTimnit Gebru氏らによる、大規模言語モデルとその偏見を永続させる能力を批判する論文を引用している。また、OpenAIとスタンフォード大学が先月発表した論文では、大規模言語モデルの社会的影響は手遅れになる前に対処する必要があると主張している。 2019年のVentureBeatとのインタビューで、AI Indexの創設者Yoav Shoham氏は、限られた数のタスクでのパフォーマンスに基づいて言語モデルの価値を判断することに対して懐疑的な見解を示しました。

VentureBeat は、このインデックスに記載されている両方の研究を広範囲にカバーしています。 VentureBeatが取り上げた他の引用レポートには、マッキンゼーの「AIの現状」レポートがあり、ビジネスリーダーはAIの導入に伴うリスクへの対応においてほとんど進歩を遂げていないことが明らかになった。別の報告書では、ディープラーニングの時代における人工知能の非民主化について警告しており、共著者らはこれが不平等を永続させる可能性があると述べた。

AI Index レポートには、コンピューター ビジョン、倫理、NLP の分野でのさらなるベンチマークとテストを求める声が含まれています。 GLUEやSuperGLUEのようなベンチマークが示すように、クラーク氏は「テストを構築するスピードが速いため、テストが不足しています」と述べた。新しいベンチマークやテストを作成することは、人々の価値観を反映した指標を作成し、森林破壊のような大きな課題の解決に向けた進捗状況を測定するための機会でもある。

「ある分野で全体的な説明責任を果たす方法の 1 つは、すべてのことに対して同じテスト、または同じ一連のテストを実施することだと思います。それが実現するまでは、こうしたシステムにおける偏見やその他の倫理的問題について話すことは非常に曖昧になります。それはコミュニティとしての私たちの妨げになるだけでなく、こうした問題が存在しないふりをしたい人たちが、問題が存在しないふりをしたり、問題を持ち出さないようにしたりすることを容易にすると思います」と、彼は語った。

過去数年間、AI Index は、プレプリント論文を検索する arXiv Monitor などのツールを含めるように範囲を拡大してきました。各国の AI イニシアチブの比較を提供する AI Index のグローバルダイナミズムツールは、現在 26 か国の 23 のカテゴリーで利用可能です。

今年の報告書では自動運転車の進歩に関するデータが削除され、クラーク氏はデータ不足のため完全自律型兵器に関する情報は報告書に含まれていなかったと述べた。