私はトップ200のAIツールを調査しましたが、業界が少し飽和状態にあることがわかりました

LinkedIn では、機械学習の職種に応募する人の多くに 200 人を超える応募者がいます。 AI ツールに関しても、人々にはこれほど多くの選択肢があるのでしょうか?

スタンフォード大学を卒業し、かつてNVIDIAで働いていたエンジニアのチップ・ヒューエン氏は、機械学習技術の応用の現状を完全に理解するために、現在市場で入手可能なすべてのAI / 機械学習ツールを評価することにしました。

著者は、ディープラーニングのフルスタック ツールのさまざまなリストを検索し、人々の推奨を受け入れた後、評価用にさらに 202 個の人気のあるツールを選択しました。最近、彼女の統計結果は機械学習コミュニティを少々驚かせました。

最初に注意すべき点は次のとおりです。

このリストは 2019 年 11 月にまとめられたもので、最近オープンソース コミュニティに新しいツールが登場する可能性があります。

一部のテクノロジー大手は、1 つ 1 つ挙げることができないほど膨大なツールのリストを持っています。たとえば、AWS はすでに 165 を超える機械学習ツールを提供しています。

いくつかのスタートアップは姿を消し、彼らが提案したツールは時代遅れになりました。

著者は、一般化機械学習の生成プロセスは次の 4 つのステップで構成されていると考えています。

プロジェクトのセットアップ

データパイプライン

モデリングとトレーニング

仕える

著者は、サポートする作業手順に応じてツールを分類します。プロジェクトのセットアップ手順は、機械学習ツールではなくプロジェクト管理ツールが必要なため、含まれていません。ツールは複数のステップで使用される可能性があるため、分類は単純ではありません。 「私たちはデータ サイエンスの限界を押し広げます」、「AI プロジェクトを現実世界のビジネス成果に変えます」、「データが空気のように自由に移動できるようにします」、そして私のお気に入りの「私たちはデータ サイエンスに生き、データ サイエンスを呼吸します」というあいまいさは、問題を容易にするものではありません。

時代とともに進化するツール

著者らは、各ツールがリリースされた年を追跡しました。オープンソース プロジェクトの場合は、最初のコミットを見て、プロジェクトがいつ公開されたかを確認します。企業の場合は、Crunchbase で設立年を確認してください。次に、彼女は各カテゴリーのツールの数を時間の経過とともにプロットしました。詳細は、次の図に示されています。

当然のことながら、データによれば、この分野は 2012 年のディープラーニングの復活とともに急成長し始めたばかりであることがわかります。

AlexNet以前（2012年以前）

2011 年まで、この分野は依然としてモデリングおよびトレーニング ツールによって支配されていました。そのうちのいくつかは今でも非常に人気があり (scikit-learn など)、いくつかは現在のフレームワークに影響を与えています (Theano)。 2012 年以前に開発され、現在でも使用されているツールの中には、IPO を完了したもの (Cloudera、Datadog、Alteryx など)、買収されたもの (Figure Eight)、またはコミュニティで人気があり活発に開発されているオープンソース プロジェクトになったもの (Spark、Flink、Kafka など) があります。

開発フェーズ（2012-2015）

機械学習コミュニティが「データを投げ込んでみよう」というアプローチを採用したため、機械学習の領域はデータの領域になりました。これは、各カテゴリで年間に開発されるツールの数を調べると、さらに明らかになります。 2015 年には、ツールの 57% (82 個中 42 個) がデータ パイプライン ツールでした。詳細は、次の図に示されています。

生産段階（2016年から現在）

研究は基礎的なものであればあるほど重要であることは誰もが知っていますが、ほとんどの企業は短期的な商業的利益が見込めない限り、純粋に技術的な方向性を探求する研究者を支援することができません。機械学習の研究、データ、トレーニング済みモデルの量が増加し、開発者や組織からの需要が増加するにつれて、機械学習ツールに対する市場の需要も大幅に増加しました。

2016年、Googleはニューラル機械学習技術をGoogle翻訳に適用すると発表しました。これは、ディープラーニングが現実世界で初めて実装されたことを示す重要な兆候でした。

このパノラマはまだ未完成です

AIスタートアップはすでに数多く存在しますが、その多くは開発ツールの提供（フレームワークやソフトウェア開発キットを他社に販売するなど）よりも、技術の実装（消費者向けアプリケーションの提供）に重点を置いています。ベンチャーキャピタルの観点から見ると、ほとんどのスタートアップは垂直的な AI 分野にあります。 2019年にフォーブスが発表したAIスタートアップ企業トップ50社のうち、機械学習ツールの開発に注力しているのはわずか7社です。

ほとんどの人にとって、アプリの方が直感的です。企業を訪問して、「顧客サービスの半分を自動化できます」と言うこともできます。ツールが提供する価値は常に間接的ですが、エコシステムの奥深くにあります。市場では多くの企業が同じアプリケーションを提供していますが、その背後にあるツールはほんのわずかです。

著者は多くの調査と比較を行った結果、ここに 200 を超える AI ツールのみをリストしましたが、これは従来のコンピューター ソフトウェア エンジニアリングと比較すると非常に少ない数です。従来の Python アプリケーション開発をベンチマークしたい場合は、Google を使って数分で少なくとも 20 個のツールを見つけることができますが、機械学習モデルを試してみたい場合は状況がまったく異なります。

機械学習ツールの問題点

多くの従来のソフトウェア ツールを使用して、機械学習アプリケーションを開発できます。しかし、機械学習アプリケーションでは、多くの課題が独特であり、特別なツールが必要になります。

従来のソフトウェア開発プロセスでは、コードの作成が最も難しいステップですが、機械学習の作業では、コードの作成はプロセス全体の中でそれほど労力がかからない部分にすぎません。大幅なパフォーマンス向上をもたらし、現実世界に実装できる新しいモデルを開発するには、非常に時間とコストがかかります。ほとんどの企業は、新しいモデルを開発せず、そのまま使用することを選択します。

機械学習の場合、最も多くの/最良のデータを使用するアプリケーションが常に勝利します。そのため、ほとんどの企業は、ディープラーニング アルゴリズムの改善に重点を置くのではなく、データの品質の向上に多くの時間を費やしています。データは急速に変化するため、機械学習アプリケーションも迅速に開発および展開する必要があります。多くの場合、毎日新しいモデルを展開する必要がある場合もあります。

さらに、ML アルゴリズムの規模も問題です。事前トレーニング済みの大規模 BERT モデルには 3 億 4000 万個のパラメータがあり、サイズは 1.35 GB です。 BERT モデルは携帯電話などの消費者向けデバイスに適合できますが、新しいサンプルで推論を実行するのに長い時間がかかるため、多くの実際のアプリケーションでは役に立ちません。

想像してみてください。自動補完モデルが次の文字を提案するのに、ユーザーが入力するよりも時間がかかるとしたら、このモデルを使用する意味は何でしょうか?

Git は行ごとの比較を通じてバージョン管理を実装するため、ほとんどの従来のソフトウェア エンジニアリング プログラムに適しています。ただし、Git はデータベースやモデルのチェックポイントのバージョン管理には適していません。 Panda はほとんどの従来のデータフレーム操作ではうまく機能しますが、GPU ではうまく機能しません。

CSV などの行ベースのデータ形式は、少量のデータで動作するアプリケーションに適しています。ただし、サンプルに多くの機能があり、そのサブセットのみを使用する場合は、行ベースのデータ形式を使用しても、すべての機能をロードする必要があります。 PARQUET や OCR などの列指向ファイル形式は、このユースケース向けに最適化されています。

ML アプリケーションが直面する問題の一部は次のとおりです。

監視: データ分布が変化し、モデルを再トレーニングする必要があるかどうかをどのように確認しますか?

データ注釈: 新しいデータにすばやく注釈を付けたり、新しいモデル用に既存のデータに再度注釈を付けたりするにはどうすればよいでしょうか?

CI/CD テスト: モデルのトレーニングと収束を何日も待つことはできないので、変更のたびにモデルが期待どおりに動作することを確認するために、どのようにテストを実行すればよいでしょうか。

デプロイメント: 新しいモデルをパッケージ化してデプロイする方法、または既存のモデルを置き換える方法は?

モデル圧縮: ML モデルを圧縮してコンシューマーデバイスに適したものにするにはどうすればよいでしょうか?

推論の最適化: モデルの推論時間を短縮するにはどうすればよいでしょうか?すべての操作を統合することは可能ですか?もっと低い精度を使うことは可能ですか?モデルを縮小すると推論プロセスが高速化される可能性があります。

エッジ デバイス: ML アルゴリズムを迅速かつ安価に実行するハードウェア。

プライバシー: プライバシーを保護しながら、ユーザーデータを活用してモデルをトレーニングするにはどうすればよいでしょうか?プロセスを一般データ保護規則 (GDPR) に準拠させるにはどうすればよいでしょうか?

下の図では、解決できる主な問題に基づいて開発ツールの数をリストしています。

大部分は、データ管理、ラベル付け、データベース/クエリ、データ処理、データ生成などのデータ パイプラインに重点を置いています。データ パイプライン ツールもオールインワン プラットフォームになることが望まれる場合があります。データ処理はプロジェクトの中で最もリソースを消費するフェーズであるため、誰かがデータをプラットフォームに配置すると、事前に構築またはトレーニング済みのモデルを提供できる可能性が高くなります。

モデリングおよびトレーニング ツールは主にフレームワークです。ディープラーニング フレームワーク間の現在の戦いはやや落ち着いてきており、主な焦点は PyTorch と TensorFlow にあり、さらにこれら 2 つをベースにして NLP、NLU、マルチモーダル問題などの特定のタスクを解決するためのより高度なフレームワークにも焦点が当てられています。分散トレーニングの分野にもいくつかのフレームワークがあります。 Google からは JAX と呼ばれる新しいフレームワークも登場しており、これは TensorFlow を嫌うすべての Google 社員によって支持されています。

実験追跡用のスタンドアロン ツールがいくつかあり、人気のあるディープラーニング フレームワークの中には実験追跡機能が組み込まれているものもあります。ハイパーパラメータの調整は重要なので、そのために特別に設計されたツールが存在するのは驚くことではありませんが、どれも普及していないようです。ハイパーパラメータ調整のボトルネックとなるのはセットアップではなく、それを実行するために必要な計算能力だからです。

まだ解決されていない最も興味深い問題は、展開とサービスの分野にあります。サービスアプローチが欠如している理由の 1 つは、研究者と生産エンジニア間のコミュニケーション不足です。 AI 研究を実施できる企業 (多くの場合、大企業) では、研究チームと導入チームは別々に作業し、2 つのチームは、プロダクト マネージャー、プログラム マネージャー、プロジェクト マネージャーなど、「P」で始まるマネージャーを通じてのみ相互にコミュニケーションを取ります。従業員がスタック全体を見ることができる小規模な企業では、当面の製品ニーズによって制限されます。

このギャップを埋めることができたスタートアップ企業はほんの一握りで、その多くは優秀なエンジニアを雇うだけの資金を持つ優秀な研究者によって設立された企業だ。そして、そのようなスタートアップ企業は人工知能ツール市場の大部分を占めることになるだろう。

オープンソースとオープンコア

著者が選んだ 202 個のツールのうち 109 個はオープンソースソフトウェア (OSS) であり、オープンソースではないツールは他のオープンソースツールとバンドルされていることがよくあります。

オープンソース ソフトウェアの出現と発展には、さまざまな理由があります。ここでは、透明性、コラボレーション、柔軟性、倫理など、オープンソース ソフトウェアの支持者が長年語ってきた理由のいくつかを紹介します。顧客は、ソース コードにアクセスできない新しいツールを使用したくない場合があります。そうでない場合、オープンソース以外のツールを使用できない場合は、コードを書き直す必要があります。これはスタートアップではよくある状況です。

オープンソース ソフトウェアは非営利かつ無料であることを意味するものではありません。開発者にはより深い目的があります。オープンソース ソフトウェアのメンテナンスには時間とコストがかかることに注意してください。 TensorFlow チームには 1,000 人近くのメンバーがいるという噂があります。企業がオープンソース ソフトウェアを提供するのは、間違いなくビジネス上の目的があるからです。たとえば、企業のオープンソース ソフトウェアを使用する人が増えれば増えるほど、その企業の評判はますます高まり、人々はその企業の専門知識をより信頼するようになり、最終的にはその企業の独自ツールを購入したり、チームに参加したりするようになるかもしれません。

そういった例はたくさんあります。 Google は、ユーザーにクラウド サービスを利用してもらうために、自社のツールの宣伝に精力的に取り組んでいます。 Nvidia は、より多くの GPU を販売することを目標に cuDF を維持しています。 Databricks は MLflow を無料で提供していますが、データ分析プラットフォームも販売しています。

さらに、Netflix は最近、専用の機械学習チームを設立し、独自の Metaflow フレームワークを立ち上げ、機械学習 (ML) の開発トレンドに加わって人材を引き付けています。 Explosion は SpaCy を無料で提供していますが、Prodigy は有料です。 HuggingFace は特別なケースで、トランスフォーマーを無料で提供していますが、どのように収益を得ているのかは不明です。

オープンソース ソフトウェアが標準となるにつれ、スタートアップ企業が機能するビジネス モデルを見つけることが難しくなります。どのスタートアップ ツール企業も、既存のオープン ソース ツールと競争しなければなりません。したがって、スタートアップ企業がオープンソースのコアビジネスモデルを選択する場合、オープンソースソフトウェアにどのような機能を含めるか、貪欲に見えないように有料版に何を含めるか、そしてツールを無料で使用しているユーザーに有料版を購入してもらうにはどうすればよいかを決定する必要があります。

今後の展望

AIバブルが崩壊したかどうかについては盛んに議論されている。 AI投資の大部分は自動運転車に向けられているが、完全自動運転車の実用化にはまだまだ時間がかかることはすでにわかっており、投資家はAIに対する信頼を完全に失うのではないかと推測する人もいる。

Google は ML 研究者の採用を一時停止し、Uber は AI チームの研究者の半数を解雇した。これらの決定はCOVID-19の発生前に行われました。さらに、機械学習を学ぶことを選択する人が多すぎるため、市場における ML 職の需要は ML 技術を習得する人材の数よりもはるかに少ないという噂もあります。

そこで疑問なのは、ML の分野に参入するにはまだ良い時期なのかということです。 AI の誇大宣伝が確かに存在するのは否定できないが、ある程度、この熱を「冷ます」必要がある。これはすでに起こっている可能性があります。しかし、著者らは ML が消滅するとは考えていない。 ML 研究に資金を投じられる企業はますます少なくなるかもしれませんが、ML を本番環境に導入するためのツールを必要とする企業は依然として存在します。

したがって、エンジニアリングと ML のどちらかを選択しなければならない場合、著者はエンジニアリングを選択することをお勧めします。優秀なエンジニアが ML の知識を習得するのは簡単ですが、ML の専門家が優秀なエンジニアになるのは困難です。素晴らしい ML ツールを構築できるエンジニアになれたら最高ですね!