最新の機械学習ツール

コンテクスト

データサイエンスは急速に進化しており、機械学習の役割は、データサイエンスのハイブリッドな役割から、タイプ A およびタイプ B のデータサイエンティストと呼ばれる、よりエンジニアリングや分析指向の役割へと移行しています。

[[329877]]

これらの変化にはいくつかの要因が寄与しています。

機械学習モデルを本番システムに組み込む頻度を増やすには、これまで以上に高度な技術スキルが必要です。
ビジネス製品とユーザー行動の変化のペースが加速し、自動化の必要性が高まっています。
GDPRの「説明の権利」などの規制要件の増加により、データの追跡可能性と予測および決定の説明可能性の必要性が高まっています。

金型の変更

この環境の変化により、データサイエンティストが使用するツールも変化しました。この発展により、データサイエンティストはクラウド、自動化、説明可能性、反復可能なプロセスを活用するようになりました。

機械学習を可能にする: クラウドインフラストラクチャと Kubernetes (K8S) により、機械学習の方法が変わりました。事前に構築されたソリューションを Saas アプリケーションとして使用できるようになることから、K8S 上で完全な機械学習スタックを実行できるようになることまで。
AutoML とオーケストレーション: AutoML はトレーニングモデルを簡素化し、データ準備、機能エンジニアリング、ハイパーパラメータの最適化、モデル選択への自動化されたアプローチを提供します。
解釈可能で再現可能な ML: 過去数年間にわたり、モデルの予測とその背後にある重みを理解し、意味づけするのに役立つライブラリやツールがいくつか登場しました。 whatiftools、Lime、Shap、Manifold などのツールは、これを実現するのに役立ちます。

クラウドベースのML

クラウドと Kubernetes への移行が徐々に進んでおり、機械学習エンジニアの DevOps やデータ操作機能の必要性が高まっています。

これは、特に Keras がこの分野の民主化に貢献したことから、ディープラーニングへの関心が高まっていることからも明らかです。ディープラーニングは特にリソースを大量に消費する可能性があります。その利用率はワークロードによって異なり、TensorflowエグゼキュータはK8S上で実行されるため、より弾力性と拡張性に優れたインフラストラクチャのニーズに対応できます。

> SageMarkerのWebインターフェース

この動きに貢献しているもう 1 つの要因は、生産における ML の重要性の高まりです。この変化により、さまざまな SaaS クラウド製品 (AWS sageMaker/Google Cloud ML Engine など) の助けを借りて、プロトタイピングスタックと本番環境を緊密に統合する必要性が高まっています。これらのツールは、モデルのデプロイメントや API 構成などの機能を提供するため、モデルを本番環境にプッシュするプロセスが簡素化されます。

AutoML と機械学習ワークフロー

実稼働機械学習システムの重要性が増すにつれ、トレーニングから展開まで、機械学習バリューチェーン全体にわたる自動化の必要性が加速しています。自動化により、モデルの反復と改善が高速化されます。

AutoML は、モデルのトレーニングプロセスの周りに自動化レイヤーを提供し、反復的なタスクの一部を処理します。ハイパーパラメータの最適化、機能およびモデルの選択などのタスクを処理できます。 Tpot や AutoKeras などのライブラリや、ほとんどのクラウドプロバイダーの ML サービスには、現在、ソリューションの一部として AutoML が含まれています。

自動化の必要性が高まるにつれて、さまざまな部分を調整するためのツールの必要性も高まります。 Airflow、Kubeflow、MLFlow、MetaFlow などのワークフローツールは、これを実現するために使用される主要なツールの一部です。機械学習プロセス全体をパイプラインとして処理し、データ取得からモデル提供までのエンドツーエンドのプロセスを調整する役割を担います。

説明可能かつ再現可能なML

GDPR やその他の規制は、機械学習モデルの構築方法に影響を与えています。解釈可能かつ再現可能なモデルを推進します。

説明可能性の面では、データサイエンティストがモデルをより有効に活用できるようにするためのさまざまなツールが登場しています。これらのツールは、さまざまなシナリオを評価し、変数の相互作用を分析し、モデル予測の解釈に役立つダッシュボードを提供します。 Whatiftool、Lime、SHAP、Manifold などは、この課題に対処するために導入されたツールの一部です。

モデルをデバッグするための信頼性の高い方法を提供するという利点に加えて、再現性は規制によって影響を受けるもう 1 つの側面です。ワークフローツールを使用して、再現可能な機械学習パイプラインを作成する可能性は常に存在します。それにもかかわらず、プロセスを簡素化するための特定のツールがいくつか登場しました。

> 重みとバイアスのインターフェースのスクリーンショット

DVC、Dolt、Weight and Biases (WANDB)、Dags Hub は、再現可能な方法でモデルを簡単に構築できる特殊なツールの一部です。 DVC はモデルとデータセットの両方のバージョン管理を担当しますが、Dolt はデータセット自体に厳密に制限されています。 WANDB と Dags Hub は、モデルの構築/トレーニングの重みと結果を追跡することに重点を置いています。

まとめ

機械学習ツールは、いくつかの予測ライブラリと Jupyter ノートブックを活用できるものから大きく進化しました。今日、データサイエンスを実行するには、クラウドライブラリ、ワークフローツール、解釈、バージョン管理ツールを含む、より幅広いツールセットを習得する必要があります。こうしたツールの増加により、データサイエンスは研究のイメージからエンジニアリングやビジネス機能へと移行するはずです。

Hacking Analytics に関する詳細情報: