Scikit-learn をご存知ですか?これらの機能をご存知ですか?

[[229302]]

ビッグデータ概要

編纂者: 王暁奇、大潔瓊、アイリーン

Scikit-learn パッケージのあまり知られていない隠れた機能のいくつかを紹介します。

Scikit-learn は、すべての Python 機械学習パッケージの中で習得しなければならない最も重要なパッケージです。サポートベクターマシン、ランダムフォレスト、勾配ブースティング、k-means、密度ベースクラスタリングアルゴリズム (DBSCAN) など、さまざまな分類アルゴリズム、回帰アルゴリズム、クラスタリングアルゴリズムが含まれており、Python 数値ライブラリ NumPy および科学ライブラリ SciPy と連携するように設計されています。

単一のインターフェースを通じて、さまざまな教師ありおよび教師なしアルゴリズムを提供します。このライブラリは、本番環境での使用時に優れた堅牢性とサポートを実現することを目指しており、使いやすさ、コード品質、コラボレーション、ドキュメント生成、パフォーマンスなどの問題に重点を置いています。

Scikit-learn ライブラリは、機械学習の初心者と経験豊富な専門家の両方が習得するのに最適なパッケージです。ただし、経験豊富な機械学習の専門家であっても、このパッケージに隠されており、タスクを簡単に達成するのに役立つ機能のいくつかに気付いていない可能性があります。次に、この記事では、scikit-learn ライブラリ内のあまり知られていないメソッドやインターフェースをいくつか紹介します。

パイプライン

これを使用して、複数の推定値を 1 つに連結できます。この方法は、通常、特徴選択、正規化、分類など、データを処理する際に固定された一連の手順があるため、非常に便利です。

詳細情報:

http://scikit-learn.org/stable/modules/pipeline.html

グリッド検索

ハイパーパラメータは、パラメータ推定では直接学習されません。scikit-learn ライブラリでは、ハイパーパラメータは推定器クラスのコンストラクターに引数として渡され、ハイパーパラメータ空間で最適なクロス検証スコアが検索されます。パラメータ推定器の構築時に提供されるパラメータは、この方法で最適化できます。

詳細情報:

グリッド検索

検証曲線

それぞれの推定方法には長所と短所があり、その一般化誤差はバイアス、分散、ノイズに分解できます。推定値のバイアスは、異なるトレーニングセットの平均誤差であり、推定値の分散は、異なるトレーニングセットに対する感度であり、ノイズはデータ自体の特性です。

個々のハイパーパラメータがトレーニングスコアと検証スコアに与える影響をプロットすると、推定器が特定のハイパーパラメータ値に対して過剰適合しているか、不足適合しているかがわかるので、非常に便利です。 Scikit-learn ライブラリには、上記のプロセスを実現できる組み込みメソッドがあります。

詳細情報:

参考文献

カテゴリデータのワンホットエンコーディング

これは非常に一般的なデータ前処理手順であり、分類または予測タスク (定量的特徴とテキスト特徴が混在するロジスティック回帰など) でマルチクラス変数を 2 つのカテゴリにエンコードするためによく使用されます。 Scikit-learn ライブラリは、これを実行するための効率的かつ簡単な方法を提供します。 Pandas データフレームまたは Numpy 配列に対して直接操作できるため、ユーザーは特別なマップ関数を記述したり、これらのデータ変換用の関数を適用したりできます。

Scikit-learn ライブラリの詳細情報:

http://scikit-learn.org/stable/modules/preprocessing.html#encoding-categorical-features

多項式特徴生成

数多くの回帰モデリングタスクにおいて、モデルの複雑さを増す一般的な効果的な方法は、説明変数に非線形特性を追加することです。多項式特徴は、特徴の高次項と交差項を取得できるため、シンプルで一般的に使用される方法です。 Scikit-learn ライブラリには、指定された一連の機能とユーザーが選択した最高の多項式に基づいて高次の交差項を生成できる既製の関数があります。

詳細情報:

多項式特徴を生成する

データセットジェネレーター

Scikit-learn ライブラリには、さまざまなサイズと複雑さの人工データセットを構築するために使用できるさまざまなランダムサンプルジェネレーターが含まれており、分類、クラスタリング、回帰、行列分解、および多様体テストの機能を備えています。

詳細情報: http://scikit-learn.org/stable/datasets/index.html#sample-generators