フロントエンドでも機械学習を理解する必要があるパート2

[[376486]]

前回の記事では機械学習の基礎知識について説明しました。この記事ではいくつかのアルゴリズムの探索を始めます。私たちはフロントエンドのR＆Dエンジニアなので、コーディングにはml.jsライブラリを選択します。今回取り上げるアルゴリズムは、KNN、決定木、ランダムフォレスト、ナイーブベイズ、サポートベクターマシン、線形回帰、K平均法クラスタリングアルゴリズムなどです。これら7つのアルゴリズムは、教師あり学習アルゴリズム（分類アルゴリズム、回帰アルゴリズム）と教師なし学習アルゴリズムにまたがっています。これらは、フロントエンドの入門機械学習の必修コースとして使用できるだけでなく、エンドインテリジェンスの時代の必読書としても使用できます。

1. 教師あり学習アルゴリズム

1.1 分類アルゴリズム

1.1.1 K近傍法分類アルゴリズム（KNN）

定義

特徴空間内のサンプルの k 個の最も類似したサンプル (つまり、特徴空間内で最も隣接するサンプル) のほとんどが特定のカテゴリに属する場合、サンプルもこのカテゴリに属します。（通常、kは20以下の整数です）

2. メリットとデメリット

1. 利点

シンプルで効果的
高精度
外れ値に敏感ではない
トレーニングは不要

2. デメリット

計算量と空間計算量が大きい（計算量が多く、メモリのオーバーヘッドが大きい）
K 値を指定する必要があります。K 値が適切に選択されていない場合、分類精度は保証されません。（K値が小さすぎると外れ値の影響を受けやすく、過剰適合になりがちです。K値が大きすぎるとサンプルバランスの問題の影響を受けます）

3. 距離を計算する

KNN アルゴリズムの核となる内容は距離を計算することです。2 つのサンプル間の距離はユークリッド距離で計算できます。計算式は次のとおりです。

IV. 応用シナリオ

文字認識、テキスト分類、画像認識などの分野で使用できる小規模データシナリオ（数千から数万のサンプル）

5. コード

KNN は'ml-knn'を必要とします。 
 
 // トレーニングセットの特徴
定数データセット = [
    [1.0, 1.1],
    [1.0, 1.0],
    [0, 0],
    [0, 0.1]
 ]; 
 
 // トレーニングセットターゲット
const labels = [ 'A' , 'A' , 'B' , 'B' ]; 
 
 // KNN アルゴリズムをインスタンス化します (トレーニング用)
 const knn = new KNN(データセット、ラベル、{k: 3}); 
 
 // 予測するポイント
定数predictDataSet = [[0, 0], [3, 1]]; 
 
 // 予測する
予測ラベル = knn.predict(予測データセット);
 console.log(predictLabels); // [ 'B' , 'A' ]

1.1.2 決定木

定義

決定木とは、様々な状況の既知の確率に基づいて決定木を構築し、正味現在価値の期待値がゼロ以上となる確率を求め、プロジェクトのリスクを評価し、その実現可能性を判断する意思決定分析手法の一つで、確率分析を直感的に利用するグラフィカルな手法です。決定木は、各内部ノードが属性のテストを表し、各ブランチがテスト出力を表し、各リーフノードがカテゴリを表すツリー構造です。

2. メリットとデメリット

1. 利点

計算の複雑さは高くない
出力は分かりやすい
中間値の欠損には影響されない
連続フィールドとカテゴリフィールドを処理できる
無関係な特徴データを処理できる

2. デメリット

過剰適合が発生する可能性があり、剪定が必要となる
各カテゴリのサンプル数が一貫していないデータの場合、情報ゲインはより多くの値を持つ特徴を優先する傾向があります。

3. 応用シナリオ

これは、分類問題や回帰問題を解決するためによく使用されます。このアルゴリズムを使用するための前提条件は次のとおりです。

1. 意思決定者が達成したい明確な目標を持つ

2. 意思決定者が選択できる実行可能な選択肢が2つ以上ある

3. 意思決定者が制御できない不確実な要因が2つ以上ある

4. 異なる要因による異なるプランの利益または損失を計算できる

5. 意思決定者は不確実性の発生確率を推定できる

4. 重要な知識ポイント

1. 情報エントロピー

情報は非常に抽象的な概念であり、定量化が困難です。情報の量的測定の問題を解決するために、シャノンは「情報エントロピー」という概念を提唱しました。情報エントロピーは情報に基づいており、可能性のある情報をランダム変数として定義します。変数の期待値が情報エントロピーです。情報エントロピーの計算式は（ビット単位）次のとおりです。

注: エントロピーは不確実性を測定するために使用されます。エントロピーが大きいほど不確実性も大きくなり、逆もまた同様です。2. 情報ゲイン

情報ゲインは、決定木アルゴリズムで特徴を選択するために使用される指標です。情報ゲインが大きいほど、その特徴の選択性は高くなります。確率論では、分類するセットのエントロピーと特定の特徴を選択する条件付きエントロピーの差として定義されます。計算式は次のとおりです。

注記：

g(D, A)は、トレーニングデータセットDにおける特徴Aの情報ゲインを表す。
H(D)は集合Dの情報エントロピーを表す。
H(D|A)は条件付きエントロピーを表す

3. 一般的なアルゴリズム

（１）ID3アルゴリズム

ID3 アルゴリズムは、特徴選択の基準として情報ゲインを使用します。情報ゲインが大きいほど、この機能による分類後に情報の不確実性を排除できます。

（２）C4.5アルゴリズム

ID3 アルゴリズムには 2 つの大きな欠点があります。1 つは、特徴のカテゴリが増えるほど、計算される情報ゲインが大きくなり、生成される決定木が広く浅くなりやすいことです。もう 1 つは、離散変数しか処理できず、連続変数は処理できないことです。 C4.5はID3アルゴリズムに基づく特徴選択として情報利得率を使用します。カテゴリのペナルティ係数を増やすことで、カテゴリが増えると情報利得が大きくなる問題を回避します。同時に、連続変数の平均を離散化することで連続変数を処理できない問題も解決できます。

（３）CARTアルゴリズム

C4.5 には回帰問題を処理できないという欠点がありますが、これは CART によって解決されます。 CART は情報エントロピーを通じて最適な分割特徴を選択するのではなく、ジニ係数 (ジニ不純度) を使用します。この 2 つは情報量を同様の方法で測定しますが、ジニ係数は対数演算がないため、計算オーバーヘッドを大幅に削減できます。

5. コード

irisDataset を require( 'ml-dataset-iris' );
 const { DecisionTreeClassifier } = require( 'ml-cart' ); 
 
 // トレーニングセット内の特徴値を取得する
定数データセット = irisDataset.getNumbers();
 // トレーニングセット内のターゲット値を取得し、それをスカラーに変換します
定数ラベル = irisDataset
    .getClasses()
    .map(elem => irisDataset.getDistinctClasses().indexOf(elem)); 
 
 // 決定木分類器をインスタンス化する
const dTClassifier = 新しい DecisionTreeClassifier({
    ゲイン関数: 'gini' 、
    最大深度: 10,
    最小サンプル数: 3
 }); 
 
 // トレーニングを実行する
dTClassifier.train(データセット、ラベル); 
 
定数予測データセット = [[5.1,3.5,1.4,0.2]]; 
 
 // 予測する
const 結果 = dTClassifier.predict(predictDataset); 
 
 //結果を対応するテキスト形式に変換します
console.log(result.map(値 => irisDataset.getDistinctClasses()[値]));

1.1.3 ランダムフォレスト

定義

機械学習において、ランダムフォレストとは複数の決定木を含む分類器であり、その出力のカテゴリは個々の木が出力するカテゴリの大多数によって決定されます（ランダムフォレストは、アンサンブル学習の考え方によって複数の木を統合するアルゴリズムであり、その基本単位は決定木です）。

2. メリットとデメリット

1. 利点

優れた精度（統合アルゴリズムの特性により導入）
過剰適合防止機能: 決定木を平均化することで、過剰適合のリスクが軽減されます (ランダム機能によって導入されます)
大規模なデータセットを効率的に実行し、次元削減を必要とせずに高次元の特徴を持つ入力サンプルを処理できます。
分類問題における各特徴の重要性を評価する能力

2. デメリット

ノイズの多い分類や回帰問題では過剰適合が発生する可能性がある
決定木アルゴリズムよりも複雑で計算コストが高い

3. 重要な知識ポイント

1. ランダムフォレストの各ツリーの生成ルール（Aはトレーニングセット内のサンプルの総数、Nはトレーニングサンプルの数、Mは特徴の数を表す）

（１）各ツリーについて、そのツリーのトレーニングセットとして、トレーニングセットからN個のトレーニングサンプルをランダムに選択する。（２）定数m<を指定する。

2. トレーニングセットをランダムにサンプリングする必要があるのはなぜですか?

ランダムサンプリングは、各ツリーのトレーニングセットが異なることを保証するためです。ランダムサンプリングを使用しない場合、トレーニングの最終的な分類結果はまったく同じになります。

3. 置換抽出法はなぜ必要なのでしょうか?

復元サンプリングにより、各抽出の確率が同じになり、独立した同一の分布が実現され、各決定木が互いに独立していることが保証されます。

4. ランダムフォレストの分類効果（エラー率）に関連する要因は何ですか？

（１）森の中の２つの木の間の相関：相関が大きいほど、エラー率は高くなる

（２）フォレスト内の各ツリーの分類能力：各ツリーの分類能力が強いほど、フォレスト全体のエラー率は低くなります。

（注：特徴選択数mが減少すると、ツリーの関連性と分類能力もそれに応じて低下し、逆もまた同様です）

4. コード

irisDataset を require( 'ml-dataset-iris' );
 const { RandomForestClassifier } = require( 'ml-random-forest' ); 
 
 // トレーニングセット内の特徴値を取得する
定数データセット = irisDataset.getNumbers();
 // トレーニングセット内のターゲット値を取得し、それをスカラーに変換します
定数ラベル = irisDataset
    .getClasses()
    .map(elem => irisDataset.getDistinctClasses().indexOf(elem)); 
 
 // 分類器をインスタンス化する
const rFClassifier = 新しい RandomForestClassifier({
    シード: 3,
    最大機能: 0.8、
    置換: true 、
    推定者: 25
 }); 
 
 // トレーニングを実行する
rFClassifier.train(データセット、ラベル); 
 
定数予測データセット = [[5.1,3.5,1.4,0.2]]; 
 
 // 予測する
const 結果 = rFClassifier.predict(predictDataset); 
 
 //結果を対応するテキスト形式に変換します
console.log(result.map(値 => irisDataset.getDistinctClasses()[値]));

1.1.4 ナイーブベイズ

定義

ナイーブベイズ法 (NBC) は、ベイズの定理と特徴条件付き独立性の仮定に基づく分類方法です。まず、与えられたトレーニングセットを通じて、特徴語の独立性を前提として、入力から出力までの結合確率分布を学習し、学習したモデルに基づいて、入力 X から事後確率を最大化する出力 Y を見つけます。

2. メリットとデメリット

1. 利点

ナイーブベイズモデルは古典的な数学理論に由来し、安定した分類効率を備えています。
欠損データに影響されず、シンプルなアルゴリズムで、テキスト分類によく使用されます。
高い分類精度と高速性

2. デメリット

サンプルの独立性の仮定が使用されます。特徴属性が相関している場合、効果は低くなります。

3. 応用シナリオ

テキスト分類
テキスト認識
画像認識

IV. 重要な知識ポイント

1. ベイズの公式

注: ベイズの公式はP(W|C)とP(C|W)をつなぐものである。

2. ラプラス平滑化係数を導入する理由は何ですか?

計算された分類確率が 0 にならないようにするために、ラプラス平滑化係数が導入されます。つまり、P(W1|C) は 0 ではありません。計算式は次のとおりです。

注: αは指定された係数で、通常は1です。mはトレーニング文書でカウントされる特徴語の数です。

3つのベイズモデル

（１）ガウス分布ナイーブベイズ - 一般的な分類問題に使用される

（２）多項分布ナイーブベイズ - テキストデータに適している（特徴量は頻度を表す）

（３）ベルヌーイ分布ナイーブベイズ - ベルヌーイ分布とテキストデータに適用可能（特徴はそれが発生するかどうかを示す）

5. コード

irisDataset が必要です。
 GaussianNB は'ml-naivebayes'を必要とします。 
 
 // トレーニングセット内の特徴値を取得する
定数データセット = irisDataset.getNumbers(); 
 
 // トレーニングセット内のターゲット値を取得する
定数ラベル = irisDataset
    .getClasses()
    .map(elem => irisDataset.getDistinctClasses().indexOf(elem)); 
 
 
 //分類器をインスタンス化する
定数 GaussianNB = 新しい GaussianNB();
 // トレーニングを実行する
gaussianNB.train(データセット、ラベル); 
 
定数予測データセット = [[5.1,3.5,1.4,0.2]]; 
 
 // 予測する
const 結果 = gaussianNB.predict(predictDataset); 
 
 //結果を対応するテキスト形式に変換します
console.log(result.map(値 => irisDataset.getDistinctClasses()[値]));

1.1.5 サポートベクターマシン

定義

サポートベクターマシン (SVM) は、教師あり学習方式でデータのバイナリ分類を実行する一般化線形分類器です。その決定境界は、学習サンプルに対して解決された最大マージン超平面です。

2. メリットとデメリット

1. 利点

厳密な数学理論によってサポートされ、強力な解釈可能性を備え、統計的手法に依存せず、一般的な分類および回帰の問題を簡素化します。
上記のサポートベクトルは最終結果を決定し、外れ値の影響を受けず、重要なサンプルを捕捉し、多数の冗長なサンプルを排除するのに役立ちます。
アルゴリズムはシンプルで「堅牢性」に優れています
計算の複雑さは、サンプル空間の次元ではなくサポートベクトルの数に依存し、ある意味で「次元の呪い」を回避します。
強力な一般化能力

2. デメリット

大規模なトレーニングサンプルの実装は困難です。SVM のスペース消費は主に、トレーニングサンプルとカーネルマトリックスの保存に使用されます。SVM は二次計画法を使用してサポートベクトルを解きますが、二次計画法を解くには m 次マトリックスの演算が必要になるため、m の数が大きい場合、マトリックスの保存と計算に大量のマシンメモリと計算時間が消費されます。
多重分類問題を解決することが難しい: 従来のサポートベクターマシンアルゴリズムは、2 クラス分類アルゴリズムのみを提供します。多重分類問題を解決するには、複数の 2 クラスサポートベクターマシン (1 対多の組み合わせモード、1 対 1 の組み合わせモード、および SVM 決定木) を組み合わせる必要があります。
パラメータとカーネル関数の選択に敏感: サポートベクターマシンのパフォーマンスは、主にカーネル関数の選択によって決まります。

3. 応用シナリオ

SVM は、肖像認識、テキスト分類、手書き文字認識、バイオインフォマティクスなど、さまざまな分野のパターン認識問題に応用されています。

IV. 重要な知識ポイント

1. 重要な概念

（１）線形分離可能性：二次元空間において、２種類の点は直線によって完全に分離される。これを線形分離可能性という。

（２）最大マージン超平面：２次元空間から多次元空間に拡張し、２つの点集合を完全に正しく分割した超平面を形成する。この超平面をよりロバストにするために、最適な超平面（すなわち、２種類のサンプルを最大マージンで分離する超平面である最大マージン超平面）を求める。（2種類のサンプルを超平面の両側に分割し、両側の超平面に最も近いサンプルポイントから超平面までの距離を最大化する）

（３）サポートベクター：サンプル内の超平面に最も近い点をサポートベクターと呼ぶ。

（4）ソフトマージン：完全に線形分離できないサンプルに対しては、ソフトマージンを導入することができます。ハードマージンの厳しい条件と比較して、ソフトマージンでは、個々のサンプルが間隔帯域内に現れることが許可されます。 (注: ハード間隔とソフト間隔はどちらも、サンプルの完全な線形分離可能性またはほとんどのサンプルポイントの線形分離可能性を指します)

2. 線形分離処理の場合

線形分離不可能なサンプルを高次元空間にマッピングして、サンプルを高次元空間で線形分離可能にします。このとき、次元の増加は計算量の増加につながるため、カーネル関数を使用して対処する必要があります。カーネル関数を導入すると、高次元空間や無限次元空間の内積を計算する必要がなくなります。

3. カーネル関数導入のメリット

（１）計算負荷の軽減

（２）データ保存時のメモリ使用量の削減

4. 一般的なカーネル関数の分類

（１）線形カーネル関数（２）多項式カーネル関数（３）ガウスカーネル関数

5. コード

SVM は'libsvm-js/asm'を必要とします。 
 
定数SVM = 新しいSVM({
    カーネル: SVM.KERNEL_TYPES.RBF、
    タイプ: SVM.SVM_TYPES.C_SVC、
    ガンマ: 1,
    コスト: 1
 }); 
 
定数データセット = [[0, 0], [1, 1], [1, 0], [0, 1]];
定数ラベル = [0, 0, 1, 1];
 // トレーニングを実行する
svm.train(データセット、ラベル); 
 
 // 予測する
定数予測ラベル = svm.pred

1.2 回帰アルゴリズム

1.2.1 線形回帰

定義

線形回帰は、回帰方程式 (関数) を使用して、1 つ以上の独立変数 (固有値) と従属変数 (目標値) の関係をモデル化する分析方法です。独立変数が 1 つの場合を単変量回帰、独立変数が複数の場合を重回帰と呼びます。

2. メリットとデメリット

1. 利点

このアイデアはシンプルで、実装も簡単で、構築も迅速です。少量のデータや単純な関係に非常に効果的です。
これは強力な非線形モデルの必要性の基礎である
理解しやすく、結果も解釈しやすいため、意思決定分析に役立ちます。
回帰問題を解くことができる

欠点

多項式回帰は非線形データや相関のあるデータ特徴をモデル化するのが困難である。
非常に複雑なデータを適切に表現することが難しい

3. 応用シナリオ

トレンドライン（時系列データの長期トレンド）
疫学
財務（投資の体系的リスクの分析と計算）
経済学（消費者支出、固定投資支出などの予測）

IV. 重要な知識ポイント

回帰の目的 - 数値目標値を予測する
回帰パフォーマンス評価指標 - 平均二乗誤差 (MSE)
過剰適合

（１）定義：他の仮説よりもトレーニングデータに適合するが、テストデータセットのデータには適合しない仮説は、過剰適合であると考えられる。 (モデルが複雑すぎる)

（２）理由：独自の機能が多すぎる、ノイズの多い機能もある

（３）解決策：正規化

4. アンダーフィッティング

（１）定義：仮説がトレーニングデータセットで良好な適合を得られず、テストデータセットでもデータにうまく適合しない場合、その仮説は適合不足であるとみなされる。（モデルが単純すぎる）

（２）理由：学習データの特徴が少なすぎる

（３）解決策：データ特徴量を増やす

5. 正規化

（１）L2正則化

L2 正則化により、一部の W が非常に小さく (0 に近く) なり、特定の機能の影響が弱まります。リッジ回帰では L2 正則化が使用されます。

（２）L1正則化

L1 正則化により、W 値の一部を 0 に直接等しくすることができるため、特徴全体の影響が除去されます。 LASSO 回帰では L1 正則化が使用されます。

5. コード

定数 SimpleLinearRegression = require( 'ml-regression-simple-linear' ); 
 
定数x = [0.5, 1, 1.5, 2, 2.5];
定数y = [0, 1, 2, 3, 4]; 
 
定数回帰 = 新しい SimpleLinearRegression(x, y); 
 
定数結果 = 回帰.予測(3); 
 
 console.log(結果);

2. 教師なし学習アルゴリズム

2.1 K平均法クラスタリングアルゴリズム

定義

K 平均法クラスタリングアルゴリズムは反復的なクラスタリング分析アルゴリズムであり、その手順は次のとおりです。

特徴空間内のK点を初期クラスタリング中心としてランダムに設定する

他の各ポイントについては、K 中心までの距離を計算し、最も近いクラスター中心ポイントをラベルカテゴリとして選択します。

次に、各クラスターの新しい中心点（平均値）を再計算します。

計算された新しい中心点が元の中心点と同じであれば、プロセスは終了します。それ以外の場合は、2 番目の手順を繰り返します。

2. メリットとデメリット

1. 利点

原理はシンプルで実装も容易、アルゴリズムの複雑さも低い
強力な解釈可能性
大規模なデータセットを処理する場合、アルゴリズムは優れたスケーラビリティを確保できる。
クラスターがほぼガウス分布である場合にうまく機能します。

2. デメリット

K 値は手動で設定する必要があり、K 値が異なると結果も異なります。
初期クラスター中心に敏感で、選択方法によって結果が異なります。
外れ値に敏感
サンプルには平均値が必要です（データの種類は制限されています）
離散的すぎる分類、不均衡なサンプルカテゴリによる分類、または非凸形状による分類には適していません。
局所的最小値に収束する可能性がある

3. コード

kmeans は'ml-kmeans'を必要とします。 
 
 // クラスタ化する必要があるすべてのデータ
定数データ = [[1, 1, 1], [-1, -1, -1], [-1, -1, -1.5], [1, 2, 1]]; 
 
 // 重心
定数center = [[1, 2, 1], [-1, -1, -1]]; 
 
定数ans = kmeans(データ, 2, {
    初期化: 中心
}); 
 
コンソールにログ出力します。