機械学習について学びたい方はこちらをご覧ください。1ステップで専門家になる方法をお教えします！

パターン認識や機械学習のファンであれば、機械学習では避けられない重要な問題であるサポートベクターマシンの概念について聞いたことがあるはずです。

実際、この知識ポイントについては、非常に有名で興味深い伝説があります。

昔々、ある村に引退した英雄が住んでいました。その英雄は剣の腕が優れていたと言われていました。

暗く風の強い夜、悪魔が主人公の妻を誘拐しました。勇者は長年封印されていた剣を取り出し、妻を救うために魔王の城へと向かいました。しかし、悪魔は彼とゲームをしようと言いました。

悪魔はテーブルの上に2つの色のボールを置き、「手に持った剣を使ってボールを分けてください。ボールをさらに置いた後も同じルールを守らなければなりません」と言いました。

勇者は剣を抜いて振り回し、テーブルに亀裂を生じさせ、2つのボールを正確に分離しました。

それから悪魔はテーブルの上にさらにボールを置き、勇者は同じようにボールを素早く切りました。ボールが 1 つだけ正確に分割されなかったにもかかわらず、それでも素晴らしい仕事をしました。

主人公は、剣のマークの最適な位置は、剣のマークと両側のボールの間にできるだけ多くの隙間を残すことだということを発見しました。

この考えを念頭に置いておくと、悪魔がさらに多くのボールを放ったとしても、境界線をうまく引くことができるでしょう。

もちろん、悪魔は諦めないので、ボールを投げ捨てて、分離させます。

主人公も、このようにボールが並んでいるのを見て、少し戸惑いました。悪魔が挑発モードに入った瞬間、勇者は新たな方法を思いついた。

彼は左手でテーブルを叩くと、ボールは空中に飛んだ。それから、彼は空中に舞い上がり、手にした剣で光の波を描き、ちょうど二つの球の真ん中を通過しました。

悪魔の視点からボールを​​見ると、曲線で分割されているように見えます。

主人公は妻を救い出し、その話は村中に広まり美しい物語となりました。これが現在のサポートベクターマシンの伝説となっています。

この話を聞いて、サポートベクターマシンについてより直感的に理解できるようになりましたか?

今日は、校長先生が線形サポートベクターマシン問題について詳しく説明します。

サポートベクターマシン (SVM)

サポート ベクター マシン (SVM) は、主にパターン認識の分野でデータ分類問題を解決するために使用されます。これは、教師あり学習アルゴリズムの一種です。

SVM が解決する必要がある問題は、冒頭で説明した典型的な 2 分類問題で説明できます。図aに示すように、2次元座標に赤いボールと青いボールがたくさんあります。それらを直線で分離できますか？明らかにそれは可能であり、この条件を満たす直線は複数存在することが明らかです。

この種の問題は、パターン認識の分野では線形分離可能問題と呼ばれます。

サポートベクター

図 b と c はそれぞれ 2 つの異なる分類方式を示しており、黒の実線は「決定面」と呼ばれる境界線です。

さまざまな分類器 (決定木、ニューラル ネットワーク、ロジスティック回帰など) はさまざまな分類境界を提供し、それらはすべて「最適な」決定境界を探しています。 SVM についても同様です。

図(b)を例にとると、点線の位置は決定面の方向と決定面に最も近いサンプルの位置によって決まります。 2 本の点線間の垂直距離は、この決定面に対応する分類間隔です。

明らかに、データセットを正しく分離できる各方向の最適な決定面が存在します。異なる方向の決定面の分類間隔は通常異なります。 「最適な間隔」を持つ決定面は、SVM が求める最適なソリューションです。最良の解に対応する両側の点線で示されるサンプル ポイントは、SVM のサポート サンプル ポイントであり、サポート ベクターと呼ばれます。

図(b)のデータに戻ると、決定面AはSVMが求める最適解であり、座標系の点線上の3つのサンプル点の対応するベクトルはサポートベクターと呼ばれます。

[[256284]]

***決定境界

では、適切な意思決定の境界をどのように決定すればよいのでしょうか? SVM の重要な仮定を見てみましょう。決定境界と決定境界の両側にある最も近いサンプル間の間隔は *** であり、この時点での決定境界は *** 決定境界です。

間隔

上記の例は2次元平面での例です。標本空間では、分割超平面は次の線形方程式で記述できます。

ここで、w は法線ベクトルであり、超平面の方向を決定します。b は変位であり、超平面と原点の間の距離を決定します。トレーニングサンプル（xi,yi）については、次の式が満たされます。

式（2）は絶対区間仮説と呼ばれ、yi=+1はサンプルが陽性サンプルであることを示し、yi=−1はサンプルが陰性サンプルであることを示します。

一連の変換の後、区間の最終的な表現は次のようになる。

間隔最適化

SVMの考え方は、区間を最大化することです。

明らかに、2||w||を最大化することは||w||を最小化することと同等であり、式（6）は次のように変形できる。

式(7)はサポートベクターマシンの基本形である。

双対問題の解 - ラグランジュ乗数公式

このような制約付き最小値問題を見ると、ラグランジュ乗数法を考えるのが自然です。

最終的なソリューションは、次のモデルから得られます。

この結論から、サポート ベクター マシンの重要な特性がわかります。トレーニングが完了した後、ほとんどのサンプルを保持する必要がなく、最終モデルはサポート ベクターにのみ関連します。

アプリケーションシナリオ

近年、SVMは画像認識、信号処理、遺伝子マップ認識などに広く利用されています。例えば、無人運転技術では、道路上の矢印標識を識別する必要があり、ここでSVMが使われています。

[[256291]]

たとえば、HOG (方向勾配ヒストグラム) 機能は、コンピューター ビジョンや画像処理におけるオブジェクト検出に使用される機能記述子です。現在、HOG 特徴と SVM 分類器を組み合わせたものが画像認識、特に歩行者検出に広く使用されており、大きな成功を収めています。

サポートベクターマシンとディープラーニング

ディープラーニング (DL) と比較して、SVM の特徴と適用可能なシナリオは何ですか?

一般的に、SVM は小規模および中規模のデータ スケール(比較的小規模)、非線形(ペナルティ変数)、および高次元(カーネル関数) のパターン認識を解決する上で大きな利点があります。 DL で処理される対象は主に画像と音声であり、その利点はオリジナルの特徴を表現できることにあります。

ただし、ニューラル ネットワークはブラック ボックス モデルと同等であるため、一部の重要なアプリケーションではリスクが大きくなる可能性があります。

[[256292]]

たとえば、スマートヘルスケアの分野では、医師がディープラーニングベースのシステムを使用していますが、ニューラルネットワークの「ブラックボックス」の性質により、診断原理を患者に説明できません。リスクが高いため、ユーザーは拒否する可能性が非常に高くなります。