機械学習におけるパラメトリック手法とノンパラメトリック手法

導入

前回の記事では、統計学習における予測と推論の違いを紹介しました。これら 2 つの方法の主な違いは最終目標にありますが、どちらも未知の関数 f を推定する必要があります。

[[427125]]

つまり、下の図に示すように、入力 (つまり、独立変数 X のセット) を出力 (つまり、ターゲット変数 Y) にマッピングする関数を学習する必要があります。

Y = f(X) + ε

未知の関数を推定するには、データにモデルを適合させる必要があります。推定しようとしている関数の形式は通常は不明であるため、それを取得するには異なるモデルを適用したり、関数 f の形式について何らかの仮定を立てたりする必要がある場合があります。一般に、このプロセスはパラメトリックまたは非パラメトリックになります。

本日の記事では、機械学習におけるパラメトリック手法とノンパラメトリック手法について説明します。さらに、主な違いと主な利点と欠点についても検討します。

パラメータ化されたメソッド

パラメトリック法では、通常、関数 f の形式について仮定を立てます。たとえば、未知の関数 f が線形であると仮定できます。つまり、関数は次のようになると仮定します。

f(X) = β₀ + β₁ X₁ + … + βₚ Xₚ

ここで、f(X) は推定する未知の関数、β は学習する係数、p は独立変数の数、X は対応する入力です。

推定する関数の形式について仮定を立て、この仮定に適合するモデルを選択したので、最終的にモデルをトレーニングして係数を推定するのに役立つ学習プロセスが必要になります。

機械学習におけるパラメトリック手法では通常、モデルベースのアプローチが採用されます。このアプローチでは、推定する関数の形式について仮定を立て、その仮定に基づいて適切なモデルを選択してパラメータセットを推定します。

パラメトリック手法の最大の欠点は、私たちが行う仮定が必ずしも正しいとは限らないことです。たとえば、関数の形式が線形であると想定しても、実際にはそうではありません。したがって、これらの方法は柔軟性の低いアルゴリズムを伴い、通常は複雑でない問題を解決するために使用されます。

パラメトリック法は非常に高速で、必要なデータもはるかに少なくなります (これについては次のセクションで詳しく説明します)。さらに、パラメトリック手法は柔軟性は低いものの、私たちが立てた仮定に基づいているため、解釈が容易です。

機械学習におけるパラメトリック手法には、線形判別分析、単純ベイズ、パーセプトロンなどがあります。

ノンパラメトリック法

一般に、ノンパラメトリック法とは、推定する関数の形式について根本的な仮定を行わないアルゴリズムのセットを指します。この方法では、仮定がないので、未知の関数 f のあらゆる形式を推定できます。

ノンパラメトリック法は、データポイントへの最適な適合を求めるため、より正確になる傾向があります。しかし、これは多数の観測値（未知の関数 f を正確に推定するために必要なもの）を犠牲にして行われます。そして、これらの方法はモデルのトレーニングには非効率的であることが多いです。もう 1 つの問題は、ノンパラメトリック手法では、アルゴリズムがより柔軟であるため、新しい未知のデータポイントにうまく一般化されない方法でエラーやノイズを学習することがあり、過剰適合が発生する可能性があることです。

ノンパラメトリック手法は非常に柔軟性が高く、基礎となる関数について何の仮定も立てないため、モデルのパフォーマンスを向上させることができます。

機械学習におけるノンパラメトリック手法の例としては、サポートベクターマシンや kNN などがあります。