機械学習のヒント: モデルパラメータとハイパーパラメータの違いをご存知ですか?

[[199395]]

導入

機械学習におけるモデルパラメータとモデルハイパーパラメータは機能やソースが異なり、モデルハイパーパラメータはモデルパラメータと呼ばれることが多く、初心者にとっては混乱を招きやすいものです。この記事では、モデル パラメーターとモデル ハイパーパラメーターを定義および比較し、両者の本質的な違いを指摘します。モデル パラメーターはモデル内の構成変数であり、その値はデータを使用して推定できます。一方、モデル ハイパーパラメーターはモデル外の構成変数であり、その値は手動で設定する必要があります。

調査を行うと、多くの用語に遭遇します。時には、同じ名前の用語が異なる研究分野に現れることがあります。例えば、統計学や経済学でよく使われる「モデルパラメータ」や「モデルハイパーパラメータ」は機械学習にも存在します。

機械学習分野における「モデルパラメータ」と「モデルハイパーパラメータ」は、機能やソースの点で異なります。初心者がこの2つを明確に理解していないと、特に統計学や経済学の分野からの初心者は、学習が難しいことがよくあります。

機械学習を適用する際の「パラメトリック モデル」と「ハイパーパラメトリック モデル」の明確な定義をすべての人に提供するために、この記事ではこれら 2 つの用語について詳しく説明します。

まず、「パラメータ」とは何かを見てみましょう。

パラメータは、過去のトレーニング データから学習されたモデルの一部として、機械学習アルゴリズムの鍵となります。

統計における「パラメータ」:

統計学では、ガウス分布などの変数の分布を想定できます。ガウス分布の 2 つのパラメータは、平均 (μ) と標準偏差 (シグマ) です。これは機械学習で役立ち、これらのパラメータをデータから推定し、予測モデルの一部として使用できます。

プログラミングにおける「パラメータ」:

プログラミングでは、関数にパラメータを渡すことができます。この場合、引数は関数パラメータであり、値の範囲を持つことができます。機械学習では、使用している特定のモデルは、新しいデータに対して予測を行うためにパラメータを必要とする関数です。

「パラメータ」と「モデル」の関係は何ですか?

従来の機械学習の文献によれば、モデルは仮説として考えられ、パラメータは特定のデータセットに基づく仮説に対する具体的な調整です。

モデルのパラメータの数が固定か可変かによって、そのモデルが「パラメトリック」モデルか「非パラメトリック」モデルかが決まります。

モデルパラメータとは何ですか?

簡単に言えば、モデルパラメータはモデル内の構成変数であり、その値はデータを使用して推定できます。

具体的には、モデル パラメータには次の特性があります。

• モデル予測を行うにはモデル パラメータが必要です。
• モデルパラメータ値はモデルの機能を定義します。
• モデルパラメータはデータから推定または学習されます。
• モデル パラメータは通常、実務者によって手動で設定されるものではありません。
• モデル パラメータは通常、学習したモデルの一部として保存されます。

モデル パラメータは、多くの場合、パラメータの可能な値を効率的に検索する最適化アルゴリズムを使用して推定されます。

モデル パラメータの例には次のものがあります。

• 人工ニューラル ネットワークの重み。
• サポート ベクター マシン内のサポート ベクター。
• 線形回帰またはロジスティック回帰における係数。

モデルのハイパーパラメータとは何ですか?

モデルのハイパーパラメータは、データから値を推定できないモデルの外部の構成です。

具体的な機能は次のとおりです。

• モデルハイパーパラメータは、モデルパラメータを推定するプロセスでよく使用されます。
• モデルのハイパーパラメータは、多くの場合、実践者によって直接指定されます。
• モデルのハイパーパラメータは、多くの場合、ヒューリスティックを使用して設定できます。
• モデルのハイパーパラメータは通常、特定の予測モデリング問題に合わせて調整されます。

最適値を取得する方法: 特定の問題に対して、モデルのハイパーパラメータの最適値を知ることはできません。しかし、経験則を使用して最適値を見つけたり、他の問題に使用された値を複製したり、試行錯誤したりすることができます。

モデルのハイパーパラメータの例には次のものがあります。

• ニューラル ネットワークをトレーニングするための学習率。
• サポート ベクター マシンの C および sigma ハイパーパラメータ。
• k 近傍の k。

「モデルパラメータ」と「モデルハイパーパラメータ」

両者の関係:

グリッド検索やランダム検索を使用する場合など、特定の問題に合わせて機械学習アルゴリズムを調整するときは、モデルまたはコマンドのハイパーパラメータを調整して、モデルの予測能力が最も高くなるものを見つけます。モデル内の多くの重要なパラメータは、データから直接推定することはできません。たとえば、K 最近傍分類モデルでは、このタイプのモデル パラメーターは、適切な値を計算するための解析式がないため、チューニング パラメーターと呼ばれます。

– 64-65 ページ、応用予測モデリング、2013 年

区別する：

モデルのハイパーパラメータはモデルパラメータと呼ばれることが多く、誤解を招く可能性があります。これに取り組むための良い経験則は次のとおりです。「モデル パラメーター」を手動で指定する必要がある場合、それはおそらくモデル ハイパーパラメーターです。

要約する

この記事を読めば、モデル パラメータとモデル ハイパーパラメータの明確な定義と違いを理解できるようになります。

要約すると、モデル パラメータはデータから自動的に推定されますが、モデル ハイパーパラメータは手動で設定され、モデル パラメータを推定するプロセスで使用されます。