AI 初心者必読 | パラメーターとハイパーパラメーターの違いがまだよくわかりませんか?

[[244078]]

コンピュータサイエンスには多くの用語があり、それらの多くは一貫して使用されていません。同じ用語であっても、異なる分野の人々はそれを異なる方法で理解します。

たとえば、 「モデル パラメーター」と「モデル ハイパーパラメーター」です。

初心者にとって、明確な定義のないこれらの用語は確かに混乱を招く可能性があります。特に統計学や経済学の分野から来た人にとっては。

これらの用語を詳しく見てみましょう。

モデルパラメータとは何ですか?

モデル パラメーターは、データから値を推定できるモデル内の構成変数です。

• モデルは予測を行うためにそれらを必要とします。
• それらの値によって、使用できるモデルが定義されます。
• それらはデータから推定または学習されます。
• 通常、プログラマーが手動で設定することはありません。
• これらは通常、学習モデルの一部として保存されます。

パラメータは機械学習アルゴリズムの鍵となります。これらは通常、過去のトレーニング データから要約されます。

従来の機械学習の文献では、モデルは仮説であり、パラメーターは特定のデータセットに合わせた仮定であると考えることができます。

最適化アルゴリズムは、モデルパラメータを推定するための効果的なツールです。

• 統計: 統計では、ガウス分布などの変数の分布を想定できます。ガウス分布の 2 つのパラメータは、平均 (μ) と標準偏差 (シグマ) です。これは機械学習に適しており、これらのパラメータをデータから推定し、予測モデルの一部として使用することができます。
• プログラミング: プログラミングでは、関数にパラメータを渡すことができます。この場合、引数は関数パラメータであり、値の範囲の 1 つを持つことができます。機械学習では、使用する特定のモデルは、新しいデータに対して予測を行うためにパラメータを必要とする関数です。

モデルのパラメータの数が固定か可変かによって、そのモデルが「パラメトリック」か「非パラメトリック」かが決まります。

モデル パラメータの例には次のものがあります。

• ニューラル ネットワーク内の重み。
• サポート ベクター マシン内のサポート ベクター。
• 線形回帰またはロジスティック回帰における係数。

モデルのハイパーパラメータとは何ですか?

モデルのハイパーパラメータは、データから値を推定できないモデルの外部の構成です。

• これらは、モデル パラメータの推定によく使用されます。
• 通常は手動で割り当てられます。
• 通常はヒューリスティック設定を使用できます。
• これらは多くの場合、特定の予測モデリングの問題に合わせて調整されます。

特定の問題に対するモデルのハイパーパラメータの最適値を知ることはできませんが、経験則を使用したり、他の問題で値を複製したり、試行錯誤を通じて最適値を探したりすることはできます。

機械学習アルゴリズムを特定の問題に合わせて調整すると (たとえば、グリッド検索やランダム検索を使用する場合)、モデルのハイパーパラメータまたはシーケンスが調整され、最も優れたモデル予測につながるパラメータが検出されます。

• 「多くのモデルには、データから直接推定できない重要なパラメータがあります。たとえば、K 近傍分類モデルでは、適切な値を計算するために使用できる解析式がないため、このようなタイプのモデル パラメータはチューニング パラメータと呼ばれます。」

- 64-65 ページ、応用予測モデリング、2013 年

モデルハイパーパラメータがモデルパラメータと呼ばれた場合、多くの混乱が生じることになります。この混乱を克服するための経験則は次のとおりです。

モデル パラメータを手動で指定する必要がある場合、それはおそらくモデル ハイパーパラメータです。

モデルのハイパーパラメータの例には次のものがあります。

• ニューラル ネットワークをトレーニングするための学習率。
• サポート ベクター マシンの C および sigma ハイパーパラメータ。
• K 個の最も近い近傍。

要約すると、モデルパラメータはデータから自動的に推定されます。ただし、モデルのハイパーパラメータは手動で設定され、プロセス内でモデルパラメータの推定に使用されます。

モデルのハイパーパラメータは、手動で設定および調整する必要がある機械学習の一部であるため、パラメータと呼ばれることがよくあります。