模型的“参数”与“超参数”

目录

前言

一、“参数”与“超参数”

二、模型训练与最终模型

三、参考文献

---

前言

        起初由于团队项目临时需要，花了个一两天的时间直接仓促上手Machine Learning。最近回顾机器学习的模型评估与选择方面的内容时，才幡然发现在初识机器学习阶段对于个别知识点的理解存在偏差，故特别记录下自身对于模型训练过程中的几个不正确的认识。

---

一、“参数”与“超参数”

• 通常所述的模型调参，是指算法的“超参数”，可以理解为模型的“外部参数”；

        周志华老师在机器学习一书中对于“超参数”的定义是：“超参数”是指算法的参数，数目通常在10以内。比如决策树模型中的最大深度、结点划分的最小样本数等，通过人工设定这类参数的具体数值即产生模型。

• 模型参数，是指在模型训练中通过训练样本获得的最优参数，可理解为模型的“内部参数”；

        而“模型参数”，数目可能很多，例如大型“深度学习”模型甚至有上百亿个参数，其通过学习来产生多个候选模型。比如神经网络的连接权值。

二、模型训练与最终模型

        起初在大量的Copy&Paste中，误以为模型样本上产生的模型就是最终模型，今天回顾周志华老师的机器学习时发现事实并不如此。模型训练本质上是在训练样本上产生模型，但训练样本规模并无法与真实的数据样本规模一致，从而可能会存在一定的估计偏差。因此，在完成一轮模型训练后在已经确定模型超参数的情况下，应该在原始数据集上再完成一轮训练才得到最终模型。

三、参考文献

        周志华，机器学习，北京：清华大学出版社，2016.