机器学习-正则化

正则化：简单性

• 过拟合 通过降低复杂模型的复杂度来防止过拟合，这种原则称为正则化
  也就是说，并非只是以最小化损失（经验风险最小化）为目标，而是以最小化损失和复杂度为目标，这称为结构风险最小化
• minimize(Loss(Data|Model)+complexity(Model)
  因此，现在训练优化算法要考虑到两方面的因素，一个是Loss 一个是正则化项，
• 模型复杂度具体如何衡量呢？
  其实有两种方法
  将模型复杂度作为模型中所有特征的权重的函数
  将模型复杂度作为非零权重的特征总数的函数
• 比如L2正则化公式：
  L2=w1^2 +w2^2....wN2
  用此来衡量模型复杂度，通常接近于0的权重，对模型复杂度几乎没有什么影响，而离群权重则可能会产生巨大的影响

正则化项乘以名为lambda（正则化率）的标量

• minimize(Loss(Data|Model)+……complexity(Model)
  执行L2正则化 对模型会产生以下影响：
  使权重接近于0
  使权重的平均值接近于0 且呈正态分布
  在选择 lambda 值时，目标是在简单化和训练数据拟合之间达到适当的平衡：

• 如果您的 lambda 值过高，则模型会非常简单，但是您将面临数据欠拟合的风险。您的模型将无法从训练数据中获得足够的信息来做出有用的预测。

• 如果您的 lambda 值过低，则模型会比较复杂，并且您将面临数据过拟合的风险。您的模型将因获得过多训练数据特点方面的信息而无法泛化到新数据。

• 理想的 lambda 值生成的模型可以很好地泛化到以前未见过的新数据。 遗憾的是，理想的 lambda 值取决于数据，因此您需要手动或自动进行一些调整。