过拟合
index：
- 机器学习中过拟合的概念
- 抑制过拟合的方法
过拟合
过拟合：模型过于复杂，在训练集上面的拟合效果非常好 甚至可以达到损失为0 但是在测试集的拟合效果很不好
欠拟合： 模型过于简单 在训练集和测试集的拟合的效果都不好
例： sin曲线拟合
数据产生模型是由sin函数和噪声组成的。 这个随机生成的噪声满足正太分布 均值为0 方差：0.003的平方
使用模型生成10个数据点 绿色代表函数 sin函数
关于多项式拟合：
当j=0时即用0阶多项式进行拟合 拟合的函数 是一条y=W0的直线
当j=1时即用1阶多项式进行拟合 拟合的函数 是y=W1x+W0 是一条有斜率 有截距的一次函数 形状是一条直线
当j=2时即用2阶多项式进行拟合 拟合的函数 是y=W2x²+ W1x+W0 是一条抛物线
以此类推 不同阶级的多项式拟合函数
下图为不同阶级的多项式拟合sin函数的图像：
由上图可以看出： 0阶多项式 和 1阶多项式 模型过于简单不能 拟合出sin函数的形状 这种现象叫做欠拟合
3阶多项式 刚好拟合出sin函数的图像 这样的拟合效果是理想中的效果
9阶多项式 模型过于复杂 虽然把图中所有的数据点都记住了 但是模型自身波动很大 对于新的数据不能有好的预测效果 这种现象叫过拟合。
也可以通过训练误差和预测误差的角度来分析模型的拟合程度：
误差计算公式：
注：公式中 开根号 是为了把数值 放在 与 y相同的量级上。
不同阶级的多项式函数在训练集和测试集上面的拟合效果
从上图可以看出：
从0到3 模型过于简单 训练集和测试集拟合的效果都不好
从3到8 ： 3点模型达到了 拟合的效果 从3 往后 模型变的更加复杂 但是对于拟合的效果没有更好的提升 这块模型复杂度提升是不必要的 反而增加了 计算的复杂度 和 内存的占用。
从8到9 ：模型更加复杂 完全拟合训练数据 但是在预测数据上面的预测误差大幅度的加大 这样的模型不能在新的数据上面有很好的预测效果 属于过拟合现象
评价模型性能的不应该在 在训练集的学习的效果上 而应该在新的数据（测试集）上的 预测能力上
这个叫 模型的泛化能力 也叫推广性。
不同拟合效果的参数
可以看到过拟合模型的参数 数值上是很大的，在图像上面显示就是即使x小幅度的变化 在预测残差上面 也会波动很大。
抑制过拟合的方法
1增加训练的样本数量
2在损失函数上面添加正则项
3改变数据生成模型的噪声生成的方差
在目标函数中增加正则
在给定有限训练样本数目时，可通过在目标函数中增加正则项减弱过
拟合现象
给定N = 10个样本点，目标函数中增加L2正则项，得到岭回归
(Ridge Regression)
岭回归系数（正则项系数）：
• λ越大，回归系数（绝对值/平方）越小，模型越简单。
不同正则参数对应岭回归的训练误差 vs. 测试误差
λ越大，对模型复杂度惩罚越多，模型越简单，越不容易过拟合。
常用正则项
j是从1开始计算的，因为j=0时 W0对应的是截距项 正则项不对截距项进行惩罚。
还有一个正则是L0正则 他可以是一部分参数w 数值为0 从而起到 特征选择的效果
但是L0正则是一个np难问题 我们一般不使用L0正则
L1正则是L0正则在数学上的最优凸优化 因此L1正则 有着 和L0 相似的效果 即把部分参数压制到接近0 的效果。
还有一种减弱过拟合的另一种方法是减少数据的噪声。就是减小生成的数据的波动大小
一般情况下 生成数据的函数是固定的
样本的数量也可能是固定的
我们最常用的抑制过拟合的方法就是添加正则项