机器学习（四）————正则化

正则化：减少过拟合问题

欠拟合：算法没有很好地拟合数据，具有高偏差

过拟合：会在变量过多的时候出现，无法泛化到新样本，具有高方差

以下从左到右：欠拟合，拟合，过拟合

---

正则化的思想

奥卡姆剃刀法则：用更少的东西做更多事

当复杂的模型容易出现过拟合，我们可以通过控制模型的中的某些参数，让模型向着简单发展，来减轻拟合。（即无论有多少项，通过调整权重，使函数更加光滑）

线性回归的正则化：
正则化线性回归的代价函数：

其中λ为正规化参数，
参数λ就是用来控制这两者之间的平衡，目标就是平衡拟合训练的目的和保持参数值较小的目的。（即欠拟合和过拟合的平衡）

且惩罚参数从θ1开始，对θ0不惩罚
（在实际情况中，是否包含θ0只有很小的差异）

惩罚项的目的是尽量减少代价函数的均方误差

而θj

由于(1-a*λ/m)<1，则相当于每次跟新在不改变后面一项的情况下使θj减小，降低高次项的权重

逻辑回归的正则化：
与线性回归基本一样，只不过h（x）函数不同