吴恩达机器学习笔记8——正则化Regularization

第8章 正则化Regularization

1，过拟合（the problem of overfitting）

欠拟合，过拟合

过多的特征变量，很少的训练样本，会引起正则化。

有两种方法处理过拟合的问题，一个是减少特征的数量，人为选择去除部分特征或者模型选择算法，用算法来选择特征；

另一个是正则化，保留所有的特征，但是可以减小某个特征的幅度或者值。

2，代价函数

加入惩罚项，从1到100，一般不用对theta_0加惩罚项，加了也不要紧。

如果lambda太大了，拟合的结果就会趋于一条直线，惩罚力度太大，偏差太大。

3，线性回归的正则化（Regularized linear regression）

梯度下降法：正则化

正规方程：正则化

 

正则化可以解决不可逆的问题，只要加上lambda这一部分，就肯定是可逆的。

4，Logistic回归的正则化

在高级算法中，主要是构建出代价函数和梯度。