正则化(吴恩达机器学习笔记)

1.过拟合问题

如图所示：第一个模型是线性的，属于欠拟合，不能很好的适应数据集，而第3个则是一个高次方的模型，过于拟合原始数据，从而不能很好的预测数据，属于欠拟合。也不难看出，当x的次数越高，训练出来的模型就会对数据集拟合的越好，但是其预测效果就会变差。
解决方案：
①减少特征的数量，丢弃掉一些非必要的特征。
②正则化。保留所有特征，减小模型参数。

2.代价函数

在上面图中第三个模型为：$h_{\theta (x)}={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2^2+{\theta }_3{x}_3^3+{\theta }_4{x}_4^4$.由于高次方项，是我们的模型产生了过拟合，所以如果让这些高次方项的系数接近与0的话，就能很好的拟合数据了。所以我们要修改代价函数，修改后的代价函数为：
$J(\theta )=\frac{1}{2m}[{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\lambda {\theta }_3^2+\lambda {\theta }_4^2]$
如果$\lambda =1000$,则要想使代价函数最小，${\theta }_3,{\theta }_4$就约等于0。从而使高次方项的影响减少。
$J(\theta )=\frac{1}{2m}[{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\lambda {\sum }_{j=1}^n{\theta }_j^2]$
其中$\lambda$称为正则化参数，如果选择的正则化参数过大，就会把所有的参数都最小化了，导致$h_{\theta }(x)={\theta }_0$.还有${\theta }_0不参与正则化$

3.正则化线性回归

1.梯度下降法

正则化线性回归的代价函数为：
$J(\theta )=\frac{1}{2m}[{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\lambda {\sum }_{j=1}^n{\theta }_j^2]$
，运用梯度下降法法最小化得：

2.正规方程

其中矩阵的尺寸为（n+1）*（n+1）.

4.正则化逻辑回归

其正则化后的代价函数为：

进行梯度下降法：