Regularized linear regression(正则化线性回归)----吴恩达机器学习

1.引入

接着上一篇文章的讲述，在上一篇文章中，我们将代价函数变为$$J(\theta )=\frac{1}{2m}[\sum _{i=1}^m(h_{\theta }(x)-y{)}^2+\lambda \sum _{i=1}^n{\theta }_j^2]$$接下来，我们将分别讨论梯度下降法和直接使用矩阵求逆方法在$J(\theta )$改变之后发生的变化。

1.1梯度下降法

梯度下降法需要更新的${\theta }_j$如下所示：$${\theta }_j={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$$对$J(\theta )$求导后我们可以发现${\theta }_j$的更新由原来的$${\theta }_j={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^i)-y^i)x_j^i$$变成了$${\theta }_0={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^i)-y^i)x_j^i({\theta }_0不参与更新)$$
$${\theta }_j={\theta }_j-\alpha [\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^i)-y^i)x_j^i+\frac{\lambda }{m}{\theta }_j]$$将第二个式子化简，我们可以得到$${\theta }_j={\theta }_j(1-\alpha \frac{\lambda }{m})-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^i)-y^i)x_j^i$$其中，$1-\alpha \frac{\lambda }{m}$是一个小于一但是很接近1的值

1.2正规方程法

之前我们有$$\theta =(X^{T}X{)}^{-1}{X}^{T}y$$ $J(\theta )$正则化后，变成了

这样做还有一个好处是，括号里的这一项一定可逆。

下节课我们将讲logistic regression的正则化对方法的具体改变。