正则化

过拟合问题

导致结果不正确。

解决办法

使$\theta$的取值尽量小，已达到曲线平滑。
但当$\theta$取值过小会导致欠拟合
改变代价函数
线性回归：
$$J(\theta )=\frac{1}{2m}(\sum _{i=1}^m(h_{\theta }(x^i)-y(x^i){)}^2+\lambda \sum _{j=1}^n{\theta }_j^2)$$
使用梯度下降迭代
$${\theta }_0={\theta }_0-\alpha \frac{1}{m}(h_{\theta }(x^{(i)})-y^{(i)})x_0^{(i)}$$
$${\theta }_j={\theta }_j-\alpha [\frac{1}{m}(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}+\frac{\lambda }{m}{\theta }_j]$$
${\theta }_j变形$
$${\theta }_j={\theta }_j(1-\frac{\lambda }{m}{\theta }_j)-\alpha \frac{1}{m}(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$

使用正则化公式
$$\theta ={\left(X^{T}X+\lambda \left[\begin{array}{ccccc}0& & & & \\ & 1& & & \\ & & 1& & \\ & & & \ddots & \\ & & & & 1\end{array}\right]\right)}^{-1}{X}^{T}y$$

其中
$$X=\left[\begin{array}{c}x(1{)}^T\\ x(2{)}^T\\ ⋮\\ x(m{)}^T\end{array}\right],y=\left[\begin{array}{c}y(1)\\ y(2)\\ ⋮\\ y(m)\end{array}\right]$$
$$X为m\ast (n+1)的矩阵，y为m维向量$$
logistic回归：
与线性回归相同，但是$h_{\theta }(X)$定义不同。