吴恩达机器学习笔记——第二周

多变量线性回归

假设

$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3+{\theta }_4{x}_4$
为了表示方便，我们定义一个单纯为了计算方便的特征，也就是$x_0=1$.
此时$h_{\theta }(x)={\theta }^{T}x$, $x$和$\theta$都是n+1维的向量。

代价函数

同单变量线性回归。

梯度下降算法求解

梯度下降算法的优化

为了使得梯度下降算法正常的工作，最好各个特征值的大小和范围都比较接近，否则会出现如下图一样的运算路径。
所以需要调整变量的范围，使得范围接近、均值为0，即对变量做如下处理：
$x=\frac{x-\mu }{s}$
这里的$\mu$是x的均值；s是x的方差，或者较为实用的是可以取(max-min).

使用线性拟合二次或者三次曲线

将$x$视作$x_1$,将$x^2$视作$x_2$,将$x^3$视作$x_3$.

正规方程法求解

$\theta =(X^{T}X{)}^{-1}{X}^{T}y$
正规方程法不需要尝试，只需一次计算即可获得结果。
但是计算复杂度高，只适用于低纬度的矩阵运算。