吴恩达机器学习（2）——线性回归与简单梯度下降

（一）线性回归
(x,y) ：一个训练集
($x^{(i)},y^{(i)}$)：训练集中第i个样本
以房价数据集为例：

目标函数（objective functions）：$h_{\theta }(x^{(i)})={\theta }_0+{\theta }_1{x}^{(i)}$
代价函数（cost function）：$J({\theta }_0,{\theta }_1)=\frac{1}{2m}{\Sigma }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$
也可以叫做平方误差函数（Squared error function）
目标：最小化代价函数，找到此时的${\theta }_0,{\theta }_1$

（二）梯度下降
${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)$
更新直到收敛

梯度下降可视化
课程思维导图：