吴恩达机器学习(2)——线性回归与简单梯度下降

(一)线性回归
(x,y) :一个训练集
( x ( i ) , y ( i ) x^{(i)},y^{(i)} x(i),y(i)):训练集中第i个样本
以房价数据集为例:
吴恩达机器学习(2)——线性回归与简单梯度下降_第1张图片
目标函数(objective functions): h θ ( x ( i ) ) = θ 0 + θ 1 x ( i ) h_{\theta}(x^{(i)})=\theta_0+\theta_1x^{(i)} hθ(x(i))=θ0+θ1x(i)
代价函数(cost function): J ( θ 0 , θ 1 ) = 1 2 m Σ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 J(\theta_0,\theta_1)=\frac{1}{2m}\Sigma_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2 J(θ0,θ1)=2m1Σi=1m(hθ(x(i))y(i))2
也可以叫做平方误差函数(Squared error function)
目标:最小化代价函数,找到此时的 θ 0 , θ 1 \theta_0,\theta_1 θ0,θ1

(二)梯度下降
θ j : = θ j − α ∂ ∂ θ j J ( θ 0 , θ 1 ) \theta_j:=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1) θj:=θjαθjJ(θ0,θ1)
更新直到收敛
吴恩达机器学习(2)——线性回归与简单梯度下降_第2张图片
梯度下降可视化
课程思维导图:

你可能感兴趣的:(机器学习)