梯度下降算法---Gradient Descent

1，随机初始化 θ ;
2，沿着负梯度方向迭代，更新后的 θ 使得目标函数更小；
θ=θ−α∂J(θ)∂θ
其中 α 是学习率或步长；
J(θ)=12∑mi=1(hθx(i)−y)2
===>
θj:=θj+α∑mi=1(y(j)−hθx(i))x(i)j
—–批量梯度下降(BGD Batch Gradient Descent)

θj:=θj+α(y(j)−hθx(i))x(i)j
——随机梯度下降(SGD stochastic Gradient Descent)
SGD总体在下降，某一次可能不是；

折中：mini-batch Gradient Descent

greedy algorithm