梯度下降

梯度下降

引入：当我们得到了一个目标函数后，如何进行求解？
直接求解？（并不一定可解，线性回归可以当做一个特例）
常规套路：机器学习的套路就是我交给机器一堆数据，然后告诉它什么样的学习方式是对的（目标函数），然后让它朝着这个方向去做
如何优化：一口吃不成胖子，我们要静悄悄的一步步的完成迭代（每次优化一点点，积累起来就是个大成绩）

目标函数：$J({\theta }_0,{\theta }_1)=\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }(x^i)-y^{(i)}{)}^2$

寻找山谷的最低点，也就是我们的目标函数终点（什么样的参数能使目标函数达到极值点）
下山分几步走？（更新参数）
（1）找到当前最合适的方向
（2）走那么一小步，走快了该“跌倒”了
（3）按照方向与步伐去更新我们的参数

梯度下降，目标函数：$J({\theta }_0,{\theta }_1)=\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }(x^i)-y^{(i)}{)}^2$
一般有三种梯度下降的方式：
批量梯度下降：$\frac{\partial J(\theta )}{\partial {\theta }_j}=-\frac{1}{m}{\sum }_{i=1}^m(y^i-h_0(x^i))x_j^i$
(容易得到最优解，但是由于每次考虑所有的样本，速度很慢)
随机梯度下降：${\theta }_j^{{}^{\prime }}={\theta }_j+(y^i-h_{\theta }(x^i))x_j^i$
(每次找一个样本，迭代速度快，但是不一定每一次都朝着收敛的方向)
小批量梯度下降法：${\theta }_j:={\theta }_j-\alpha \frac{1}{10}{\sum }_{k=i}^{i+9}(h_{\theta }(x^{(k)})-y^{(k)})x_j^{(k)}$
（每次更新选择一小部分数据进行计算，实用！！！）

梯度下降学习率

学习率（步长）：对结果会产生巨大的影响，一般取值小点
如何选择：从小的时候选择，不行再小
批处理数量：32,64,128一般都可以，很多时候还得考虑内存和效率