梯度下降叙述

1,误差就是可以看成是误差函数，然后看成代价函数。
2.找到代价函数。梯度下降就是向陡峭程度最大的点走，就能更快的到达最低点，陡峭成都就是梯度（Gradient）是代价函数的导数，对抛物线而言就是曲线斜率。（这一步主要是确定方向）。
3.学习率
通过学习调整权重的方式就是新W=旧W-斜率
4.不达目标不罢休-----循环迭代
梯度下降的完整的步骤就是：1.定义代价函数。2.选择起始点。3.计算梯度。4.沿学习率前进。5.重复3，4直找到最低点。
五，机器学习是找到全局最优
六，一些梯度下降变体
1.批量梯度下降法（寻找最优解，保证精度，但是训练搜索非常慢）
2.随机梯度下降法（一个样本就可以计算，提升速度，牺牲精度）
3.小批量梯度下降法（下降一步，选用一小批样本参与计算，快，还可以保证一些准确性能）
七。缺点：对学习率很敏感。设置不好影响很大