梯度下降法学习笔记

摘要：
梯度下降法我的理解

梯度下降：

1.梯度是一个向量

2.梯度的大小就是 该点最大的导数

某一点会有各种斜率值（不同方向），其中沿梯度方向，斜率值最大

3.梯度下降法

梯度下降法 其实就是 沿着梯度的方向 向上或者向下
沿着梯度的方向就是：在各个方向 增减相同的值

4.梯度和导数的关系

假设w=x（t）+y(t) +z(t)
梯度是一个向量：导数最大的方向 它的值 就是该方向上的导数（斜率）
导数（斜率）是一个标量 =在某一个方向上的斜率=斜率就是某个方向上的加速度
一般导数为零的点=就是极值点
偏微分=偏导数=x方向上的斜率 =就是某个方向上的加速度

参考文献

梯度下降（Gradient Descent）小结 - 刘建平Pinard - 博客园:
https://www.cnblogs.com/pinard/p/5970503.html