梯度下降法的解释和几点误解

1、梯度是一个向量，它的方向是函数f的方向导数最大的方向，它的大小是函数f在该点沿着梯度方向的方向导数；
2、一元函数 f（x） 的梯度的方向永远在x轴方向（正向或反向），并不是有的说的斜线的方向，二元函数 f（x，y） 的梯度方向在x，y平面上；
3、梯度上升方向和梯度下降方向，梯度本身是一个方向，不存在下降和上升方向，只能说因变量 x （此处的 x 是向量）沿着梯度方向移动一定距离，函数值总是增大，因变量 x 沿着负梯度的方向移动一定距离，函数值总是减小，看起来相当于上升和下降；
4、求极大值，因变量X沿着梯度方向变化，求极小值，因变量 x 就沿着负梯度方向变化，不管是哪种情况，梯度的大小总是变小的，可以理解梯度下降的下降是梯度大小的下降；
5、对于二元函数 f（x,y）=x2+y2 ，它在 xoy 平面的投影是如下的等高线，每个等高线的梯度方向都是在该点的法线方向（注意有内外法线之分）