为什么梯度是上升方向，梯度下降要取负？

讨论

  这个问题是很容易忽略，也就一个负号的问题，大多是记下来，但是确实也一个搞不懂的问题。

方向导数

简单说明方向导数，毕竟梯度与方向导数是有关系的。
  上图 $l$ 对$x$,$y$的偏导，分别在$x$和$y$的方向上，两偏导线垂直映射到绿色线方向上，再求和就是绿色线向量长度；
  $\theta =0$时，也就是绿色线和灰色线重合，也就是梯度方向上的最大方向导数。

梯度方向为何是上升方向

这个示例函数是$f(x)=(x-2{)}^2+2$
在（1，3）位置的梯度为-2<0，梯度方向为x轴的负方向，上升
在（3，3）位置的梯度为2>0,梯度方向为x轴正方向，上升

推导：
设$f(x)$有一阶导：
$$\frac{f(x+\Delta x)-f(x)}{\Delta x}\approx f^{\prime }(x)$$

• $如果f^{\prime }(x)>0,在\Delta x邻域半径内单调上升,梯度方向取x的正方向，函数梯度上升$

• $如果f^{\prime }(x)<0,在\Delta x邻域半径内单调下降,梯度方向取x的负方向，函数梯度上升$

注意，函数可以扩展到多维，所以梯度下降取负。