为什么负梯度方向是函数下降最快的方向

1. 为什么负梯度方向是函数下降最快的方向

$f(\mathbf{x})$是 target function，${\mathbf{x}}_0$是 start point。
在 ${\mathbf{x}}_0$ 处做写出一阶泰勒展式：
$$f(\mathbf{x})=f({\mathbf{x}}_0)+\nabla f({\mathbf{x}}_0)\cdot (\mathbf{x}-{\mathbf{x}}_0)+O(\Vert \mathbf{x}-{\mathbf{x}}_0{\Vert }^2)$$
当 $\Vert \mathbf{x}-{\mathbf{x}}_0{\Vert }^2$ 足够小时，有
$$f({\mathbf{x}}_0)-f(\mathbf{x})=-\nabla f({\mathbf{x}}_0)\cdot (\mathbf{x}-{\mathbf{x}}_0)$$
等式右边是 $-\nabla f({\mathbf{x}}_0)$ 和 $(\mathbf{x}-{\mathbf{x}}_0)$ 的内积，我们知道当这两个向量同向时，内积最大，此时函数值下降的最多，于是可以得出结论：负梯度方向是函数下降最快的方向。