为什么梯度方向是函数值增长最快而不是下降最快的方向?

举例最简单:


如果函数f(x,y) = -x^2-y^2; 

那么该函数的梯度为 G(x,y) = -2x-2y ; 

G(1,1) = (-2,-2);

那么(1,1)的下一个点应该是以(1,1)为起点,沿(-2,-2)方向上的点,如(0.99,0.99),

那 f(0.99,0.99) > f(1,1);

相反:沿(-2,-2)反方向的点,如(1.01,1.01),f(1.01,1.01)

所以沿梯度方向是增长最快的方向。


再如  点(-3,-3), G(-3,-3)=(6,6),

则从(-3,-3)点出发,沿(6,6)方向的点,

如点(-2,-2)。 那 f(-2,-2)> f(-3,-3)。

你可能感兴趣的:(算法)