深度学习扩展_梯度下降

:当发生微小变化的时候,的变化有多大。可用式子表示


是梯度,指向最陡上升方向。

是方向导数,并不指向最陡上升方向。


,沿着方向的微小推动可以被分解成方向上的2个微小推动,方向上的3个微小推动,以及在方向上向后微小的微移


在(单位向量)方向的方向导数是函数在方向上的斜率\nabla_{\mathbf{v}} f(\mathbf{x})=\left.\frac{\mathrm{d} f_{\mathbf{v}}}{\mathrm{d} α}\right|_{α=0}=\lim _{α \rightarrow 0} \frac{f(\mathbf{x}+α \mathbf{v})-f(\mathbf{x})}{α}=\mathbf{v} \cdot \nabla f(\mathbf{x}),其中

当和方向相反的时候,成立。

同理当方向相同的时候成立。

PS:衡量2个标准化向量是否接近,就是让其做內积,內积越大就表示越接近。(如果没有标准化,不改变方向,只改变向量的长度,也能增加內积的值)

你可能感兴趣的:(深度学习扩展_梯度下降)