一般梯度、随机梯度、相对梯度和自然梯度

一般梯度

也称常规梯度，就是 $f(w)$ 对 $w$ 的偏导，即 $\frac{\partial f(w)}{\partial w}$，因为在欧式坐标系中，负梯度方向是下降最快的方向，即所谓的最速下降法。

随机梯度

和常规梯度很像，不同的是随机梯度会在 $\nabla f(w)$ 中随机挑选一个或多个方向进行下降。

相对梯度

增量 $\Delta w=Dw$，选择适当的 $D$，使得 $f(w+Dw)$ 最小。Cardoso 等人将 $\frac{\partial f(w)}{\partial w}{w}^T$ 定义为 $f(w)$ 的相对梯度。

自然梯度

在保持 $||\Delta w|{|}^2$ 不变的前提下，寻找一个最佳的方向，使得 $f(w+\Delta w)$ 最小。Amari 利用黎曼几何的有关理论，证明该最佳方向不是 “负” 常规梯度方向，而是 “负” 黎曼梯度。并将 $\frac{\partial f(w)}{\partial w}{w}^{T}w$ 定义为 $f(w)$ 的自然梯度。