[机器学习基础] 随机梯度下降法 SGD 简介

我们首先回忆一下梯度下降法

梯度下降法

方法结构

目的：求 $g(t)$ 的极小值点

方法：

• 随机初始化 $t^{\ast }=t_0$
• for i = 1,…,M 更新参数
  $t_i=t_{i-1}-\eta \ast \frac{\partial g}{\partial t}{|}_{t=t_{i-1}}$

统计学习中的梯度下降法

对于一个统计学习任务，我们给定训练集 $\mathcal{T}=\{(x_i,y_i){\}}_{i=1,...,n}$ ，给定备选预测函数集 $\{f(\cdot ,w){\}}_{w\in \mathcal{W}}$ ，给定目标函数 $L(f(\cdot ,w),\mathcal{T})$

我们的目的是通过梯度下降法是找到最优的 $w\in \mathcal{W}$ 使得目标函数最小。

在这里：

$g(t)=L(f(\cdot ,w),\mathcal{T})t=w$

梯度下降法需要求梯度 $\frac{\partial g}{\partial t}$ ，在这里也就是需要 $\frac{\partial L(f(\cdot ,w),\mathcal{T})}{\partial w}$

如果我们选定的目标函数为各样本损失的均值，即 $L(f(\cdot ,w),\mathcal{T})=\frac{1}{n}\sum _{i=1}^{n}E(x_i,y_i,w)$ ，（若目标函数为MSE，则 $E(x_i,y_i,w)=(f(x_i,w)-y_i{)}^2$ ）那么

$$\frac{\partial L(f(\cdot ,w),\mathcal{T})}{\partial w}=\frac{1}{n}\sum _{i=1}^n\frac{\partial E(x_i,y_i,w)}{\partial w}$$

我们发现每一次求梯度都要用到所有样本，这样参数更新效率比较低。

随机梯度下降法可以缓解这一问题。

随机梯度下降法

随机梯度下降法（SGD）是一类近似求梯度的方法，每次使用小部分样本甚至只使用一个样本来求梯度进行参数更新。

最简单的SGD使用如下方法近似梯度：
$$\frac{1}{|S|}\sum _{j\in S}\frac{\partial E(x_j,y_j,w)}{\partial w}\approx \frac{1}{n}\sum _{i=1}^n\frac{\partial E(x_i,y_i,w)}{\partial w}$$
其中 $S\subset \{1,...,n\}$ ， $|S|$ 被称为batch size，当$|S|=n$ 时这种方法就是纯正的梯度下降法。

我们一般把训练参数过程中 所有样本被使用一轮 称为一个epoch。

帮助理解：

如果 $|S|$ 可以被 $n$ 整除，那么我们有

$参数更新次数=\frac{n}{|S|}\ast epochnumber$

当然目前有许多中SGD的变形方法，有的加入了“惯性”，如动量方法，有的加入了“环境感知”，如AdaGrad方法，还有融合多种想法的Adam方法等等，这里不过多阐述。