常用梯度下降算法SGD, Momentum, RMSprop, Adam详解
摘要
本文给出常用梯度下降算法的定义公式, 并介绍其使用方法.
相关
配套代码, 请参考文章 :
纯Python和PyTorch对比实现SGD, Momentum, RMSprop, Adam梯度下降算法
系列文章索引 :
https://blog.csdn.net/oBrightLamp/article/details/85067981
正文
1. SGD
随机梯度下降 (Stochastic Gradient Descent) 是最基础的神经网络优化方法.
Stochastic 一词是随机的意思, 表示每次都随机选择样本计算损失值和梯度, 进行参数更新.
随机选择样本非常重要, 主要是为了避免模型参数在某种潜在错误方向上走的过远, 导致收敛速度过慢.
1.1 算法定义
SGD 参数更新的算法 :
p = p − l r ∗ g p = p - lr * g p=p−lr∗g
1.2 使用方法
假设一个神经网络模型经过 n n n 次反向传播, 使用向量 g g g 表示所有求得的梯度, 初始参数为 p 0 p_0 p0, 求学习完成后的参数值 p n p_n pn.
g = ( g 1 , g 2 , g 3 , ⋯ , g n ) g = (g_1,g_2,g_3,\cdots,g_n) g=(g1,g2,g3,⋯,gn)
求解过程 :
p 1 = p 0 − l r ∗ g 1 p 2 = p 1 − l r ∗ g 2 p 3 = p 2 − l r ∗ g 3 ⋮ p n = p n − 1 − l r ∗ g n p_1 = p_0 - lr * g_1\\ p_2 = p_1 - lr * g_2\\ p_3 = p_2 - lr * g_3\\ \vdots\\ p_n = p_{n-1} - lr * g_{n}\\ p1=p0−lr∗g1p2=p1−lr∗g2p3=p2−lr∗g3⋮pn=pn−1−lr∗gn
2. Momentum SGD
Momentum SGD 是基于动量的算法.
2.1 算法定义
Momentum SGD 参数更新的算法 :
v = m ∗ v + g p = p − l r ∗ v v = m * v + g \\ p = p - lr * v v=m∗v+gp=p−lr∗v
其中 p, g, v 和 m 分别表示参数, 梯度, 速度和动量.
另外一种定义是 :
v = m ∗ v + l r ∗ g p = p − v v = m * v + lr * g \\ p = p - v v=m∗v+lr∗gp=p−v
本文使用前一种算法, 也是 PyTorch 推荐使用的算法.
Momentum SGD 的必要参数是动量 m, 一般取 m = 0.9 m=0.9 m=0.9
注意, 若 m = 0 m=0 m=0 , Momentum SGD 将退化成 SGD 算法.
2.2 使用方法
假设一个神经网络模型经过 n n n 次反向传播, 使用向量 g g g 表示所有求得的梯度, 初始参数为 p 0 p_0 p0, 初始速度为 0, 动量参数为 m m m, 学习率为 l r lr lr , 求学习完成后的参数值 p n p_n pn.
求解过程 :
v 1 = g 1 , p 1 = p 0 − l r ∗ v 1 v 2 = m ∗ v 1 + g 2 , p 2 = p 1 − l r ∗ v 2 v 3 = m ∗ v 2 + g 3 , p 3 = p 2 − l r ∗ v 3 ⋮ v n = m ∗ v ( n − 1 ) + g n , p n = p ( n − 1 ) − l r ∗ v ( n ) v_1 = g_1, \;\;p_1 = p_0 - lr * v_1\\ v_2 =m * v_1 + g_2, \;\;p_2 = p_1 - lr * v_2\\ v_3 =m * v_2 + g_3, \;\;p_3 = p_2 - lr * v_3\\ \vdots\\ v_n =m * v_{(n-1)} + g_n, \;\;p_n = p_{(n-1)} - lr * v_{(n)}\\ v1=g1,p1=p0−lr∗v1v2=m∗v1+g2,p2=p1−lr∗v2v3=m∗v2+g3,p3=p2−lr∗v3⋮vn=m∗v(n−1)+gn,pn=p(n−1)−lr∗v(n)
3. RMSprop
RMSprop, 全称 root mean square prop, 改进自Rprop (resilient backpropagation) 算法.
这是一种基于自适应学习率的算法.
3.1 定义
v t = α v t − 1 + ( 1 − α ) g t 2 η t = l r v t + ϵ p t + 1 = p t − η t ∗ g t v_t = \alpha v_{t-1} + (1-\alpha )g_t^2\\ \;\\ \eta_t =\frac{lr}{\sqrt{v_{t}}+\epsilon}\\ \;\\ p_{t+1} = p_{t} - \eta_t * g_t vt=αvt−1+(1−α)gt2ηt=vt+ϵlrpt+1=pt−ηt∗gt
其中 p , g , v , α , ϵ p, g, v, \alpha, \epsilon p,g,v,α,ϵ 分别表示参数, 梯度, 速度, 衰减率和极小值 (防止 0 分母).
RMSprop 的必要参数是衰减率 $\alpha $, 一般取 α = 0.9 ∼ 0.99 \alpha =0.9 \thicksim 0.99 α=0.9∼0.99
3.2 使用方法
假设一个神经网络模型经过 n n n 次反向传播, 使用向量 g g g 表示所有求得的梯度, 初始参数为 p 0 p_0 p0, 初始速度为 0, 衰减率为 m m m, 学习率为 l r lr lr , 求学习完成后的参数值 p n p_n pn.
求解过程 :
v 1 = ( 1 − α ) g 1 2 , p 1 = p 0 − l r v 1 + ϵ ∗ g 1 v 2 = α v 1 + ( 1 − α ) g 2 2 , p 2 = p 1 − l r v 2 + ϵ ∗ g 2 v 3 = α v 2 + ( 1 − α ) g 3 2 , p 3 = p 2 − l r v 3 + ϵ ∗ g 3 ⋮ v n = α v t − 1 + ( 1 − α ) g n 2 , p n = p n − 1 − l r v n + ϵ ∗ g n v_1 =(1-\alpha )g_1^2,\;\;p_1 = p_0 - \frac{lr}{\sqrt{v_{1}}+\epsilon} * g_1\\ \;\\ v_2 =\alpha v_{1} +(1-\alpha )g_2^2,\;\;p_2 = p_1 - \frac{lr}{\sqrt{v_{2}}+\epsilon} * g_2\\ \;\\ v_3 =\alpha v_{2} +(1-\alpha )g_3^2,\;\;p_3 = p_2 - \frac{lr}{\sqrt{v_{3}}+\epsilon} * g_3\\ \vdots\\ v_n =\alpha v_{t-1} +(1-\alpha )g_n^2,\;\;p_n = p_{n-1} - \frac{lr}{\sqrt{v_{n}}+\epsilon} * g_n v1=(1−α)g12,p1=p0−v1+ϵlr∗g1v2=αv1+(1−α)g22,p2=p1−v2+ϵlr∗g2v3=αv2+(1−α)g32,p3=p2−v3+ϵlr∗g3⋮vn=αvt−1+(1−α)gn2,pn=pn−1−vn+ϵlr∗gn
其中 p , g , v , α , ϵ p, g, v, \alpha, \epsilon p,g,v,α,ϵ 分别表示参数, 梯度, 速度, 衰减率和极小值 (防止 0 分母).
RMSprop 的必要参数是衰减率 $\alpha $, 一般取 α = 0.9 ∼ 0.99 \alpha =0.9 \thicksim 0.99 α=0.9∼0.99
4. Adam
Adam 算法全称为 Adaptive Moment Estimate, 这种算法结合了基于动量的算法和基于自适应学习率的算法.
Adam 算法记录了梯度的一阶矩 (梯度的期望值) 和二阶矩 (梯度平方的期望值).
4.1 定义
m t = β 1 m t − 1 + ( 1 − β 1 ) g t v t = β 2 v t − 1 + ( 1 − β 2 ) g t 2 M t = m t 1 − β 1 t V t = v t 1 − β 2 t η t = l r V t + ϵ p t = p t − 1 − η t M t m_t = \beta_1 m_{t-1}+(1-\beta_1)g_t\\ \;\\ v_t = \beta_2 v_{t-1}+(1-\beta_2)g_t^2\\ \;\\ M_t = \frac{m_t}{1-\beta_1^t}\\ \;\\ V_t = \frac{v_t}{1-\beta_2^t}\\ \;\\ \eta_t =\frac{lr}{\sqrt{V_{t}}+\epsilon}\\ \;\\ p_t = p_{t-1} -\eta_tM_t mt=β1mt−1+(1−β1)gtvt=β2vt−1+(1−β2)gt2Mt=1−β1tmtVt=1−β2tvtηt=Vt+ϵlrpt=pt−1−ηtMt
其中 p , g , m , v , β 1 , β 2 , ϵ p, g,m, v, \beta_1, \beta_2, \epsilon p,g,m,v,β1,β2,ϵ 分别表示参数, 梯度, 一阶矩, 二阶矩, 衰减率和极小值 (防止 0 分母).
Adam 的必要参数是衰减率 β 1 , β 2 \beta_1, \beta_2 β1,β2, 一般取 β 1 = 0.9 , β 2 = 0.999 \beta_1 =0.9,\; \beta_2 =0.999 β1=0.9,β2=0.999
4.2 使用方法
假设一个神经网络模型经过 n n n 次反向传播, 使用向量 g g g 表示所有求得的梯度, 初始参数为 p 0 p_0 p0, 初始一阶矩和二阶矩为 0, 衰减率为 β 1 , β 2 \beta_1, \beta_2 β1,β2, 学习率为 l r lr lr , 求学习完成后的参数值 p n p_n pn.
第一次 :
m 1 = ( 1 − β 1 ) g 1 v 1 = ( 1 − β 2 ) g 1 2 M 1 = m 1 1 − β 1 V 1 = v 1 1 − β 2 η 1 = l r V 1 + ϵ p 1 = p 0 − η 1 M 1 m_1=(1-\beta_1)g_1\\ \;\\ v_1=(1-\beta_2)g_1^2\\ \;\\ M_1 = \frac{m_1}{1-\beta_1}\\ \;\\ V_1 = \frac{v_1}{1-\beta_2}\\ \;\\ \eta_1 =\frac{lr}{\sqrt{V_1}+\epsilon}\\ \;\\ p_1 = p_0 -\eta_1M_1 m1=(1−β1)g1v1=(1−β2)g12M1=1−β1m1V1=1−β2v1η1=V1+ϵlrp1=p0−η1M1
第二次 :
m 2 = β 1 m 1 + ( 1 − β 1 ) g 2 v 2 = β 2 v 1 + ( 1 − β 2 ) g 2 2 M 2 = m 2 1 − β 1 2 V 2 = v 2 1 − β 2 2 η 2 = l r V 2 + ϵ p 2 = p 1 − η 2 M 2 m_2=\beta_1 m_1+(1-\beta_1)g_2\\ \;\\ v_2=\beta_2 v_1+(1-\beta_2)g_2^2\\ \;\\ M_2 = \frac{m_2}{1-\beta_1^2}\\ \;\\ V_2 = \frac{v_2}{1-\beta_2^2}\\ \;\\ \eta_2 =\frac{lr}{\sqrt{V_2}+\epsilon}\\ \;\\ p_2 = p_1 -\eta_2M_2 m2=β1m1+(1−β1)g2v2=β2v1+(1−β2)g22M2=1−β12m2V2=1−β22v2η2=V2+ϵlrp2=p1−η2M2
第 n 次 :
m n = β 1 m n − 1 + ( 1 − β 1 ) g n v n = β 2 v n − 1 + ( 1 − β 2 ) g n 2 M n = m n 1 − β 1 n V n = v n 1 − β 2 n η n = l r V n + ϵ p n = p n − 1 − η n M n m_n=\beta_1 m_{n-1}+(1-\beta_1)g_{n}\\ \;\\ v_n=\beta_2 v_{n-1}+(1-\beta_2)g_{n}^2\\ \;\\ M_n = \frac{m_{n}}{1-\beta_1^n}\\ \;\\ V_n = \frac{v_{n}}{1-\beta_2^n}\\ \;\\ \eta_n =\frac{lr}{\sqrt{V_n}+\epsilon}\\ \;\\ p_n = p_{n-1} -\eta_nM_n mn=β1mn−1+(1−β1)gnvn=β2vn−1+(1−β2)gn2Mn=1−β1nmnVn=1−β2nvnηn=Vn+ϵlrpn=pn−1−ηnMn
4.3 Adam 算法优化
参考文献 Adam: A Method for Stochastic Optimization https://arxiv.org/abs/1412.6980
令 ϵ = 0 \epsilon =0 ϵ=0 ,将 M t , V t M_t, \; V_t Mt,Vt 代入 p t = p t − 1 − η t M t p_t = p_{t-1} -\eta_tM_t pt=pt−1−ηtMt, 得:
η t = l r v t 1 − β 2 t p t = p t − 1 − η t m t 1 − β 1 t p t = p t − 1 − l r v t 1 − β 2 t m t 1 − β 1 t \eta_t =\frac{lr}{\sqrt{\frac{v_t}{1-\beta_2^t}}}\\ \;\\ p_t = p_{t-1} -\eta_t\frac{m_t}{1-\beta_1^t}\\ \;\\ p_t = p_{t-1} -\frac{lr}{\sqrt{\frac{v_t}{1-\beta_2^t}}}\frac{m_t}{1-\beta_1^t} ηt=1−β2tvtlrpt=pt−1−ηt1−β1tmtpt=pt−1−1−β2tvtlr1−β1tmt
在分母位补上 ϵ \epsilon ϵ, 得 :
α t = l r ∗ 1 − β 2 t ( 1 − β 1 t ) p t = p t − 1 − α t m t v t + ϵ \alpha_t = lr * \frac{\sqrt{1-\beta_2^t}}{(1-\beta_1^t)} \\ \;\\ p_t=p_{t-1} - \alpha_t\frac{m_t}{\sqrt{v_t}+\epsilon} αt=lr∗(1−β1t)1−β2tpt=pt−1−αtvt+ϵmt