「Deep Learning」Note on Decoupled Weight Decay Regularization

QQ Group: 428014259
Tencent E-mail：[email protected]
http://blog.csdn.net/dgyuanshaofeng/article/details/88564777

作者之前提出余弦退火学习率调整策略，在这篇论文中提出AdamW。

作者：Ilya Loshchilov, Frank Hutter
单位：University of Freiburg

0 摘要

L2正则化或者权重衰减正则化在标准SGD中是等价的，但是对于自适应梯度算法，比如Adam，则不是一回事。作者解耦出权重衰减因子的最佳选择，使得Adam的泛化性能得以提升，使得其性能与SGD with Momentum相当。

1 介绍

尽管有那么多自适应梯度方法，比如AdaGrad，RMSProp，Adam，和AMSGrad，但是SGD with Momentum的泛化能力还是最强的。自适应梯度方法的较弱泛化能力被研究，而且提出不同假设，有假设说存在尖锐的局部最小，有假设说这是其固有问题。作者研究其中的一些因素，比如，人们在Adam中，用错了权重衰减。在Adam中，作者观察到：
1、L2正则化和权重衰减正则化不是一回事。
2、L2正则化对于Adam不是effective，即无效，有损。这是人们直接使用深度学习库中的L2正则化导致的。
3、权重衰减确实对于SGD和Adam是effective。
4、最优权重衰减取决于批量样本经过网络的次数或者权重更新的次数。两者是反比关系，权重更新的次数越多，最优权重衰减越小。
5、Adam从学习率调整乘法器中可获益。即使用余弦退火。

解耦权重衰减比L2正则化，好15%的相对测试误差。

2 从基于梯度更新中解耦权重衰减

SGDW见论文中的算法1
AdamW见论文中的算法2

3 贝叶斯滤波证明解耦权重衰减

总结了Aitchison的论文。

4 实验验证

[1] Decoupled Weight Decay Regularization ICLR 2019 [paper] [code]
[2] Fixing Weight Decay Regularization in Adam ArXiv [paper]