文章来自公众号【机器学习炼丹术】
【概述】:这是一种通过梯度下降改善深度学习泛化能力的方法,而且不会要求额外的计算量,可以用到Pytorch的优化器中。
随机权重平均和随机梯度下降SGD相似,所以我一般吧SWa看成SGD的进阶版本。
【怎么理解】:
SWA加入了周期性滑动平均来限制权重的变化,解决了传统SGD在反向过程中的权重震荡问题。SGD是依靠当前的batch数据进行更新,寻找随机梯度下降随机寻找的样本的梯度下降方向很可能并不是我们想要的方向。
这里讲如何在pytorch深度学习框架中加入swa作为优化器:
from torchcontrib.optim import SWA
# training loop
base_opt = torch.optim.SGD(model.parameters(), lr=0.1)
opt = torchcontrib.optim.SWA(base_opt, swa_start=10, swa_freq=5, swa_lr=0.05)
for _ in range(100):
opt.zero_grad()
loss_fn(model(input), target).backward()
opt.step()
opt.swap_swa_sgd()
如果使用了swa的话,那么lr_schedule这个方法就不需要在使用了,非常的方便。
【关于参数】:
使用swa的时候,就直接通过
torchcontrib.optim.SWA(base_opt,swa_start,swa_greq,swa_lr)
来封装原来的优化器。
这里有一个问题就是在BatchNorm层训练的时候,BN层中也是有两个训练参数的,使用 w s w a w_{swa} wswa重置了模型参数,但是并没有更新BN层的参数,所以如果有bn层的话,还需要加上:
opt.bn_update(train_loader,model)
这个方法的loss如下:
非常好理解了,前面一项就是训练集的loss,后面是测试集的loss,然后用一个 α ( t ) \alpha(t) α(t)来做权重。
然后这个 α ( t ) \alpha(t) α(t)就是随着训练的迭代次数增加而慢慢的线性增加(如果按照原来的论文中的描述):
【一些关于pseudo-label的杂谈】
这个方法提出在2013年,然后再2015年作者用entropy信息熵来证明这个方法的有效性。但是证明过程较为牵强。这个伪标签我在2017年的一个项目中想到了,但是不知道可行不可行自己当时也无法进行证明,就作罢了,没想到现在看到同样的方法在2013年就提出来了。有点五味杂陈哈哈。
参考文献:
Izmailov, Pavel, et al. “Averaging weights leads to wider optima and better generalization.” arXiv preprint arXiv:1803.05407 (2018).
Grandvalet, Yves, and Yoshua Bengio. “Semi-supervised learning by entropy minimization.” Advances in neural information processing systems. 2005.