模型泛化技巧“随机权重平均(Stochastic Weight Averaging, SWA)”介绍与Pytorch Lightning的SWA实现讲解
文章目录SWA简介SWA公式SWA常见参数PytorchLightning的SWA源码分析SWALR参考资料SWA简介SWA,全程为“StochasticWeightAveraging”(随机权重平均)。它是一种深度学习中提高模型泛化能力的一种常用技巧。其思路为:对于模型的权重,不直接使用最后的权重,而是将之前的权重做个平均。该方法适用于深度学习,不限领域、不限Optimzer,可以和多种技巧同时