模型剪枝学习笔记--Layer-wise Pruning and Auto-tuning of Layer-wise Learning Rates

Layer-wise Pruning and Auto-tuning of Layer-wise Learning Rates in Fine-tuning of Deep Networks

这篇论文是上个月刚出的关于剪枝方面的论文。作者：首尔大学团队
论文下载地址：https://arxiv.org/abs/2002.06048

Layer-wise剪枝+AutoLR：深度网络微调中的层级剪枝和层级学习率的自动调整。
该方法可以逐层剪枝和自动调整逐层学习率来提高微调性能并降低网络复杂性。

摘要

现有的微调(fine-tuning)方法在所有层上使用单一学习率。在本文中，首先，我们讨论了通过使用单个学习率进行微调来进行逐层权重变化的趋势与众所周知的观念，即低层提取一般特征而高层提取特定特征。在讨论的基础上，我们提出了一种算法，该算法可通过逐层剪枝和自动调整逐层学习率来提高微调性能并降低网络复杂性。通过对图像检索（CUB-200-2011，斯坦福 online products和Inshop）和精细分类（斯坦福汽车，飞机）数据集的深入实验，验证了该算法的有效性。

未完待续～