28.深度学习模型压缩方法-2

28.1 典型剪枝方法对比

剪枝方法 修剪对象 修剪方式 效果
Deep Compression 权重 随机修剪 50倍压缩
Structured Pruning 权重 组稀疏+排他性稀疏 性能提升
Network Slimming 特征图通道 根据尺度因子修剪 节省计算资源
mProp 梯度 修剪幅值小的梯度 加速

28.2 网络蒸馏

  • 网络精馏是指利用大量未标记的迁移数据(transfer data),让小模型去拟合大模型,从而让小模型学到与大模型相似的函数映射
    • 网络精馏可以看成在同一个域上迁移学习的一种特例,目的是获得一个比原模型更为精简的网络,整体的框架图

你可能感兴趣的:(深度学习,深度学习,人工智能,神经网络)