30.深度学习模型压缩方法-4

30.1 低秩分解

• 基于低秩分解的深度神经网络压缩与加速的核心思想是利用矩阵或张量分解技术估计并分解深度模型中的原始卷积核
  • 卷积计算是整个卷积神经网络中计算复杂 度 最 高 的 计 算 操 作，通 过 分 解４Ｄ 卷积核张量，可以有效地减少模型内部的冗余性
  • 此外对于２Ｄ的全 连 接 层 矩 阵 参 数，同样可以利用低秩分解技术进行处理
  • 但由于卷积层与全连接层的分解方式不同，本文分别从卷积层和全连接层２个不同角度回顾与分析低秩分解技术在深度神经网络中的应用
• 从理论上利用低秩分解的技术并分析了深度神经网络存在大量的冗余信
  息，开创了基于低秩分解的深度网络模型压缩与加速的新思路
  • 如图所示，展示了主流的张量分解后卷积计算
    

30.2 总体压缩效果评价指标有哪些？

• 网络压缩评价指标包括运行效率、参数压缩率、准确率
  • 与基准模型比较衡量性能提升时,可以使用提升倍数(speedup)或提升比例(ratio)

评价指标	特点
准确率	目前,大部分研究工作均会测量 Top-1 准确率,只有在 ImageNet 这类大型数据集上才会只用 Top-5 准确率.为方便比较
参数压缩率	统计网络中所有可训练的参数,根据机器浮点精度转换为字节(byte)量纲,通常保