文献阅读(93)神经网络压缩(CVPR 2019)

文章目录

  • 1
    • 1.1 abstract
    • 1.2 方法
    • 1.3 实验
  • 2
  • 2.1 abstract
    • 2.2 奇异值分解
    • 2.3 确定rank配置
    • 2.3 实验
  • 3

1

  • 题目:Accelerating Convolutional Neural Networks via Activation Map Compression
  • 时间:2019
  • 会议:CVPR
  • 研究机构:三星

1.1 abstract

本篇论文的主要贡献:

  1. 增加网络稀疏性而不降低精度的训练方法
  2. 对特征图的无损压缩

1.2 方法

our desire is to achieve sparser activation maps

修改损失函数:
在这里插入图片描述
在这里插入图片描述

其中:

  • w表示权重,x表示特征图
  • N表示mini-batch大小,L表示层数
  • λ、α表示大于零的常数

同时给了后向传播的公式
文献阅读(93)神经网络压缩(CVPR 2019)_第1张图片
文献阅读(93)神经网络压缩(CVPR 2019)_第2张图片
压缩算法: sparse-exponential-Golomb (SEG)

1.3 实验

Speed-up factor is calculated by dividing the number of non-zero activations of the baseline by the number of non-zero activations of the sparse models

文献阅读(93)神经网络压缩(CVPR 2019)_第3张图片

Many Sparse models not only have an increased sparsity in their activation maps, but also demonstrate increased accuracy

2

  • 题目:Efficient Neural Network Compression
  • 时间:2019
  • 会议:CVPR
  • 研究机构:韩国KAIST

2.1 abstract

本篇论文的主要贡献:

  • 基于SVD的网络压缩
  • 快速找到最优rank配置的方法

2.2 奇异值分解

文献阅读(93)神经网络压缩(CVPR 2019)_第4张图片
文献阅读(93)神经网络压缩(CVPR 2019)_第5张图片

2.3 确定rank配置

  1. 确定范围,缩写搜索空间
    文献阅读(93)神经网络压缩(CVPR 2019)_第6张图片
  2. 指定跟精度相关的指标
    文献阅读(93)神经网络压缩(CVPR 2019)_第7张图片
    文献阅读(93)神经网络压缩(CVPR 2019)_第8张图片

2.3 实验

文献阅读(93)神经网络压缩(CVPR 2019)_第9张图片

Results with 20% FLOPs reduction are given in Table 2

文献阅读(93)神经网络压缩(CVPR 2019)_第10张图片

3

  • 题目:Compressing Convolutional Neural Networks via Factorized Convolutional Filter
  • 时间:2019
  • 会议:CVPR
  • 研究机构:清华深圳院

文献阅读(93)神经网络压缩(CVPR 2019)_第11张图片
文献阅读(93)神经网络压缩(CVPR 2019)_第12张图片
文献阅读(93)神经网络压缩(CVPR 2019)_第13张图片
文献阅读(93)神经网络压缩(CVPR 2019)_第14张图片

你可能感兴趣的:(二专毕设)