轻量级深度学习网络(三）:详解轻量级网络SqueezeNet

目录

一、原文地址和简介

三、创新点

三、SqueezeNet小结：

---

一、原文地址和简介

SqueezeNet由伯克利&斯坦福的研究人员合作发表于ICLR-2017，论文标题:
《SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE》
（http://blog.csdn.net/u011995719/article/details/78908755）

命名
从名字SqueezeNet就知道，本文的新意是squeeze，squeeze在SqueezeNet中表示一个squeeze层，该层采用1*1卷积核对上一层feature map进行卷积，主要目的是减少feature map的维数（维数即通道数，就是一个立方体的feature map，切成一片一片的，一共有几片）。

三、创新点

1. 采用不同于传统的卷积方式，提出fire module；fire module包含两部分：squeeze层+expand层

创新点与inception系列的思想非常接近！首先squeeze层，就是1*1卷积，其卷积核数要少于上一层feature map数，这个操作从inception系列开始就有了，并美其名曰压缩，个人觉得“压缩”更为妥当。
Expand层分别用1*1 和3*3 卷积，然后concat，这个操作再inception系列里面也有。

SqueezeNet的核心在于Fire module，Fire module 由两层构成，分别是squeeze层+expand层，如下图1所示，squeeze层是一个1*1卷积核的卷积层，expand层是1*1 和3*3卷积核的卷积层，expand层中，把1*1 和3*3 得到的feature map 进行concat。

具体操作情况如下图所示：

Fire module输入的feature map为H*W*M的，输出的feature map为H*M*(e1+e3)，可以看到feature map的分辨率是不变的，变的仅是维数，也就是通道数，这一点和VGG的思想一致。

首先，H*W*M的feature map经过Squeeze层，得到S1个feature map，这里的S1均是小于M的，以达到“压缩”的目的，详细思想可参考Google的Inception系列。

其次，H*W*S1的特征图输入到Expand层，分别经过1*1卷积层和3*3卷积层进行卷积，再将结果进行concat，得到Fire module的输出，为 H*M*(e1+e3)的feature map。

fire模块有三个可调参数：S1，e1，e3，分别代表卷积核的个数，同时也表示对应输出feature map的维数，在本文提出的SqueezeNet结构中，e1=e3=4s1 。

讲完SqueezeNet的核心——Fire module，看看SqueezeNet的网络结构，如下图所示：

网络结构设计思想，同样与VGG的类似，堆叠的使用卷积操作，只不过这里堆叠的使用本文提出的Fire module(图中用红框部分)

看看Squezeenet的参数数量以及性能：

在这里可以看到，论文题目中提到的小于0.5M，是采用了Deep Compression进行模型压缩之后的结果！！

看了上图再回头看一看论文题目：
SqueezeNet ：AlexNet-level accuracy with 50x fewer parameters and <0.5MB
SqueezeNet < 0.5MB, 这个是用了别的模型压缩技术获得的，很容易让人误以为SqueezeNet可以压缩模型！！

三、SqueezeNet小结：

1 Fire module 与GoogLeNet思想类似，采用1*1卷积对feature map的维数进行“压缩”，从而达到减少权值参数的目的；
2 采用与VGG类似的思想——堆叠的使用卷积，这里堆叠的使用Fire module

SqueezeNet与GoogLeNet和VGG的关系很大！