SqueezeNet论文笔记

SqueezeNet是在论文Iandola F N, Han S, Moskewicz M W, et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size[J]. arXiv preprint arXiv:1602.07360, 2016.中提出的一种不以提高分类精度为主要目的，而以减少模型参数为重点的网络模型。

一般而言，卷积神经网络的层数越深，表达能力越强，总可以找到更优的参数、结构来解决图像分类、目标定位等问题。SqueezeNet可以实现AlexNet网络的精确度，但是参数量会减少50多倍，且model size在加入Deep Compression之后不足0.5MB，相比于Alexnet的240MB，更易于实现在硬件上的整合。

为了实现参数的减少，文中分析了几种常用的策略：1. 用1*1的卷积代替3*3的卷积。2. 用Squeeze layers来将输入的通道数减少。3.在网络的后期下采样。

接下来文章介绍了Fire Module，它包含了squeeze layer以及一个expand layer。squeeze layer中仅仅包含1*1的卷积，根据设定其个数，就可以达到使得下一层expand layer的输入通道数减少的效果，我们将其数目用S1*1来表示。而expand layer中有1*1的卷积，也有3*3的卷积，数目分别用E1*1以及E3*3来表示。当S1*1小于E1*1+E3*3的时候，就可以实现减少输入通道的数目的效果。

在实际的应用中，也可以加入short-cut connection等结构，会对分类效果有提升。最终，实验对比了相似精确度下的参数量，在公平地比较下，可以达到50倍以上的参数削减。

最后说一些题外话，不管是增加了网络表达能力、泛化能力(提升了网络的分类性能)，还是减少了参数量，这都是很好的工作。深度学习也是一直在飞速发展的，以前觉得有些训练方法很奇怪，完全是“没有道理”的。但是进步是实实在在发生的，更好的更合理的方法到底是什么？人类的解决方法总是正确的吗？我觉得经过几百万年，几亿年的进化，所有呈现在今天面前的东西总有保留下来的原因，也许我们可以对机器做同样的改变，使之更智能，这个过程注定是漫长的，我们应该耐得住性子等待，并为它做贡献。