SqueezeNet Note

Squeezenet: alexnet级精度，参数减少50倍，模型尺寸< 0.5mb

模型轻量化的的开山鼻祖，它让工业界看到了真正实用的可能

Abstract

• 近年来，深度卷积神经网络(cnn)的研究主要集中在提高准确性上。对于给定的精度水平，通常可以识别多个CNN架构达到该精度水平。

• 在精度相当的情况下，更小的CNN架构至少有三个优势:(1)更小的CNN在分布式训练时需要的跨服务器通信更少。(2)较小的cnn需要更少的带宽从云导出一个新模型到自动驾驶汽车。(3)较小的cnn更适合部署在fpga和其他内存有限的硬件上。

• SqueezeNet在ImageNet上实现alexnet级别的精度，参数减少了50倍。此外，通过模型压缩技术，我们能够将SqueezeNet压缩到小于0.5MB

Creative point

• More efficient distributed training 对于分布式训练更加高效：
  服务器之间的通信是限制分布式CNN训练可伸缩性的因素。对于分布式数据并行训练，通信开销与模型中的参数数量成正比。简而言之，小型车型的训练速度更快，因为需要的交流更少。
• Less overhead when exporting new models to clients 导出新模型给客户的开销更少：
  对于自动驾驶，特斯拉等公司会定期将新车型从服务器复制到客户的汽车上。这种做法通常被称为空中更新。《消费者报告》发现，随着最近的空中更新，特斯拉的Autopilot半自动驾驶功能的安全性已经逐步提高。然而，今天典型的CNN/DNN模型的空中更新可能需要大量数据传输。使用AlexNet，这将需要从服务器到汽车的240MB通信。较小的型号（只SqueezeNet）需要较少的交流，从而使频繁更新变得更加可行。
• Feasible FPGA and embedded deployment 可行的FPGA和嵌入式部署：
  现场可编程门阵列（FPGA）通常具有不到10MB的片内存储器，并且没有片外存储器或存储。作为推断，足够小的模型可以直接存储在现场可编程门阵列FPGA上，而不是受到内存带宽的瓶颈，而视频帧实时流经现场可编程门阵列。此外，当在专用集成电路(ASIC)上部署CNN时，足够小的模型可以直接存储在芯片上，而较小的模型可以使ASIC能够安装在较小的芯片上。
• SqueezeNet的压缩策略

1. 将 3 * 3 卷积替换成 1 * 1 卷积：通过这一步，一个卷积操作的参数数量减少了9倍；
2. 减少 3 * 3 卷积的通道数：一个 3 * 3 卷积的计算量是 3* 3* M* N（其中 M ， N 分别是输入Feature Map和输出Feature Map的通道数），作者任务这样一个计算量过于庞大，因此希望将 M ，N 减小以减少参数数量；
3. 将降采样后置：作者认为较大的Feature Map含有更多的信息，因此将降采样往分类层移动。注意这样的操作虽然会提升网络的精度，但是它有一个非常严重的缺点：即会增加网络的计算量。

Models

Comparie

那么这次的论文简述就到这里了，想要更好的了解论文和他的具体实现，还是点击下面的官方链接去仔细学习一下

Link

paper: [1602.07360] SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size (arxiv.org)

GitHub：GitHub - forresti/SqueezeNet: SqueezeNet: AlexNet-level accuracy with 50x fewer parameters