SqueezeNet

三个原因：

---

More efficient distributed training（分布训练）

Less overhead when exporting new models to clients（训练好的模型容易导入）

Feasible FPGA and embedded deployment（可以方便的导入到FPGA硬件中，内存限制）

三个策略：

---

Strategy 1.Replace 3x3 filters with 1x1 filters.（9倍参数的缩减）

Strategy 2.Decrease the number of input channels to 3x3 filters.（3x3 filter输入通道减少，参数随之减少）

Strategy 3.Downsample late in the network so that convolution layers have large activation（将conv和pool的降采样放在后面的layer中，有更大的分辨率和精确度）

Fire模型

---

squeeze层1x1卷积降低expand层的输入channnel数，降低参数数量

expand层1x1卷积和3x3卷积结合提取特征，padding使得输出维度相同，可以简单concat

Relu激活函数，Dropout训练防过拟合，初始学习率0.04随训练下降

网络结构和参数

---

测试数据与压缩

---

SR是squeeze层通道数与expand层通道数的比率，0.125可以达到不错的精度，降低参数量

pct3x3是3x3卷积核在expand层中的比率，50%可以得到足够的精度

简单的bypass通道Resnet层即可得到更高的精度

DSD密集-稀疏-密集训练可以得到精度提高和压缩，而且已实现在FPGA上