深度网络推理加速（Towards Lightweight Convolutional Neural Networks for Object Detection）

摘要：本文研究目标是少类别实时目标检测，研究了在保留较高检测率的前提下最大程度的减小模型大小，最终实现了在CPU上的实时检测。本文的推理加速机制和量化压缩等方法是可以并行的。

1，  通过增大feature map的尺寸，减小通道数可以得到准确率且快的检测模型，这么做的依据是对于实际的很少类别的目标检测问题，用于解决多类别分类问题的网络中很多通道是冗余的。

2，  通过在大的预训练模型上简单的选取一些通道，然后在给定的数据集上fine-tune。

3，  直接的一层层Resnet网络架构比复杂的架构效果更好。

4，  本文提出了一个高精度的vehicle检测模型，在CPU上获得了34fps的实时性。

 

四种特征提取网络

相关工作：

网络推理优化有两种方法：

一是依赖硬件的优化，如quantization和sparsifying，需要依赖于硬件的定制化支持，quantization依赖于低比特操作，而权重剪枝依赖于稀疏计算。

二是不依赖硬件的优化，如Decomposition，channels pruning

1.      网络选择

当前流行的两种目标检测算法：SSD、Faster R-CNN, 其中SSD有着最好的quality/speed trade-off

2.      特征提取网络

比较了ResNet10、SqueezeNet、MobileNet、PVANet四种轻量级特征网络。

3.      空洞卷积

采用了空洞卷积，同时我们还进行了通道采样。