network compression 顶会文章简介 2018

1、Context-aware Deep Feature Compression for High-speed Visual Tracking

作者提出了一种新的基于上下文感知相关滤波的追踪框架，来在实时追踪的同时达到高的计算速度和state-of-art的表现。其高的计算速度的主要贡献者是由利用多个专业的自动编码器实现的上下文感知方案实现的深度特征压缩；其中上下文指的是根据表现出的模式来追踪目标的粗略类别。在预训练阶段，作者使用每个类别来训练一个专家自动编码器。而在追踪阶段，根据追踪目标来选取最好的专家自动编码器，且只使用该编码器。为了使用被压缩的特征图来获得好的追踪表现，作者引入了外部去噪处理和新的正交损失，用于专业自动编码器的预训练和微调。

2、CLIP-Q: Deep Network Compression Learning by In-Parallel Pruning-Quantization

深度神经网络在图像识别和目标检测等视觉识别任务上方面已经达到了state-of-art的程度。但是，现代神经网络包含了数以百万计的学习参数。因此，一个对计算资源更有效利用的方法能够有主义各种部署方案：从资源受到限制的嵌入式平台，到运行网络集合的计算集群。本文将网络修剪和权重量化结合在一个学习框架中，它能够同时执行修剪和量化，且并行进行微调。这允许我们利用修剪和量化的互补性质，从而从过早的修剪误差中恢复，这是目前的两阶段法所做不到的。

3、Wide Compression: Tensor Ring Nets
深度神经网络已经在很多现实应用中显示了其state-of-art的性能。为了获得性能的进一步提升，这些神经网络正在变得越来越大越来越深，其包含了数百万甚至数十亿的参数以及超过一千的层数。然而由于这些大型的架构需要大量的内存、存储以及计算能力，它们的可用性就受到了限制。作者被张量环分解思想的启发，提出了Tensor Ring Networks(TR-Nets)，它能够有效地压缩深度神经网络的全连接层和卷积层。

4、Coreset-Based Neural Network Compression

作者提出了基于滤波器的核心集表现的CNN压缩算法。作者利用CNN权重空间和神经元激活层(跨样本)中的冗余来进行压缩。该方法无须重训练，因此很容易实现，且在多个CNN框架中都能获得state-of-art的压缩表现。

5、Extreme Network Compression via Filter Group Approximation

作者提出了一种基于滤波器组近似的分解方法，他可以在明显地降低深度卷积神经网络的冗余的同时，保有大部分的特征表征。和其它的在滤波器的空间或通道维度上操作的低轶分解算法不同，该方法主要集中于利用每一层的滤波器组结构。

6、Constraint-Aware Deep Neural Network Compression
深度网络压缩能够将对资源要求不高的深度网络引入资源有限的设备。然而，在压缩了的深度网络的许多最引人入胜的部署方案中，操作约束非常关键：例如，一个自动驾驶汽车的行人检测网络必须满足安全操作的延迟约束。作者提出了深度神经网络的压缩在操作约束下的第一原则的处理方案。他们从约束贝叶斯优化的角度来制定压缩学习问题，并引入了冷却(退火)策略来引导网络压缩朝向目标约束。

7、AMC: AutoML for Model Compression and Acceleration on Mobile Devices

模型压缩是在移动设备这样的计算资源和功率预算都很紧张的设备上高效部署的有效技术。传统的模型压缩技术依赖于手工制作的功能，且需要领域专家来在设计空间上探索如何平衡模型尺寸、速度和准确度，但这往往非常花费时间，且结果也并不理想。本文的作者提出了用于模型压缩的AutoML算法(AMC)，它利用了强化学习来高效地在设计空间上取样，并能够提升模型的压缩质量。