quantization 顶会文章简介 2018

1、Model compression via distillation and quantization

深度神经网络持续地在图像分类到翻译或强化学习的任务上取得重大进展。其中一个受到大量关注的领域是在资源限制的环境下，如移动设备或嵌入式设备，来高效地执行深度模型。本文着眼于该问题，并提出了两个压缩算法，它同时利用权重量化和从更大的教师网络到更小的学生网络的蒸馏。作者提出的第一个方法被称为量化蒸馏，它在训练过程中通过将相对于教师网络来说的蒸馏损失加入到权重被量化为限制的等级集合的学生网络的训练过程中来进行蒸馏。第二个方法，可微分量化，通过SGD来优化量化点的位置，从而更好地拟合教师模型的表现。

2、SYQ: Learning Symmetric Quantization For Efficient Deep Neural Networks

对state-of-art的深度神经网络进行推断会消耗很多的计算资源，这使得它们很难被部署到受限的硬件环境上。降低这种复杂性的有效方法是在训练时通过使用有限的入口码本来近似权重参数和/或激活层的分布来量化它们。对精度非常低的网络，比如有着1到8位激活层的二元或三元网络，前向和后向函数间巨大的梯度不匹配会导致量化量化时的信息损失，从而出现明显的精度下降。本文提出了一种通过对特定权重子群的对称码本进行学习来减少这一损失的量化方法。这一子群通过它们在权重矩阵中的位置来确认，于是保持了低精度表征的硬件简单性。

3、Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

智能移动设备的日益普及以及基于深度学习的视觉识别模型日益曾长的令人畏惧的计算消耗之间的矛盾呼唤高效的在移动设备上的推理方案。作者提出了量化方法以及相应的共同设计的训练过程，它允许推断能够使用整型运算进行推理，且在同时保留接近浮点推理的端对端的模型精确度。仅使用整型运算的推断在经典的ARM CPU上表现会更好，且可以被仅支持整型运算硬件，如移动加速器上。

4、A Biresolution Spectral framework for Product Quantization

产品量化(PQ)(及其变体)已被高效地应用于将高维数据编码为紧凑代码来解决视觉领域中的很多问题。原则上，PQ将给定的数据分解为很多低维子空间，并对每个子空间进行独立的量化。最初的PQ并没有明确地优化这些子空间，后来的建议指出如果这些子空间能够以最佳的方法进行选择，那它的性能能够得到明显的提升。尽管存在这一共识，现有的文献在这些子空间的哪些特定属性是合乎需求的，以及应当如何操作来解决/优化这一问题方面仍有分歧。然而，尽管有经验支持，这些量化问题的实验上的有效性仍未有清晰的理论解释。本文研究了在子空间被设定为相互正交时的量化问题，并表明该问题与数据的特定类型的频谱分解错综复杂地相关。这一见解不仅开启了频谱分析的丰富工作的大门，也带来了明显的计算优化。本文得到的双线性频谱分析在同一框架下捕捉了子空间投影误差以及量化误差。在重构后，本文算法的核心步骤设计到了一个能够很容易得到解决的简单的特征分解步骤。

5、Feature Quantization for Defending Against Distortion of Images

在本文中，作者解决了提高CNN面对图像扭曲时的鲁棒性的问题。作者认为由于图像扭曲，特征分布的高矩统计可能会发生偏移，并导致性能的下降，且这种偏移无法通过我们试验分析中观察到的那种普通归一化来消减。为了减轻这一影响，作者提出了基于特征量化的方法。具体来说，就是在CNN中部署三种不同类型的附加非线性：1、具有可扩展分辨率的基函数；2、拥有可学习指数的幂函数；3、有数据相关指数的幂函数。

6、Two-Step Quantization for Low-bit Neural Networks

在量化神经网络的硬件设计中，每一位都很重要。然而，极低位的表征通常会带来很大的精度下降。因此，如何训练极低位的神经网络并使其获得高精度成为了一个重要的问题。许多网络量化方法同时学习变换(低位权重)和编码(低位激活)。这种紧密的耦合是的优化变得困难，从而阻止网络学习最好的表征。本文提出了一个简单且有效的两步量化框架(TSQ)，它将网络量化问题分为两步：编码学习和基于学到的编码的变换函数学习。在第一步中，作者提出了用于编码学习的稀疏量化方法。而第二步可以被表示为具有低位约束的非线性最小二乘回归问题，而这可以使用迭代方式来高效地解决。

7、Quantization of Fully Convolutional Networks for Accurate Biomedical Image Segmentation

随着医学成像在医疗保健中的普遍应用，生物医学图像分割在量化分析、临床诊断和医学干预中正发挥着核心作用。由于手动注释的有限的再现性、需要艰苦的付出及过多的时间，因此使用自动分割来处理越来越大规模的组织病理学数据的需求越来越大。由于DNN，尤其是完全卷积网络(FCN)正在被广泛地应用于生物医学图像分割，且取得了大大改善的性能。与此同时，DNN的量化已成为一个活跃的研究课题，它关注的是如何使用更少的存储(及精度)来表示权重，从而在最大程度地降低DNN的存储和计算需求的同时，仍保有可接受的准确率。本文将量化技术应用于FCN以进行精确的生物图像分割。与其它量化的文献把注意力集中于存储和计算的复杂性的减少上，作者把量化作为一种减少FCN过拟合的方法来获得更好的准确率。具体来说，作者专注于state-of-art的分割框架和推荐的注释，它机智地从原始的训练数据集上提取代表性的注释样本，获得了一个高效的小型平衡训练数据集。作者为该框架开发了两种新的量化过程：1、用于高度代表性的训练样本的量化的推荐注释；2、为了高准确率的量化的网络训练。

8、Explicit Loss-Error-Aware Quantization for Low-Bit Deep Neural Networks

由于数以千万计的分层堆叠可学习参数，DNN已经在许多人工智能任务中展示出了压倒性的准确率。然而与此同时，DNN模型较大的尺寸，对存储、计算和功耗都带来了沉重的负担，这阻止了它们被部署在嵌入式和移动系统上。本文提出了显式的损失-错误-感知量化(ELQ)，它可以使用三元和二元这样的低位参数值来近似32位的对应浮点，从而使得训练出的DNN没有明显的准确度损失。与其他方法将问题视作原始全精度图像的逐层权重或输出的直接近似(具体来说，就是最小化逐层权重的误差或权重的内积，以及原始图像和各个量化过的模型的输入)不同，ELQ精心地将来自权重量化的损失扰动和一个增加的量化策略相连接来解决DNN的量化问题。通过以增量方式直接地规定损失扰动和权重近似误差，作者证明了这一优化方式在理论上是合理的，且在实践中是有效的。

9、LQ-Nets: Learned Quantization for Highly Accurate and Compact Deep Neural Networks

虽然权重和激活层的量化是压缩DNN的有效方法，且有很多利用位操作来提升推断速度的潜能，然而在量化的模型和全精度模型的预测准确率还是有着显著的差距。为了解决这个问题，作者提出了同时训练一个量化了的、兼容位操作的DNN和与其相关的量化器，而不是使用固定的手工量化方案，如统一化或对数量化。该方法学习量化器的方法同时适用于任意位精度的网络权重和激活层，且很容易训练。

10、Value-aware Quantization for Training and Inference of Neural Networks

本文提出了一种新的量化方法，它大幅度地将大部分数据的精度下降，同时它分别处理小部分高精度的大数据，从而在非常低的精度下降低总量化误差。我们提出了新的将该量化方法应用到训练和推断阶段的方法。

11、LSQ++: Lower running time and higher recall in multi-codebook quantization

多码本量化(MCQ)是在多个基础中的离散条目中经可能准确地表达一组矢量的任务。MCQ的工作重点是更低的量化误差，从而提升距离评估并在固定的内存预算下调用可视描述器的基准。然而，这一领域的研究和方法很难和其它的相互比较，因为它们往往使用不同的数据集、协议以及，可能是最重要的原因：不同的计算预算。本文首先在平等的基础上对一系列MCQ baseline进行基准测试，随后对其的召回和运行的性能表现进行分析。作者发现，局部搜索量化(LSQ)在实践中比它的竞争对手要更快些，但在所有情况下都不是最准确的方法。于是作者提出了两种对其的新的改进方法来使它更准确也更快。这些改进很容易实现，且定义了MCQ的新的state-of-art。

12、Product Quantization Network for Fast Image Retrieval

由于其在编码高维可视特征上的高效率，产品量化已经被广泛地应用在了快速图像恢复上。通过将硬分配扩展到软分配上，作者可以将产品量化作为CNN的一层进行合并，并提出了它们的产品量化网络。同时，作者提出了一种不对称三重态损失来有效地提高提出的基于不对称相似性的产品量化网络的恢复准确性。通过提出的产品量化网络，我们可以以端到端的方式得到一个有辨别力的和紧凑的图像表征，从而进一步地确保了快速和准确的图像恢复。

13、Quantization Mimic: Towards Very Tiny CNN for Object Detectio

本文提出了一个简单且通用的用于训练非常小的用来做目标检测的CNN的框架。由于表达能力有限，训练非常小的网络来完成检测这样复杂的任务是很有挑战性的。而本文的方法，Quantization Mimic是第一个专注于非常小的网络的方法。作者利用了两种加速方法：mimic和量化。mimic提升了从教师网络那里转移学习得到的学生网络的性能。量化把全精度网络转化为没有大的性能下降的量化网络。如果教师网络被量化了，那学生网络的搜索范围将会更小。使用量化的这一特征，作者提出了Quantization Mimic。它首先量化大的网络，随后模拟一个小的量化网络。量化操作可以帮助学生网络更好地匹配教师网络的特征图。