全面超越JPEG2000——一种端到端的图像压缩方法

作者：黄建义    组别：研0组

【嵌牛导读】：数据压缩是一种基础工程问题，在数据存储和有限容量信道传输中有重要的应用。图像作为一种信息载体，数据量巨大，因此研究者们对图像压缩的研究从未停止过。端到端优化的图像压缩方法通常比标准JPEG和JPEG 2000压缩方法有更好的rate-distortion性能，并显著提升了压缩后图片的视觉效果。

【嵌牛鼻子】：End-to-End Optimized Image Compression（端到端优化的图像压缩）

【嵌牛正文】：数据压缩是一种被充分研究的基础工程问题，通常是为具有最小熵的给定离散数据集设计编码。解决方案很大程度上依赖于数据概率结构的知识，因此问题与概率源建模密切相关。然而，由于所有的实际编码一定具有有限的熵，连续值的数据（例如图像像素强度的向量）必须被量化为离散的值，这就会导致误差。在有损压缩问题下，必须权衡两种损失：离散化表示的熵（rate，压缩率）和量化导致的误差（distortion，失真）。不同的压缩应用场景，比如数据存储或者有限容量信道传输，需要不同的压缩率与失真的权衡。

        同时优化压缩率和失真是困难的。在没有额外的约束的情况下，在高维空间进行最优量化是很棘手的。由于这个原因，目前大多数的图像压缩方法将数据向量线性的变换成适当的连续值表示，独立量化各个元素，然后使用无损熵编码对所得到的离散表示进行编码。，由于变换起到的至关重要的作用，这种方法被称为变换编码（transform coding）例如JPEG在分块像素上使用了离散余弦变换，JPEG 2000使用了多种尺度的正交小波分解。

      在ICLR 2017会议上，来自纽约大学的Johannes Balle等研究者提出了一种端到端优化的图像压缩方法，并发表了论文：《End-to-End Optimized Image Compression》。这种方法包含了三个过程，分别是：非线性分析变换，均匀量化器，以及非线性合成变换。它是一种通用的非线性变换编码架构。一个图像向量x，通过一个参数化的分析变换y=ga(x；Φ)，映射到编码空间（code space）中。这个表示被量化，产生一个离散值的向量q，接下来q被压缩。而重建压缩图像则与之相反。对于其中的分析变换，研究人员使用了基于级联的线性卷积层和非线性层的更灵活的变换，来优化均方误差（mean squared error，MSE）。值得注意的是，研究者使用了generalized divisive normalization（GND）联合非线性层，这对高斯图像密度是很有效的，这是由生物视觉系统神经元所启发的。

图一、端到端优化的图片压缩框架

        论文中，研究人员将他们的方法与两个标准方法 JPEG 和 JPEG 2000 进行对比。得到结果如下：

图二、压缩后图片对比图

           下面是上图图像亮度分量的rate-distortion曲线，左侧是感知质量，由多尺度结构相似性度量（MS-SSIM）。右侧是峰值信噪比。

图三、图像亮度分量的rate-distortion曲线

       下图为三种比特率下的图像压缩。从上到下分别是JPEG，论文中的方法，JPEG 2000，从左到右，比特率一步步增大。

图四、压缩对比图

        论文中的方法相较于未压缩的原图细节较少，细节纹理和图案大部分被消除了，但是保留了轮廓的平滑性以及边缘的锐度，使得图像拥有自然的感观。相比之下，JPEG和JPEG 2000有明显的人工痕迹，这也是所有线性变换编码方法的问题：由于局部特征（边缘，轮廓，纹理元素等）是由局部线性基函数的组合表示的，变换系数的独立标量量化导致这些组合不平衡，导致在视觉上反映出潜在的基函数，即图像混叠和振铃现象。

       值得注意的是，该论文中的方法在所有测试图像和所有比特率上，都有可察觉的优势。上图中显示了从高到低比特率的过程。随着比特率的降低，JPEG和JPEG 2000通过粗化线性基函数系数的精度来降低其对原始图像的近似，因此暴露出这些基函数的视觉上的外观。另一方面，论文中的方法逐渐简化了轮廓和其他图像特征，有效隐藏了表示底层的量化。