端到端的图像压缩----码率估计

前言

  本文是基于Johannes Ballé的超先验架构下，一些论文对于该架构下扩展，创新，的相关知识内容的汇总。

超先验架构

1.VARIATIONAL IMAGE COMPRESSIONWITH A SCALE HYPERPRIOR（Johannes Ballé—google）

  该论文的整体架构如下图，采用了超先验架构，对每个特征点的像素进行建模，论文中采用了单高斯函数，均值设定为0，方差为σ，用超先验架构来得到每个特征点像素的建模参数σ，此时超先验架构本身就包含了Context模型的功能，通过原始的卷积网络进行上下文并行的σ预测。σ用于对每个像素进行group分组，某个范围内的σ确定一个group,通过组内相似的σ进行熵编码能更有效的降低码率。超先验输出shape（16x16x192）

基于一下，其他论文的改进：

1. 来源于编码器输出的feature map, 这种方式会消耗Bit位，
2. 其超先验的架构本身担任Context的职责，采用了并行处理的方式，无法体现邻域内强相关性的特点，但是运行速度快
3. 对feature map采用了单高斯建模，模型的精准问题。

2 .CONTEXT-ADAPTIVE ENTROPY MODEL FOR END-TO-END OPTIMIZED IMAGE COMPRESSION（Jooyoung Lee–电子电信研究所）

1. 同样是使用了自回归的模型但是未披露自回归数据的处理方式，pixel CNN?
2. 将量化器的方式调整，不采用添加添加均匀噪声的形式，而是采用正向取整，反向梯度恒等于1的形式进行反向传播
3. 建模依旧采用单高斯建模形式，加入了均值参数进行建模，之前的建模方式为0均值建模。

3.Joint Autoregressive and Hierarchical Priors for Learned Image Compression（David Minnen—google）

1. 采用了自回归的形式，增加了ContextModel来进行自回归，更加充分的利用预测像素的邻域相关性。
2. 使用了GMM建模，更加客观地预测每个像素点的概率问题。

  超先验解码器解码后生成16X16X384（包含了均值和方差的）所以是double的channels，记为来源C‘，此处消耗Bits。

  使用了上下文Context模块进行自回归的预测，通过mask掩膜的形式，掩膜的形式保障了数据的输入顺序是按照光栅顺序编码解码，并且编码解码的数据来源都是已经解码的Y的数据，此处数据来源由于是已经解码的数据，几位C‘’，不消耗bit位，此处可以理解为PixelCNN基础版本。存在只取到邻域的信息的缺陷。

  通过这种形式形成Context feature.，生成了整个完整的图后，结合C‘ 的数据，在通道维度上进行Contact.然后通过Entropy Parameters模块1X1的Conv层进行最终的μ和σ参数的预测。

4.End-to-end Optimized Image Compression with Attention Mechanism（zhoulei—图鸭）

实际算法上与上一篇论文是相似的，加入了后处理机制。

1. Attention 机制
2. 图像后处理
3. PixelCNN 作为Context Model,以及使用Parameter Model 运算得到建模参数。
   

5.Non-local Attention Optimized Deep Image Compression（Haojie Liu—南京大学）

1. 使用了3D-CNN的卷积神经网络捕获通道内，以及通道间的关联信息，在捕获依赖性时，此类依旧属于local邻域的上下文。
2. 使用了Non-local Attention机制，该Attention机制暂时按下不表。

 3D卷积形式：通过3D卷积核，进行Pixel CNN进行上下文预测当前像素点的参数预测，相比于前文中的Pixcnn，原始的2D CNN会在通道区域上有更多的内容获取，但是运行时间以及卷积核参数上，3D卷积核的运算参数远远少于2D卷积核的参数量。

6.A Hybrid Architecture of Jointly Learning Image Compression and Quality Enhancement with Improved Entropy Minimization（Jooyoung Lee—电子电信研究所）

基于上篇论文的改进在于：

1. 加入了图像增强的模块（一般采用现有的超分辨降噪的网络），个人认为------该模块处理归属于图像后处理，不计入端到端的范畴内。

2. 增加了Context的模块f，其中f Context Module Input 有三个来源

   • 原论文超先验架构中，由超先验架构得到的消耗Bit位的消息
   • 自回归信息，由已经解码的信息进行预测? 这部分信息是指？ 与下文是否有重叠。
   • 全局的Context上下文信息，包含了Local领域（当前卷积核的感受野）的上下文，以及灰色部分的Non-local Context region.通过1x1的卷积核对已经解码的y数值进行变换，得到对应的μ和σ记作C‘’‘（i），S为全局的大小，通过给全图分配权重的形式，
   • 

3. 更改数据的建模方式，将GSM的建模改为GMM的模型，更符合像素的实际分布情况。
   
   网络结构图

结语

  第一篇论文为端到端图像压缩领域超先验架构的开山之作，其中后续图鸭，原作者，韩国电子电信研究所相继依据论文熵模型码率估计上进一步挖掘空域之前的冗余，试图更准确的预测数据的概率密度，即其预测的越符合客观的出现概率，则实际编码的码率越低。
  文中，2，3，4中在码率部分采用了相似的操作，采用了自回归的形式，提高了预测的准确度.5中采用了自回归，3D卷积层的形式进行预测，减少了卷积核的参数以及增加了运行速度。 6.中再一次将上下文感受野扩大，加入了所有的已解码的全局信息进行参数预测，进一步提升了性能。其中包括了数据建模的模型选择，包括，从GSM to GMMs.以及图鸭科技选择了使用拉式模型，和拉式混合模型。
  文中自回归模型一般都采用了Pixel CNN的结构，关于自回归可参看：PixelCNN

Reference

Ballé J, Minnen D, Singh S, et al. Variational image compression with a scale hyperprior[J]. arXiv preprint arXiv:1802.01436, 2018.
Lee J, Cho S, Beack S K. Context-adaptive entropy model for end-to-end optimized image compression[J]. arXiv preprint arXiv:1809.10452, 2018.

Minnen D, Ballé J, Toderici G D. Joint autoregressive and hierarchical priors for learned image compression[C]//Advances in Neural Information Processing Systems. 2018: 10771-10780.
Zhou L, Sun Z, Wu X, et al. End-to-end Optimized Image Compression with Attention Mechanism[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2019: 0-0.
Liu H, Chen T, Guo P, et al. Non-local attention optimized deep image compression[J]. arXiv preprint arXiv:1904.09757, 2019.
Lee J, Cho S, Kim M. A Hybrid Architecture of Jointly Learning Image Compression and Quality Enhancement with Improved Entropy Minimization[J]. arXiv preprint arXiv:1912.12817, 2019.