END-TO-END、SCALE HYPERPRIOR、Checkerboard梳理总结

8.9-8.15学习汇报

阅读《END-TO-END OPTIMIZED IMAGE COMPRESSION》、《VARIATIONAL IMAGE COMPRESSION WITH A SCALE HYPERPRIOR》、《Checkerboard Context Model for Efficient Learned Image Compression》

传统的图像或视频压缩方法通常分为多个步骤，包括变换、量化、熵编码等。每个步骤都有其特定的算法和模块，并且这些步骤通常是独立的。

《END-TO-END OPTIMIZED IMAGE COMPRESSION》端到端压缩，通过一个统一的神经网络模型来实现整个压缩过程。网络模型通常由编码器和解码器组成。

如何训练的？

如何用得到的模型做编解码？

端到端压缩的一个潜在缺点是熵模型的简单性。例如均匀分布或固定概率分布。这种简化的熵模型往往无法充分捕捉不同位置的数据统计特征，导致压缩效率的降低。而我们知道图像是有区域性的，不同纹理、区域对应的概率分布差异较大。使用同样的熵模型很难消除空间冗余。

《VARIATIONAL IMAGE COMPRESSION WITH A SCALE HYPERPRIOR》超先验，它通过在熵模型之前引入额外的神经网络模型来提高熵模型的表达能力。

对潜在表示每一个点进行均值为0，方差为σ的高斯建模。

之前是对整体潜在特征进行建模，即一个熵模型在推理阶段应用在所有的特征值熵，而超先验架构为每个特征点都进行了熵模型建模。

后续LIC的两个思路：1.提出更好的熵模型2.改进出更强的变换网络

上下文模型，用先编码的符号来预测后编码的符号分布。但存在串行解码效率问题。

《Checkerboard Context Model for Efficient Learned Image Compression》棋盘上下文模型。

1. 随机掩码模型的玩具实验，实验结果表明：参考的特征数量与码率的节省效果不是强相关的。但使用距离解码特征更近的特征将节省更多的码率。

2. 于是就设计了棋盘格模型，经随机掩码模型测试，节省的码率比之前的自回归要好，但是有新的问题，即双向引用。

3. 因此就把这个上下文模型用在一半特征，另一半只用超先验。