【图像压缩】棋盘格上下文模型

博主的复现代码：Github链接

论文链接：arxiv PDF

标题：Checkerboard Context Model for Efficient Learned Image Compression (CVPR 2021)

作者：Dailan He（商汤）

论文简介

在之前的端到端图像压缩框架中，为了达到SOTA的性能，都使用了mbt2018中的Joint Autogressive的上下文自回归模型。然而，该上下文模型的编解码需要串行实现，使得计算效率显著降低。本文提出的棋盘格上下文模型，有效克服了这个缺点，在几乎不损失编码性能的前提下，将编解码速度提升了四十倍。

文章首先设计了一个random mask实验，分析了不同位置的空间上下文对码率节省的情况，发现在待编码上下左右位置的空间相关性最大。

随后，提出了一种棋盘格上下文模型，将待编码的潜在表示y，按棋盘格的方式划分为anchor和non-anchor。anchor仅仅使用Hyper Prior的先验信息进行编解码；而non-anchor不仅可以使用Hyper Prior信息，而且可以将已解码的anchor作为上下文先验信息进行编码。

 该上下文模型，只需要一次编码、两次解码，极大提高了计算并行度，并且得到了不错的性能。

论文复现

博主复现了文中的“mbt2018 + checkerboard”模型，该模型仅仅改变了上下文模型，将串行上下文替换为棋盘格上下文。总体流程图如下，其中蓝色是编码过程，红色是解码过程，黄色是编解码共用的过程。

 在编码时，论文只需要一次编码。而使用Compress AI复现时，y_anchor的量化必须先减去均值，而均值的获得必须通过gep网络，因此在复现时需要增加这样一个步骤。

而解码时，可以按照文章中的两步解码来完成。

关于anchor和non_anchor的复用与解复用，可以参考文章在Supplementary Material中的描述，使用切片、转置等来实现。博主参考了Space2Depth的实现方式。

至于论文复现的其他细节，可以参考博主的github链接：https://github.com/leelitian/Checkerboard-Context-Model-Pytorch

如果文章对你有帮助，记得点个赞噢~