CVPR 2018 论文概述：有损压缩视频的多帧质量增强方法

CVPR 2018 论文概述：有损压缩视频的多帧质量增强方法

杨韧

来源于：https://zhuanlan.zhihu.com/p/34465746

本篇论文为CVPR 2018年录用论文《Multi Frame Quality Enhancement for Compressed Video》。在该论文中，北京航空航天大学硕士研究生杨韧和导师徐迈副教授等人提出了一种针对有损压缩视频的多帧质量增强方法（Multi Frame Quality Enhancement, MFQE）。该方法弥补了原有的视频/图像质量增强方法仅将某单一图像或视频帧输入深度网络的缺点，充分利用了视频帧之间的相关性以及有损压缩视频不同帧间的质量波动的特性，显著提升了视频质量增强的性能。

论文链接 http://arxiv.org/abs/1803.04680

该研究项目主页（含代码） https://github.com/ryangBUAA/MFQE.git

近年来，视频在互联网上的传播愈发频繁，人们对高清视频的需求也越来越大。由于网络传输带宽的限制，视频必须经过压缩编码才能在互联网中传播。然而，压缩编码不可避免地会给视频带来失真，这会严重影响视频观看者的主观感受。因此，针对有损压缩视频，研究一种有效的质量增强方法是十分必要的。

有损压缩视频和图像最显著的区别在于，视频的内容具有非常强的帧间相关性，并且由于压缩编码的特性，压缩后的视频不同帧之间往往质量存在波动。基于压缩视频以上特性，本文作者提出充分利用与当前一帧相邻（及内容足够相关）并且质量好于当前帧的视频帧，来帮助当前帧进行质量增强。如图 1 所示， 图 1 上方的绿线为HEVC压缩后的视频各帧的质量（PSNR）。此处定义峰值质量帧（Peak Quality Frame，PQF）为其PSNR值为局部波峰的帧（如图 1 中的第93帧和97帧）。PQF以外的其他帧定义为非峰值质量帧（non-PQF）。当处理第96帧（non-PQF）时，将其相邻的PQF（质量更好的帧）与其一同输入本文提出的MFQE方法，第96帧（non-PQF）的质量（如篮球）即可被显著增强。这是由于充分利用了相邻的PQF中的相似内容。从图 1 中可以看出，本文提出的MFQE方法的效果（图 1 最下排中间）明显好于2017年的最新视频质量增强方法DS-CNN（图 1 最下排左边）。此外，还可以看出，经过MFQE算法进行质量增强后，压缩视频的帧间质量波动也明显减小，这也有利于提升主观感受。

图 1 本文 MFQE 质量增强示例。
表 1 不同压缩标准视频的平均质量标准差、峰谷差和峰间距。

作者研究发现，各种视频压缩标准压缩后的视频均存在较大的帧间质量波动，如图 2 所示。在本文视频库（共70个视频）中分析发现（表 1），不同压缩标准的帧间PSNR波动标准差（STD）均达 1 dB 以上， PSNR平均相邻波峰波谷差（PVD）也大多在 1 dB 以上，这充分证明了有损压缩视频帧间质量存在较大波动。此外，波峰间距离（相邻两个波峰相隔的帧数）平均都在6帧以内，说明相邻两个PQF间视频内容有很强的相似性。以上分析说明，利用周围的 PQF 来提升 non-PQF 的质量是十分可行的。

由于有损压缩后的视频观看时无法获取原视频，无法在质量增强前获得每帧的PSNR值。因此，首先需要研究一种无参考的PQF检测算法。考虑到PQF是相对于相邻帧质量较好的帧这一定义，本文将当前帧和相邻四帧（共 5 帧）均使用 [Mittal et al. 2012. No-reference image quality assessment in the spatial domain.] 中提出的无参考质量评估方法提取出特征，并将 5 帧所有特征放入 SVM 分类器训练，最终预测出当前帧是否是 PQF。该方法预测PQF准确度很高，在HEVC压缩视频中的准确率如表 2 所示。

表 2 本文PQF检测器性能。

本文MFQE方法的算法框图如图 3 所示。通过上述PQF检测器对PQF和non-PQF进行检测分类后，首先利用运动补偿子网络（MC-subnet）补偿当前的non-PQF与其前后的两个PQF之间的时域运动，使以上三帧相似内容处于相同位置。再将补偿后的两个PQF与当前的non-PQF一起输入质量增强子网络（QE-subnet），最终即可得到质量增强后的当前non-PQF。对于PQF，由于周围没有质量更好的帧，所以仅使用单帧质量方法DS-CNN对其进行质量增强。MC- 和 QE-subnet 的网络结构图如图 4 所示。由于MC- 和 QE-subnet 均为深度学习网络，所以两个网络可以进行端到端的联合训练。

图 3 本文MFQE方法的算法框图
图 4 MC- 和 QE-subnet 的网络结构图

本文提出的MFQE算法在测试视频上的质量提升效果（PSNR提升）如表 3 所示。可以看出，本文的MFQE算法的质量增强性能明显好于原有的最新对比算法。图 5 和图 6 分别展示了MFQE算法在PQF、non-PQF和VQF（峰谷质量帧）上的质量提升效果以及使用MFQE算法提升质量后帧间质量波动情况。从中可以看出，non-PQF上的PSNR提升明显高于PQF，这是因为non-PQF在相邻的PQF的帮助下更好地提升了质量。这样也可以减轻帧间的质量波动，从图 6 中亦可得到相同结论。质量增强的主观效果如图 7 所示。

表 3 本文提出的MFQE算法在测试视频上的质量提升效果
 图 5 MFQE算法在PQF、non-PQF和VQF（峰谷质量帧）上的质量提升效果
图 6 使用MFQE算法提升质量后帧间质量波动情况
图 7 主观图