来源:中国图象图形学报,贾川民,马海川等
一般分为传统信号处理和深度学习方法两类,前者可以采用贝叶斯方法/期望最大化EM方法,估计底层运动、模糊核核噪声水平,重建参考帧;后者由CNN,GAN和RNN等方法。
本文以是否在重建帧之前进行帧对齐的角度进行分类:
1.对齐超分辨算法
大多基于运动补偿和运动估计技术,前者提取帧间的运动信息,大多基于光流,或者使用Druleas算法;后者根据运动信息进行帧间的矫正,使当前帧与前一帧对齐。
其他方法:亚像素卷积层;反投影算法;实时视频超分辨。
2.非对齐超分辨算法
分为空间未对齐和时空未对齐,前者不需要帧间和运动估计和运动补偿,例如超分残差网络,通过对抗性训练解决超分辨的问题;DUF提出动态滤波器的结构与三维卷积学习到的时空信息相结合,避免了运动估计和运动补偿。
但是非对齐的方法总体上不如对齐的方法,这说明帧间的信息融合还是很重要的。
3.视频插帧
基于相位的方法PhaseNet可以处理运动模糊的情况,但是不能重建详细纹理;
核方法对每个像素估计一个自适应卷积核,但是不能处理大运动场景;
基于流的方法,根据邻近帧预测中间帧,需要估计中间帧的运动向量。
图像降质模型很多,由模糊、噪声和天气效应。处理方法主要分为四类:基于时域的算法,基于频域的算法,基于低秩和稀疏性的算法,基于深度学习的算法,前三者是基于模型驱动的方法,最后是基于数据驱动的方法。
传统视频编码框架采用基于块划分的混合编码框架,包括帧内预测、帧间预测、变换、量化、熵编码和环路滤波等技术模块:
先进视频编码AVC采用基于16×16的宏块的划分结构;为了提升划分的灵活性和自适应性,高效视频编码HEVC采用了四叉树划分结构;VVC标准采用了高通公司提出的四叉树、三叉树和二叉树联合的多级划分方式,进一步提高了编码灵活性。
帧内预测利用临近块的空域相关性消除了空域冗余;帧间预测中的运动矢量编码消耗的比特数一直制约着压缩性能;变换是为了去除残差信号的统计相关性;量化是压缩失真的主要来源;熵编码为了去除统计域的冗余;环路滤波是去除压缩失真的关键技术。
块划分的进展:
wang 2019b提出一种非对称的三叉树划分方法;Fu 2019提出了非对称划分方法,可以划分出四叉树、二叉树和拓展四叉树无法划分出的形状和规则。(Derived tree block partition for AVS3 intra coding / / 2019 Picture
Coding Symposium)
清华大学wang 2019c提出了一种 帧间导出树的划分技术来更好的拟合编码单元中信号的变化规律。(Extended coding unit partitioning for future video coding )
一个比较重要的方向是如何将时域和空域进行融合
另一个方向是端到端的深度学习视频压缩,所有模块都是深度神经网络,更容易实现全局最优,这类工作按照应用场景可以分为:面向随即切入场景,低延时场景。
3D-HEVC是交友参考价值的三维视频编码标准,其中由纹理图编码工具和深度图编码工具。
reference
Karsten Müller, Heiko Schwarz, Peter Eisert, Thomas Wiegand
Video Data Processing
MSU Video Codecs Comparison 2021 (Sixteen Annual Worldwide Video Codecs Comparison) (compression.ru)
compression.ru)](https://www.compression.ru/video/codec_comparison/2021/)