运动图像专家组(MPEG)和视频编码专家组(VCEG)是两大视频标准化组织,MPEG属于国际标准化组织(ISO)和国际电工委员(IEC),其制定的视频编码标准主要有MPEG-1,2和4。而VCEG则属于国际电信联盟(ITU-T),其制定的视频编码标准为H.26X系列。为针对高清和超高清视频应用提供更高效的编码压缩方案,MPEG和ITU-T成立了视频编码联合小组(JCT-VC),旨在开发下一代视频编码标准HEVC,核心目标是在保证相同视频图像质量的前提下,相比于H.264将视频流的码率减少一半。
HEVC的编码结构和H.264相似,均采用混合编码结构,包括预测、变换、量化和熵编码:
1.预测编码主要分为帧内预测和帧间预测,且帧内预测用于降低空间相关性,帧间预测用于降低时间相关性。
2.变换编码是将时域信息变换到频域以降低空间相关性。
3.熵编码则是利用语法元素之间的统计信息,从而进一步降低码率。
同时,HEVC在H.264的基础上又增加了很多重要技术来提高编码效率。
1.在编码结构上,HEVC不再使用H.264中的编码宏块(MB),而是使用大小可以分为8*8、16*16、32*32和64*64的编码单元(CU),每个CU可以包含一个或多个不同大小的预测单元(PU),进一步每个PU又可以包含若干个变换单元(TU),这样增加了图像分割的灵活性,也使得压缩预测更符合图像特性。
2.此外,为提高预测准确性,HEVC帧内预测使用35种预测方向,包括33种角度预测,DC预测和Planar预测。且在帧间预测引入了非对称运动分割(AMP),先进运动矢量预测(AMVP)和运动合并(Merge)。
3.还引入了像素自适应补偿(SAO)来提高重构帧的质量。
3D-HEVC是JCT-3V研究的3D视频编码标准,目标是在HEVC基础上改进编码技术以高效压缩多视点视频以及其对应的深度数据。3D-HEVC包括HEVC编码的所有关键技术,并进行了扩展,增加了有利于多视点视频编码的技术,提高了3D视频编解码的效率。HEVC主要利用视频内容的空间和时间相关性,而3D-HEVC侧重利用视点间相关性。同时,相对2D视频,3D视频的编码需要传输深度图以便于解码端合成虚拟视点,但是深度图和纹理图存在一定的特征差异,因此3D-HEVC增加了一些利于深度图编码的技术。
3D-HEVC的技术改进主要是以下两个方面:
1.视差矢量预测和视差冗余预测。精确预测视差矢量可以充分利用视点间相关性,提高编码效率。
2.深度图编码,深度图表示场景物体离camera的距离。一般而言,HEVC的编码工具均可用于深度图编码,但是对于视频图像而言,深度图具有尖锐的物体边缘信息和大面积区域值相近的特性,而已有的视频编码工具并不适合深度图编码,因此需要研究符合深度图特性的编码技术。