H266/VVC多样化视频编码工具概述

全景视频编码

全景视频： 具有360度全包围视角的球面视频。
全景视频编码： 包括H266在内的视频编码算法都是以平面视频为对象的，为了采用传统的视频编码编码算法，全景视频需要转换为平面视频，其中经纬图等角映射（ERP）、立方体映射（CMP）是常用的格式。

水平环绕运动补偿：
普通平面视频编码算法的运动补偿中，当运动矢量指向参考图像边界区域外的像素时，会对参考图像边界进行填充以获取参考像素值，填充方法是用距离填充位置最近的图像边界像素值作为填充值。
ERP格式全景视频的左右边界是连续的，即图像的最左侧列像素与最右侧列像素内容是相邻的，如下图。

水平环绕运动补偿针对该类格式视频设计，可以使用图像右侧像素对左侧像素进行填充，也可以使用图像左侧像素对右侧像素进行填充。此外水平环绕运动补偿适用于其他左右边界连续的格式，比如等面积映射。

虚拟边界取消环路滤波：
多面投影映射是将球面全景视频投影在多个平面上，不论采用何种拼接方式，都不可避免地会在某些相邻投影面之间出现图像内容不连续现象，比如如下CMP格式。
如果对这些不连续边界使用环路滤波，则在重建视频中会出现拼接伪影，H266标准允许对指定边界禁用换路滤波。

屏幕内容编码

屏幕内容视频：像计算机桌面分享、文档演示、游戏动画等，都是屏幕内容视频，通常是由计算机生成，相比自然视频，屏幕内容视频不受摄像机镜头的物理限制，不存在传感器噪声，常带有更少的颜色类型，更多的重复图形，更锐利的物理边缘，场景切换也在屏幕视频中频繁出现。

H266屏幕内容编码： 针对屏幕内容视频的特性，H266标准采用了多种屏幕内容编码（Screen Content Coding，SCC）工具，包括帧内块复制、变换跳过模式的残差编码，块差分脉冲编码调制，调色板模式，自适应色度变换等。

帧内块复制：
IBC（Intra Block Copy）不再将参考区域限制在相邻像素行，利用当前帧所有已编码区域，预测待编码CU。预测过程与帧间预测类似，以CU为单位在当前帧已经完成重建的区域内搜索匹配的块。
使用块矢量（Block Vector，BV）来描述当前CU与匹配块的位移，与帧间预测出中的运动矢量类似，利用块矢量可以获取匹配块作为当前CU的预测值，如下图，IBC预测模式可以有效利用屏幕内容中重复出现的内容，完成更高效的预测。

帧内块复制支持两种预测模式，即IBC Merge模式和IBC AMVP模式。其中IBC Merge模式的块矢量候选列表通过空域矢量和历史矢量构建，下图时候空域块矢量示意图。IBC AMVP模式候选仅通过空域相邻块获取块矢量预测值，其预测值构建方式与IBC Merge模式中的空域块矢量预测方式相同。

变换跳过模式的残差编码：
H266中添加了变换跳过模式，即跳过变换过程，直接对CU的预测残差进行量化和熵编码。在H266中，变换跳过模式仅对宽和高都小于MaxTsSize的CU使用，MaxTsSize的值在SPS层语法元素中标识，最大值为32。

块差分脉冲编码调制：
针对屏幕视频内容，H266标准中采用块差分脉冲编码调试模式（Block Differential Pulse Coded Modulation， BDPCM）。CU完成帧内预测后，不对预测残差进行变换而直接量化，然后对量化预测出残差按预测方向进行差分脉冲编码。

调色板模式：
屏幕视频的像素值经常集中在少量颜色，H266的调色板模式（Palette Mode）可以有效提高屏幕视频的编码性能。在该模式下编解码端维护一个称为调色板的颜色列表，当像素值等于活接近调色板中得到某一个颜色时，编码端值需要编码该颜色的索引。当屏幕内容视频中的颜色种类较少时，可以用长度较短的调色板完成像素信息描述，获得较高的编码效率。

自适应色度变换：
为了削弱颜色失真效应，屏幕视频经常使用4:4:4颜色格式，H266采用ACT技术（Adaptive Color Tansform），允许使用颜色转换模块，将视频信息转换到YCgCo颜色空间，进行变换、量化、熵编码等操作。ACT技术如下图。
YCgCo颜色空间具有接近KL变换的都编码性能、与RGB颜色空间的转换可逆，支持有损压缩和无损，只包含移位和加法运算，计算复杂度低等优势。

参考

JVET输出文档： https://www.itu.int/wftp3/av-arch/jvet-site/
书籍： 新一代通用视频编码H266/VVC：原理、标准与实现[万帅 霍俊彦 马彦卓 杨付正/著]

备注

本系列博客主要是对《新一代通用视频编码H266/VVC：原理、标准与实现》的学习笔记。