AV1标准特色编码工具简介

文章目录

  • 1. 编码单元划分结构
  • 2. 帧内预测技术
  • 3. 帧间预测技术
  • 4. 变换
  • 5. 环内滤波和编码后处理

作为新一代性能优异的开源编码标准,AV1收到越来越多企业的青睐。AV1编码标准继承自Google在2011年构建VP8及2013年的VP9标准,有谷歌等30多家企业在2015年成立的开放媒体联盟(Alliance for Open Media, AOM)进行开发和维护,并在2018年6月发布了1.0版本。得益于先进的编码工具,AV1在相同的编码质量下,相比于VP9和HEVC可节约30%的码率。

1. 编码单元划分结构

AV1标准特色编码工具简介_第1张图片

AV1中最大编码单元尺寸扩展到128 × \times × 128,同时对于递归划分中的每个编码单元,共有十种方式划分到下一级别,如上图。需要注意的是,只有四叉树的划分方式得到的中间编码单元,可以进行进一步划分(上图中R块)。

2. 帧内预测技术

AV1对原有帧内预测技术进行了全面的升级,同时新增了多种新的预测模式。可分三个方面来说:(1)对原有角度模式和对角度平滑模式进行扩展;(2)消除颜色分量间的冗余,引入跨分量预测模式;(3)帧内屏幕内容视频等人工合成视频,引入帧内块复制(Intra Block Copy, IBC)和色板模式(Palatte)。

帧内预测角度模式扩展为56个,VP9支持8种角度预测模式,预测角度为 45 ° 45\degree 45° ~ 207 ° 207\degree 207°,AV1进行预测角度精细化 3 ° 3\degree 3°为间隔,设计56个角度预测模式。帧内非角度模式在VP9中的DC和TM模式上增加三个,分别为SMOOTH_V、SMOOTH_H和SMOOTH模式,通过对水平或垂直方向进行二次插值,或求平均以生成预测像素。同时TM模式更新为PAETH模式。

基于循环滤波的帧内预测技术。解决目标边界空间相关性减弱的现象,AV1增加FILTER_INTRA模式,将帧内预测看成一个二维不可分马尔卡夫过程。为此,AV1设计了5种滤波帧内模式,每种模式用一个集合(包含8个7抽头滤波器系数)表示,7抽头滤波器刻画了每 4 × 2 4\times2 4×2的patch与相邻7个参考像素的相关关系。在编码时,如果选择此帧内预测模式,首先要从5个中选择一个filter intra mode,然后当前块以 4 × 2 4\times2 4×2的patchs逐个预测,每个patch从8个滤波权重中选择一组。(与VVC中ISP比较相似)。

CfL(chroma from Luma)类似于VVC中的CCLM不再赘述。Palatte模式和IBC模式与HEVC的SCC扩展标准中工具类似。

3. 帧间预测技术

AV1标准特色编码工具简介_第2张图片
  • AV1支持最多7个预测参考帧,除LAST(nearest past) frame, GOLDEN(distant past) frame and ALTREF(temporal filtered future) frame三帧外,增加了two near past frames (LAST2 and LAST3) and two future frames (BWDREF and ALTREF2)四帧参考帧,一个典型的gold-frame group的多层预测结构如上图所示。
  • OBMC(Overlapped Block Motion Compensation),提升运动边界像素的预测值
  • WMC(Warped Motion Compensation),除了平移运动外,AV1增加全局仿射运动补偿和局部仿射运动补偿两种运动补偿模式。
  • ACP(Advanced Compound Prediction),各种各样的加权预测方式

4. 变换

主要是扩展了变换核个数,以及对于帧内亮度编码块可进一步进行TU的划分。

5. 环内滤波和编码后处理

环内滤波的部分是AV1的一大特色。HEVC和VVC中环内滤波的部分一般就DF、SAO和ALF三种,AV1有很多环内滤波器,有些是针对特定应用场景设计的。

  • CDEF(Constrained Directional Enhancement Filter):
  • Loop Restoration Filters:
  • Frame Super-resolution:
  • Film Grain Synthesis:

你可能感兴趣的:(AV1开源编码标准)