编解码再进化：Ali266与下一代视频技术

过去的一年见证了人类百年不遇的大事记，也见证了多种视频应用的厚积薄发。而因此所带来的视频数据量的爆发式增长更加加剧了对高效编解码这样的底层硬核技术的急迫需求。正是在这样的大环境下，在ITU-T VCEG和ISO/IEC MPEG两大标准组织再次联手推出的最新视频编解码标准VVC定稿不久之后，阿里巴巴的视频团队开始全力投入开展VVC软件编解码的开发工作。本次LiveVideoStackCon2021北京峰会我们邀请到了阿里巴巴研究员，阿里云智能云视频标准与实现负责人叶琰老师来分享视频业界现状、Ali266自研VVC编解码器的技术演进史和业务展望、以及视频业界所面临的未来机遇和挑战。

文 / 叶琰

整理 / LiveVideoStack

大家好，我是叶琰，我是阿里云智能视频标准与实现团队负责人。本次分享的话题是编解码再进化：Ali266与下一代视频技术。

本次分享分成四个部分：首先是视频业界现状、然后Ali266自研VVC编解码器的技术演进史和业务展望，最后会从视频业界角度来看所面临的未来机遇和挑战。

01

视频业界现状

不夸张的说，过去一年和现在所经历的新冠疫情是人类百年不遇的大事。疫情打断了正常生活节奏和人与人之间习惯的面对面交流模式，改变了非常多游戏规则，同时触发了先进视频视频科技产品的厚积薄发。全世界疫情情况各有不同，中国属于疫情控制非常好的国家，因此人民日常生活基本照常，但是在疫情较为严重的国家和地区，由于受到疫情影响，人们的生活和工作发生了天翻地覆的变化。

这些变化包括几个方面。首先无论是工作上的交互从线下转到线上，大量使用云会议，拿钉钉的视频会议来讲，到今天累计每天用户时长超过了一亿分钟。另外，受疫情影响比较严重的国家和地区过半员工在家办公，在家工作中通过远程协同进行，和之前所习惯的面对面交流有了很大变化。不光是工作，人们的娱乐也从线下转到线上，拿美国来讲，在过去一年多电影院关门，虽然从今年夏天开始营业，但是看电影的人寥寥无几。大家的娱乐生活主要依赖于家庭影院，包括明星也从线下转到线上演出，通过线上交互方式与粉丝进行互动。

从视频业界的角度来说，我们在过去的一年见证了非常重要的里程碑，就是H.266/VVC新一代国际视频标准的定稿。VVC标准是从2018年4月正式开始标准化，经过两年多时间，在2020年夏天达到Final Draft International Standard，也就是第一版的定稿。VVC在整个两年多的旅程中，尤其最后半年，受到疫情影响，来自全世界各地近300名的视频专家日夜颠倒的参加通过网会的形式开展技术讨论，终于如期完成H.266/VVC新一代标准制定。

与之前每一代国际视频标准类似，VVC相对于上一代HEVC标准带宽成本减半。上图表示VVC主观性能测试结果，这里展示的是VVC参考平台相比于HEVC参考平台，在相同主观质量的前提下，VVC所能做到的带宽节省。这里面的视频内容分为5类，前两列为UHD和HD，也就是超高清和高清视频，我们可以看到VVC的VTM参考软件相比于HEVC的HM参考软件可以达到43%到49%的带宽节省。对于HDR和360全景视频这两种更加新颖的视频格式，VVC可以做到更高的带宽节省，分别达到51%到53%。最后一列是针对于低延时应用的测试，也就是使用视频会议上所用的时域预测结构，由于预测结构收到了更多的限制，VVC所能达到的带宽节省稍小，但也达到了37%，相当可观。篇幅有限，这里面只是展示了高度总结的数字，如果读者对中间细节感兴趣，可以去查一下JVET标准委员会T/V/W2020三个会议中主观测试集报告，其中有非常多的细节可供参考。

在视频爆发和最新标准VVC定稿的背景下，阿里巴巴开始了Ali266技术开发。首先看一下Ali266技术演进史。

02

Ali266技术演进史

什么是Ali266？我们希望它做到什么？Ali266是我们对最新标准VVC进行编解码实现，第一点希望做到高压缩性能，拿到VVC所带来的带宽节省红利；第二点是高清实时编码速度，相较于HEVC，VVC编码工具更多，保持实时编码速度对于真正商用来说具有巨大的意义；第三点是让Ali266具有完整的自成一体的编解码能力，更好打开端到端的生态。做Ali266是希望实现上述三个非常有挑战的技术点，做到技术领先性，转换成产品竞争力，并帮助我们进行业务拓展。

上图展示了众多的VVC编码工具。我这里把传统的视频编解码框架中的主要功能模块分成几类，包括块划分、帧内预测、帧间预测、残差编码、变化量化、环路滤波、以及其他编码工具。上面的蓝色圆圈是HEVC的编码工具，下面的紫色圆圈是VVC的编码工具。我们可以看到，在相应的功能模块中，HEVC只有三四个相应编码工具，而VVC支持更加丰富的编码工具集，这也是它能够有强大的压缩能力并拿到带宽节省红利的主要原因。

编码工具都具有一定的复杂度，因此每增加一个编码工具都会相应带来复杂度和性能的上升。上图是JVET标准委员会在VVC标准开发期间跟踪的每个编码工具带来的复杂度和能提供的编码性能的全面概览图。这个图中横轴是时间，纵轴是编码性能的上升，不同颜色点对应于不同的VVC编码工具。其中横轴越往右相当于一个编码工具的复杂度越低，纵轴越靠上说明编码工具带来的性能越高。因此我们希望编码工具落在右上角，但其实从图中可以看到，VVC编码工具基本上在右上角一片空白，更多的编码工具能够带来1%、1.5%的性能增益，但是也有小幅的