编码技术新突破：字节跳动 AVG 让视频缩小 13%

字节跳动的海外技术团队在全球视频编码领域实现最新突破。

据联合视频专家组 JVET 官网显示，字节跳动 AVG（先进视频团队）今年 2 月发起一项视频压缩的技术提案，该提案能够在优化压缩质量的同时，节约至少 13% 的存储和带宽。例如，一段 180 分钟 H.266/VVC 标准的高清视频（1080P 分辨率），大约需要 3GB 的数据体积，应用新技术后只需要 2.6GB。这是业界公开的单个智能编码工具的最佳性能增益。

字节跳动 AVG 在美国加州建立研发团队，成员有来自高通、微软、英特尔等巨头的资深研究员，也有出身海内外顶级院校的新生代。在此前 JVET 制定新一代国际视频编解码标准 H.266/VVC 的过程中，字节跳动 AVG 累计提交 260+ 项技术提案，其中 130+ 项被采纳，被采纳提案数和采纳率均排在世界前列，是 H.266/VVC 核心算法的主要贡献者之一。

视频是由一张张图片连接起来的动态图像序列，视频编解码则是视频应用的底层核心技术，作用是对图像进行压缩和数字编码，以尽可能小的带宽传送高质量的视频数据。H.266/VVC 能够在不影响画质的情况下，把视频码率降低到前一代标准 H.265/HEVC 的一半。本来只够放标清视频的网速，也能流畅播放高清视频。

此次字节跳动 AVG 提出的新算法，旨在通过深度学习技术构建减少视频压缩失真的滤波器(DAM)，主干是基于残差单元堆叠的深度卷积网络，辅以自适应模型选择以最大程度适应特性复杂的自然视频。所谓残差单元是指通过引入跳层连接，允许网络把注意力放在变化的残差上，这与视频图像帧之间的残差有异曲同工之妙，比如武林高手决斗，“剑光一闪”，每一帧图像绝大部分内容是相同的，闪动的剑光形成残差，这也是视频编码压缩的重点关注对象。

实验结果显示，相比 H.266/VVC 最新标准，字节跳动的 DAM 解决方案能够为视频编码性能带来显著提升，亮度信号 Y 可实现 10.28% 的性能增益，两个色度信号 U 和 V，性能增益也分别达到 28.22% 和 27.97%，在视频质量有所优化的同时，至少还可缩小 13% 的数据体积。

图：测试用例来自国际标准组织的测试视频

据悉，字节跳动 AVG 已自主研发了 BVC2.0 编码器，首次参加国际权威的 MSU 2020 视频编码器大赛，就在四项评价指标上包揽第一。AVG 的各项研究成果，也将通过 BVC 编码器的升级换代投入应用，包括抖音、西瓜视频、今日头条等 App 的视频类内容处理，以及云计算、云游戏等基础架构领域，从而为用户带来更高清画质、更流畅播放的视频体验。

AVG 除了深度参与国际视频标准制定外，也为国产新一代视频压缩标准 AVS3 做出重要贡献，包括块划分、运动矢量编码及预测、色-亮度帧内预测等多项原创性技术被 AVS3 视频标准所采纳。字节跳动因此获得 2019 年度 AVS 产业技术创新之提案奖，是迄今唯一获奖的互联网企业。

字节跳动 AVG 的张莉博士介绍说，视频压缩标准作为服务商必须遵循的规范，不仅蕴含着难以估量的商业价值，也会为用户带来实实在在的便利。通过标准制定与产品研发，字节跳动会持续创新并输出技术能力，与行业一起为用户提供更优质的视频服务。