【音视频编解码】OpenVVC: a Lightweight Software Decoder for the Versatile Video Coding Standard

https://arxiv.org/pdf/2205.12217v1.pdf

1、文章概述

本文介绍了OpenVVC，一个用于Versatile Video Coding标准的轻量级软件解码器。实验结果表明，在AI和RA编码配置下，OpenVVC解码器在帧率和内存使用方面与其他开源的SOTA VVC解码器相比具有竞争力。该解码器在高分辨率视频序列上的性能表现良好，并且在具有强内存限制的平台上具有良好的可移植性。

2、研究背景

本篇文章的研究背景是关于视频编码标准的研究。视频编码是将视频信号转换为数字数据的过程，以便在存储和传输中有效地使用带宽和存储空间。本文主要关注一种名为Versatile Video Coding (VVC)的视频编码标准。VVC是一种新兴的视频编码标准，旨在提供更高的压缩效率和更好的视频质量。然而，VVC的解码过程需要处理大量的计算任务，因此需要高效的解码器来实现实时解码。本文介绍了一种轻量级的VVC软件解码器OpenVVC，并对其性能进行了实验评估。研究的目标是提供一个高效、符合标准的VVC解码器，以支持不同编码器生成的各种比特流的实时解码。

3、研究思路

本研究的研究思路是开发一种轻量级的软件解码器，用于支持Versatile Video Coding (VVC)标准的实时解码。VVC是一种视频编码标准，其解码过程需要处理大量的计算任务，因此解码速度和标准兼容性是解码器面临的挑战。为了解决这些问题，本研究采用了并行处理技术，并在数据级、高级和帧级上进行了优化。

在数据级并行技术方面，本研究利用SIMD指令进行优化，通过同时在数据向量上应用操作来提高计算效率。这些优化包括应用ALF的钻石形状滤波器、MC插值滤波器的处理、帧内预测中重建样本的推导以及对残差变换系数应用的逆变换等。

在高级并行技术方面，本研究采用了标准中定义的瓦片和Wavefront Parallel Processing (WPP)技术。瓦片是图像的矩形区域，包含整个CTU，可以在编码和解码过程中实现并行处理。WPP技术则允许多个线程同时处理连续区域的帧。

在帧级并行技术方面，本研究通过同时处理多个帧来提高解码速度，但需要满足运动补偿(MC)的依赖关系。

通过以上优化技术，本研究开发的OpenVVC解码器在AI和RA编码配置下进行了实验评估。实验结果表明，OpenVVC解码器在解码帧率和内存使用方面与现有的开源VVC解码器(VTM-16.2和VVdeC-1.5)相比具有竞争力。同时，本研究还提供了解码过程的复杂性分析，以帮助理解解码过程中最耗时的任务。

综上所述，本研究通过并行处理和优化技术，成功解决了VVC解码器面临的速度和标准兼容性挑战，提供了一种轻量级的软件解码器，可用于实时解码各种不同编码器、比特流和分辨率的视频。

4、研究结果

根据给出的文本，文章主要介绍了OpenVVC解码器在AI和RA编码配置下的性能评估结果。以下是文章中提到的一些实验结果：

1. 实验设置：使用OpenVVC解码器与VTM-16.2和VVdeC VVC解码器进行比较。实验使用了12个核心的GPP平台，分别运行在3.70 GHz和3.60 GHz的P-core和E-core上。实验使用了不同的并行配置，包括单线程和多线程，并启用了SIMD优化。

2. 解码性能：在AI编码配置下，OpenVVC解码器在不同分辨率的测试序列上的解码帧率进行了评估。结果显示，在FHD和UHD分辨率下，OpenVVC解码器的解码帧率相对于VTM-16.2和VVdeC解码器有所提高。

3. 内存消耗：OpenVVC解码器的内存消耗也进行了评估。结果显示，在AI编码配置下，OpenVVC解码器的内存消耗相对于VTM-16.2和VVdeC解码器较低。

4. 复杂度分布：通过使用Callgrind工具进行分析，得到了OpenVVC解码器在AI编码配置下的复杂度分布。结果显示了不同解码阶段的复杂度占比，如CABAC阶段、帧内预测阶段、变换阶段和循环滤波阶段。

至于是否论证了实验的假设，根据给出的文本，无法确定是否有明确的实验假设。需要进一步阅读完整的文章来确定是否有提出和论证实验假设的部分。

5、研究结论与讨论

1. 研究结论：本文的研究结论是OpenVVC是一个轻量级的软件解码器，用于支持Versatile Video Coding (VVC)标准的实时解码。它采用并行处理技术来提高解码速度，并支持VVC标准的各种编码工具和不同编码器生成的比特流。

2. 研究的创新性：本研究的创新性包括以下几个方面：

• 提出了一种轻量级的软件解码器OpenVVC，用于支持VVC标准。
• 使用并行处理技术来提高解码速度，包括数据级、高级别和帧级并行处理。
• 支持VVC标准中的并行处理技术，如tiles和Wavefront Parallel Processing (WPP)。
• 通过SIMD优化和任务级并行处理来进一步提高解码速度。

3. 研究的不足之处：本研究的不足之处包括：

• 目前只有少数几个开源的VVC软件解码器可用，且大多数解码器的解码性能远低于实时解码要求。
• 在帧级并行处理中，需要额外的图像缓冲区，这对于内存受限的设备可能是一个限制。
• 目前的研究主要集中在解码速度的提高，对于解码质量和编码效率的优化还有待进一步研究。

4. 研究展望：根据这项研究，后续可能的研究方向包括：

• 进一步优化解码速度，尤其是在内存受限的设备上。
• 改进解码质量和编码效率，通过算法优化和新的编码工具。
• 探索更多的并行处理技术，以提高解码性能。
• 研究解码器在不同平台和设备上的适应性和可移植性。

5. 研究意义：本研究的理论意义和实践意义包括：

• 对于VVC标准的实时解码提供了一个轻量级的软件解码器，为视频应用提供了更高的性能和效率。
• 通过并行处理技术和SIMD优化，提高了解码速度，使得解码器能够处理多种编码工具和不同编码器生成的比特流。
• 为后续研究和开发提供了基础，促进了VVC标准的推广和应用。