视频编解码器讲解-H.264、VP9、HEVC、AV1

H.264

H.264 是最接近通用的编解码器，这就是在 Bitmovin 的“2021 Bitmovin 视频开发者报告”中，H.264 在调查对象中的使用率实际上从 2020 年的 92% 下降到 2021 年的 83%，令人惊讶的原因。这一数据得到了 Rethink Technology Research 的“2020-2030 年媒体和娱乐转码工作量和设备使用费预测”的支持，其中 H.264 的使用量从 2020 年所有流量的 80% 左右下降到 2030 年的 25% 左右。我们都知道 H.264 的使用量在某种程度上必须下降，而且似乎下降已经开始。

为了给本文的其余部分奠定基础，我分享了 Bitmovin 报告中的一张图表（见图 1），其中显示了调查对象计划在 2022 年增加的新编解码器。请注意，受访者包括整个视频编码和传输生态系统的代表，所以即使很少有出版商在 2022 年部署 VVC 或 EVC 流，最终将部署这些编解码器的编码和其他服务似乎正在将它们添加到他们的技术栈中。

图 1. 开发者计划在 2022 年增加的编解码器

CSDN站内私信我，领取最新最全C++音视频学习提升资料，内容包括（C/C++，Linux 服务器开发，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）

VP9

实施新编解码器的最重大挑战之一是它们引入了额外的复杂性，从而转化为增加的编码成本。像 YouTube 这样的大规模服务尤其如此，因为他们需要先进的编解码器来降低流媒体成本，避免“破坏”互联网。长期以来，YouTube 使用 VP9 来处理 4K 和高容量的内容，但在软件中进行编码，这比 H.264 多使用 5 倍的计算机资源。

2021 年 4 月，谷歌宣布发布 Argos 视频编码芯片，与之前的服务器设置相比，其计算效率提高了 20-33 倍。据 Data Centre Dynamics 报道，每个芯片包括 10 个编码器核心，“可以实时编码 2160p，使用三个参考帧，最高可达 60FPS”。正如 2021 年 8 月 Streaming Learning Center 的一篇文章[1]中所讨论的，YouTube 现在使用 VP9 处理只有几千人观看的视频，而 AV1 则保留给 350 万左右的视频。

在版权方面，谷歌长期以来一直坚持认为 VP9 是一个开源和免版税的编解码器；而拥有 VP9 专利库的 Sisvel 则不同意[2]。2021 年 12 月，Sisvel 宣布松下签署了一份使用 VP9 的许可协议，使下面提到的 VP9 和 AV1 专利池的被许可人总数达到 30 个。

HEVC

关于 HEVC 没有太多报道，它仍然是客厅之王，特别是与高动态范围（HDR）内容有关的。虽然有很多关于 AV1 和其他编解码器在杜比视界的支持的讨论，但 HEVC 仍然是杜比视界配置文件中唯一支持的 10 位编解码器。正如后面所讨论的，尽管 Netflix 确实做了一个大的，“AV1 在客厅”的公告，它也说“我们正在探索的另一个令人兴奋的方向是 AV1 与 HDR”，这意味着 HDR 还不被 AV1 支持。

然而，HEVC 在传统薄弱的浏览器市场上没有取得任何进展，据 Can I Use 报告，全球浏览器可用率只有 19.52%，几乎全部在苹果产品中。相比之下，Can I Use 报告说 AV1 在 72.89% 的浏览器中可用（苹果是主要的遗漏），而 VP9 在 95% 以上的浏览器中可用。

浏览器缺乏对 HEVC 的支持并不妨碍优质内容发行商，他们可以在大多数平台上使用具有 HEVC 播放功能的应用程序，但它使 HEVC 对于以广泛的、基于浏览器的播放为目标的发行商来说无法使用。Chrome 和 Firefox 在 HEVC 完成 9 年后仍缺乏对它的支持，这也预示着本地浏览器对较新的基于标准的编解码器（如 VVC、EVC 和 LCEVC）的支持不理想。

AV1

2021 年最重要的与 AV1 相关的公告是 Netflix 的博文“将 AV1 流媒体带到 Netflix 会员的电视上”，它基本上宣布客厅已经为 AV1 做好准备。The Verge[3] 公布的一份支持设备的简短清单，包括六台经过认证的三星智能电视、PS4 Pro、特定的 Amazon Fire TV 设备和特定的安卓电视设备，似乎与这一说法相矛盾，上述 Netflix 目前的 AV1 产品中缺乏 HDR 支持也是如此。有一个 HDR10+ 的 AV1 规范草案和杜比视界支持的讨论，但如果没有在相关的关键设备上完全实现 HDR 支持，要成为客厅之王是很困难的，而 AV1 目前似乎还没有。

同样与电视有关的是，欧洲 DVB 电视规范[4]的更新预计将在 2022 年初进行，它将包括三种编解码器。AV1、AVS3 和 VVC。这一点，加上开放媒体联盟（AOMedia）成员的内容支持，似乎可以确保 AV1 将包括在大多数（如果不是全部）为遵守即将到来的标准而制造的电视机中。

在移动方面，曾在 Netflix 工作、现在 Facebook 工作的 David Ronca 在 YouTube 视频中报告说，他预计（AOMedia 也预测）将在 2020 年部署的硬件 AV1 解码器被推迟了，“所以我们可能要到 2023/2024 年才能看到有意义的硬件引入，...我们要到 2026/2027 年才能看到硬件解码器在移动市场达到临界质量”（见图 2）。相反，Ronca 希望软件解码器能够“在 2024 年前为大多数安卓设备提供高效的 720p60 解码”。这一点，加上苹果公司缺乏对 AV1 的支持，使 AV1 的移动前景大打折扣，尽管注意到 Netflix 从 2020 年初就开始向 Android 手机提供 AV1。

图 2. 在与 John Porterfield 的 YouTube 视频[5]中，David Ronca分享了关于移动平台上硬件 AV1 解码[6]的坏消息。

相比之下，在浏览器中分发标准动态范围的 AV1 几乎是一个交易。然而，大概是由于编码的成本，YouTube 将 AV1 的部署限制在似乎注定要超过 350 万左右的视频，如前所述。作为一般规则，你必须假设，如果 YouTube（和 Netflix）无法负担较低观众人数的视频的 AV1，大多数其他生产商可能也不能。正如 Streaming Learning Center[7] 所报道的那样，有几个 AV1 硬件编码替代品即将问世，这可能使 AV1 编码对所有人来说都负担得起。

在 WebRTC 市场，谷歌宣布为 Chrome 浏览器提供 AV1 编码器，思科[8]为 Webex 增加了一个 AV1 编码器，Millicast 宣布为其 WebRTC 生产环境提供一个 AV1 编码器。显然，为 2Mbps 的 720p 优化的编解码器与 4K 优质内容没有什么关系。不过，基于软件的高效 AV1 编码也许还是有希望的。

AOMedia 声称，像 VP9 一样，AV1 是开源和免版税的，然而 Sisvel 的 AV1 许可计划[9]似乎表明了相反观点。2022 年 2 月，Sisvel 报告说，其 AV1 和 VP9 的许可方总数已达 30 家。

这把我们带到了三个新的 MPEG 编解码器。

相比之下，在浏览器中分发标准动态范围的 AV1 几乎是一个交易。然而，大概是由于编码的成本，YouTube 将 AV1 的部署限制在似乎注定要超过 350 万左右的视频，如前所述。作为一般规则，你必须假设，如果 YouTube（和 Netflix）无法负担较低观众人数的视频的 AV1，大多数其他生产商可能也不能。正如 Streaming Learning Center[7] 所报道的那样，有几个 AV1 硬件编码替代品即将问世，这可能使 AV1 编码对所有人来说都负担得起。

在 WebRTC 市场，谷歌宣布为 Chrome 浏览器提供 AV1 编码器，思科[8]为 Webex 增加了一个 AV1 编码器，Millicast 宣布为其 WebRTC 生产环境提供一个 AV1 编码器。显然，为 2Mbps 的 720p 优化的编解码器与 4K 优质内容没有什么关系。不过，基于软件的高效 AV1 编码也许还是有希望的。

AOMedia 声称，像 VP9 一样，AV1 是开源和免版税的，然而 Sisvel 的 AV1 许可计划[9]似乎表明了相反观点。2022 年 2 月，Sisvel 报告说，其 AV1 和 VP9 的许可方总数已达 30 家。

这把我们带到了三个新的 MPEG 编解码器。