AV1挑起的Codec之战

AV1编解码器已经在NAB上发布了。那么它是否已经做好了准备来和H.264，HEVC和VP9的银河帝国进行一次正面交锋呢？资深多媒体技术咨询师Jan Ozer对AV1带来的Codec之战进行了分析。LiveVideoStack对原文进行了摘译。

文 / Jan Ozer

译 / 元宝

审校 / Ant

原文 :

http://www.streamingmedia.com/Articles/Editorial/Featured-Articles/Return-of-the-Codec-Wars-A-New-Hope-a-Streaming-Summer-Sequel-126339.aspx

对于那些对编解码器和相关流媒体技术感兴趣的人，NAB 2018将因推出AOM AV1编解码器而永远闻名。尽管许多联盟成员对AV1的快速支持都令人印象深刻，但对于每一位流媒体专业人士来说，自然的问题是，“什么时候会与我相关呢？”

绝大多数制作人的回答是：“很快就会出现”。为了一探究竟，我们来看看推动编解码器采纳和使用的影响因素，并探讨它们该如何应用于H.264，HEVC，VP9以及最终的AV1。

赚钱/省钱

大多数商业决策，包括采纳哪种编解码器，都是出于两种动机之——赚钱或省钱。因此编解码器要能通过改善观众的QoE或帮助公司进入如4K和HDR等的新市场来帮助公司赚钱，并能降低带宽成本来节省资金。

图1对一些编解码器帮助企业赚钱或省钱的影响因素进行了分类，其中收入因素排在最前面，成本因素排在最后。虽然不是很完美，但通过颜色的深浅也能反应各个编解码器对每个影响因素的表现程度，亮绿色表示非常好，其他绿色表示是良好，黄色表示有些保守，橙色和浅红色表示逐渐变得更加保守，红色表示较差。

 

图1.此表显示了四种主要编解码器的优缺点

让我们从H.264开始吧。就覆盖范围而言，H.264很难被击败，并且在所有三个类别中都得到普遍支持。H.264在实时捕获和转码以及低延迟方面也得到广泛支持，但在高动态范围（HDR）视频中的效果会下降，它的8位颜色深度限制了它的有效性。

在成本方面，H.264的编码时间是最短的，这使其成为了编码最便宜的编解码器。随着摩托罗拉和诺基亚的H.264相关诉讼促进了FUD（恐惧，不确定和怀疑）因素的影响，MPEG LA H.264专利联营收取订阅费和按次付费的流媒体服务使用费。也就是说，2017年，苹果公司向诺基亚支付了20亿美元作为使用与H.264相关的专利和解协议的一部分的费用，并将支付更多款项。幸运的是，这些诉讼似乎是针对编码器/解码器的使用而不是与内容相关的版税，因此它们不会影响到大多数流媒体制作人。

H.264

虽然H.264的部署成本低廉，但其相对低下的压缩效率确实会降低为观众提供的体验质量，特别是移动消费者。如图2所示  。

 

图2 H.264和HEVC的编码梯形图。请注意，HEVC的最高质量流（图表中的底部三个）是三个相同的1080p流。

上图显示了两个编码梯度——左边是H.264；在右边是HEVC。为了得到这样一个梯度图，我为是视频Tears of Steel和Sintel创建了最佳的编码梯度，并对结果进行了平均化。两组都针对图左侧显示的码率并为每个编解码器以该码率提供最高质量的分辨率进行编码。有关Netflix启发式技术的更多信息，请查看文章《苹果推荐并非最佳 iOS 11下的HEVC编码设置优化》。

VMAF的值使用视频多方法评估融合客观度量来计算，该度量是Netflix在其按主题编码（和基于镜头的编码）技术中使用的质量量表。Delta列显示的是H.264和HEVC流的VMAF值之间的差异。请注意，根据这个度量指标，有六个VMAF点的差异比较明显，这也就意味着75％的观众不会注意到质量差异。

如您所见，VMAF值产生差距的点超过了6个，分别是从365Kbps到1100Kbps，因此使用HEVC或VP9的服务将比使用H.264的服务提供明显更高的质量。VMAF值的差异在最高端会有所下降，因为两种技术都提供相同的分辨率，并且H.264流的数据速率要高得多（前三个HEVC流是相同的4500Kbps流）。当然，如果你的用户处于带宽受限的计划上，那么节省42％的视频带宽以观看几乎相同的流（在H.265上的7800Kbps和在HEVC上的4500Kbps）也将受到赞赏

几乎在各个梯度的各个阶段，相比于H.264，观众都倾向于选择HEVC，无论是质量的原因还是带宽相关的原因。随着越来越多的服务采用更新的编解码器，坚持使用H.264的服务将变得越来越没有竞争力。

HEVC

让我们把注意力转向HEVC，这是一种基于标准的编解码器，如图1第二列所示。就触及的范围而言，HEVC在计算机上升起了一面大红旗，因为缺乏对Chrome，Firefox和Opera的支持。虽然Android平台支持HEVC，但对于移动设备，播放峰值最高只能支持到Main Profile Level 3，这意味着最高分辨率为960x540（30 fps），这对于许多over-the-top（OTT）服务来说是不够的。相比之下，iOS平台上的HEVC支持可以扩展到Level 5，足以支持30 fps的4K视频。HEVC在计算机和Android设备上的覆盖范围显然是经济上的负面因素，这也导致减少了可以帮助抵消编码和其他成本的流的数量。

当然，HEVC的最佳应用点是OTT和智能电视，其相对高的效率和10-bit support使其成为HDR视频的自然选择。HEVC也得到了实时编码器的良好支持，这是得流行用它进行做转码贡献，也使其成为分发的一个现实选择。虽然有一些与HEVC相关的低延迟开发工作，但大多数都还是专注于H.264。从质量的角度来看，HEVC提供与H.264类似的质量，其码率约为H.264的60％，但这会因内容类型和分辨率而有所不同。

成本因素包括编码费用，这些费用因公司而异。如果您正在运行自己的编码工具，您可以预期HEVC编码的花费比H.264贵2到4倍，尽管许多云提供商已经消除了H.264和HEVC价格之间的任何附加费。

对于大多数流媒体制作人来说，最大的担忧可能是用HEVC编码会有潜在的版税问题。 图3 显示了大多数已知的HEVC IP所有者以及三个专利池的成员。关于内容版税，MPEG LA 联营从未对其收费，并且在2018年3月，HEVC Advance团队改变了政策并删除了与流媒体内容相关的任何内容的相关版税。

图3.  HEVC知识产权所有者图（由Divideon的Jonatan Samuelsson提供）

Velos Media 联营的Q＆A部分坚决拒绝澄清联营的意图，而是说：“因为它与内容有关，我们将花时间充分了解这个系统的动态，并确保我们的模型最好地支持推进和采用HEVC技术。“

HEVC已有5年多的历史了，特许权使用费从一开始就是一个广为人知的障碍。很明显，如果Velos 联营不打算收取与内容相关的版税。不过，许多生产者认为他们将征收内容版税。此外，还有许多尚未在联营中表达过他们对内容版税的意图的HEVC知识产权所有者，对许多潜在用户来说都是一个重要的问题。

量化节省带宽

当然，任何支付大量带宽费用的公司都可能决定掷骰子并选择HEVC，因为它可以提供的带宽节省。在这里，重要的是要记住，仅仅因为HEVC比H.264效率高40％并不意味着转换到HEVC就能减少40％的支付成本。

为什么不是呢？看看图4，其中显示了编码梯形图和三种不同的流分发模式A，B和C。每个模式显示实际从自适应组传递的每个流的百分比，正如您应该能够从您的日志文件中派生出来的一样。

图4. 三种流传输模式

在模式A中，所有传输的流都是3000Kbps或更低，可能代表第三世界国家的分布。在这种情况下，切换到HEVC对带宽成本没有影响，因为您只是为H.264流切换HEVC流。当然，质量会得到提高，但是你要分配相同的带宽流; 你只是发送HEVC码流而不是H.264流。

在模式B中，100％的传输流是7800Kbps流，可能代表通过直接光纤分发到斯堪的纳维亚半岛的家中。在这里，转换为HEVC将会把有效码率降至图2所示的4500Kbps，100％的观众可以节省约42％的带宽。如果没有对内容版税的担忧，这种情况对于HEVC来说是不费吹灰之力的。

模式C显示了顶部梯级的高度集中和其他梯级的良好传播，可能是移动宽带和无线网络的混合传输。在这里，转换为HEVC会使7800Kbps和6000Kbps的码流降至4500Kbps，从而将总体传输带宽降低约31％。

显而易见的一点是，你的带宽节省取决于你的分发模式，即你必须从日志文件中挖掘到这个数据。解决这个问题后，您可以轻松地将编码成本和带宽节省标准化为一个常见的单元，例如一小时的视频。将每小时的节省量除以每小时的成本，来计算你使用流式传输的视频小时数，以弥补与支持新格式相关的成本。

显然，范围越大，HEVC的部署就越有意义。如果你已经为其他平台采用了HEVC编码，那么接下来你最好要探索一下如何将这些流转换为HLS（如果需要的话）。

HEVC现状

尽管许多开发者正在使用HEVC，但编解码器仍然占总编码流的一小部分。例如，在Bitmovin的“2017年视频开发者报告”中，纳入了380份全球调查报告，28％的受访者表示他们目前正在部署HEVC流。但是，同一时期的不同报告 - “2018年全球媒体格式报告” ”来自名为Encoding.com的云编码供应商报告称，该服务在2017年生产的流中只有9％是用HEVC编码的。大部分的使用是与测试有关，但Encoding.com预计2018年HEVC部署将大幅增加。为什么呢？因为Apple将HEVC添加到HLS了，这可能是2018年及以后采用HEVC最重大的机遇。

HEVC的重大机遇

具体来说，2017年6月，Apple将HEVC添加到了HLS以便交付到iOS，tvOS和macOS上。尽管Apple以建议的编码梯度和详细的配置建议（见go2sm.com/hevcapple）的形式给我们提供了合适的方向，但新的格式也让寻求部署它的出版商产生很多令人不安的问题。

例如，在编码阶梯中切换H.264和HEVC流时，不同的iOS，tvOS和macOS设备会如何执行？HEVC播放是否会过度占用旧设备的CPU，导致播放效果不佳？传统设备如何使用HEVC和HLS处理混合的梯度？混合梯的最佳配置是什么？针对HLS中的HEVC编码，Streaming Media East 2018研讨会进行的测试澄清了许多这些问题。具体来说，我们收集了超过60种iOS，macOS和tvOS体验的数据，结果几乎在所有方面都非常出色。梯形图中的所有文件都具有编码，分辨率和数据速率的，因此观众/测试人员可以看到正在播放的编解码器，并观察播放器从H.264切换到HEVC时发生的情况，反之亦然。没有报告与交换相关的问题。

在与HEVC不兼容的传统Apple平台上流畅地播放在梯形图中的H.264流，这是没有多大问题的，也不必大惊小怪。在所有经过测试的设备上，HEVC播放都是以全帧速率播放，包括像iPhone 6这样的旧设备。唯一的潜在问题就是具有足够带宽的4K设备很少有超出最高质量的1080p流，我们将问题报告到Apple，它目前正在分析。

总体而言，至少与向Apple设备提供混合流有关，将HEVC添加到HLS应该只涉及很少的用户开发费用，至少对于那些本地而不是通过应用程序玩HLS的用户而言是这样的。将HEVC添加到HLS还涉及最小的开发风险，因为播放兼容性和质量都非常好。

希望这些数据有助于打破HEVC-in-HLS的僵局，我们将看到许多流媒体开发者追逐改进的QoE和带宽节省，这些在HLS中部署HEVC是应该要提供的。Streaming Media 最近发布的调查数据显示，许多生产商计划在未来几个月内在HLS中实施HEVC。具体而言，该调查由Harmonic赞助，并于2018年1月发布，题为“The Impact of Apple’s HEVC Adoption: A Survey-Based Report.”。从超过600名StreamingMedia.com的读者回复中我们了解到，超过70％的人考虑到2019年底将HEVC添加他们的HLS码流中，尽管潜在版税依然被许多人认为是一个重要的问题。

这些证明是否准确还有待观察。迄今为止，大多数HEVC是部署到了智能电视，OTT和机顶盒（STB）平台，大公司都在追逐新市场和服务而不是带宽效率。在这些情况下，公司要么承担HEVC特许权使用费风险，要么就是不参与。在许多情况下，如果征收特许权使用费，那么服务提供商可以提高价格以收回成本。

虽然Velos Media或其他HEVC知识产权所有者似乎不太可能试图通过在免费的互联网视频（例如，非订阅或按次付费）上收取版税，但谨慎的CFO们根本无法排除这一点。由于在不知道成本的情况下进行收支平衡分析是不可能的，而且你不对视频收费是难以收回版税费用的，因此看看有多少出版商愿意承担版权的版税风险来节省带宽将会是件很有趣的事。

VP9

VP9是Google拥有的开源编解码器，是Google在2009年从编解码器供应商On2收购的VP8的继承者。就触及范围而言，VP9的优势在于基于浏览器的计算机播放，支持Chrome，Firefox，Edge和Opera，但目前还没有支持Safari。Android在4.4版本中开始支持VP9，这意味着大约95％的Android设备都可以播放VP9。大多数智能电视和OTT设备也都支持VP9，但并不像HEVC那样普遍。

.

从功能的角度来看，VP9在几个关键领域都很薄弱。虽然有一些商业上可用的实时VP9编码器，但它会减少VP9作为一种贡献格式的吸引力，尽管有多个转码引擎，包括Wowza和Nimble Streamer中的一些，可以转换成VP9格式进行分发。VP9并没有出现在我能找到的任何低延迟流媒体产品中，尽管它在WebRTC等通信应用中得到了广泛的应用。虽然VP9具有支持HDR视频的位深度，但今天它只支持三种主要HDR格式之一，即HLG（混合日志Gamma），而不是Dolby Vision或HDR10或10+。

基本上，部署VP9的主要动机是在计算机和Android设备上播放。与HEVC一样，VP9应该以大约60％的码率提供与H.264相同的质量，因为VP9编码的速度通常比HEVC快，因此编码成本应该更低。考虑这种方法的开发者应该运行图4中建议的分析方法来确定带宽节省，然后从那里进行收支平衡分析。

VP9是一种免版税的技术，尽管与HEVC一样，存在某些第三方声称侵犯知识产权的风险。请注意，诺基亚确实提起诉讼，声称VP9的前身VP8侵犯了其技术，但在德国法庭上输了。除了诺基亚，2013年，Google在MPEG LA H.264专利池中授权了11项专利持有者的“‘可能’对VP8至关重要的技术”，该协议也扩展到VP9。这一协议，加上AV1的总体势头，使得任何与IP相关的诉讼的风险看起来都不大，但这当然不能被排除。

VP9现状

VP9享有多个备受瞩目的用例，包括用于流媒体的YouTube和用于可下载电影的Netflix。在服务提供商的部署方面，JW Player在其业务的在线视频平台（OVP）中使用VP9。在另外一方面，VP9的使用率一直不高，Encoding.com报告指明，2017年产生的流只有6％是VP9，Bitmovin报告只有10％的受访者使用VP9。但反过来，在上述流媒体调查中，27.3％的受访者表示他们计划在2017年或之后实施VP9。接下来将我们带到AV1编解码器。

AV1

正如我之前提到的，AV1是一个由称为开放媒体联盟的团队制作的编解码器。AOM成立于2015年，整合了Google（VP10），Mozilla（Daala）和思科（Thor）的开源编解码器开发工作，以及微软和英特尔等其他创始成员的压缩专业技术。其他成员包括亚马逊，Netflix，Facebook，Apple，Hulu，BBC，Nvidia，ARM，Broadcom和Bitmovin等的主要参与者。AV1编解码器最初计划于2017年3月发行，并于2018年3月晚些时候以草案形式发布。

据AOM称，该联盟预计AV1将分四个阶段推出（图5）。阶段1涉及部署规范，参考软件和参考流，因此部署编解码器的产品和服务可以开始集成。阶段2涉及参考软件的优化，以便更有效地编码/解码，在浏览器中回放以及AV1编码内容的分发。根据AOM演示的PPT，第1阶段和第2阶段应该在2018年发生。

图5.AV1的四个阶段展示

第3阶段将于2019年推出，其中包括支持游戏机中的AV1播放，以及通过混合软件和硬件实现（如GPU或FPGA）提高编码/解码性能。最后，在推出2年后，首批采用AV1编码和解码的消费类设备应出现在手机，平板电脑，电脑，OTT播放器和机顶盒中。

AOM的明星会员表明，这个时间表应该会得到满足。例如，在NAB 2018上，Google和Mozilla都在其浏览器的测试版本中展示了AV1播放。YouTube和Netflix表示，AV1编码已经集成到他们的编码管道中，将在基于浏览器的播放发布后立即部署。商用硬件计划的2年发布是非常标准的，像英特尔，Nvidia，ARM和Broadcom等成员似乎是可以实现的。

即使这样，尽管AV1具有非凡的血统和前景，但是很少有人能够预测有多快AV1会变得与大家相关联。例如，如图1所示，虽然AV1播放可能会在未来几个月内出现在Chrome，Firefox，Edge和Safari中，但我们不知道播放AV1编码视频所需的CPU负载。如果CPU负载过高，那么在旧计算机上的播放速度会很慢并且很难。

图1还反映出移动平台上的硬件辅助播放以及对智能电视，OTT盒和机顶盒的支持将不会在这2年出现。当然，即便如此，与HEVC，VP9和H.264相比，支持AV1的设备的安装基础也是微不足道的。来自Facebook等AOM成员的早期质量试验表明AV1是很有希望的，因为AV1的表现优于VP9约30％，优于H.264约50％（图6）。然而，编码时间是非常缓慢的，一些AV1编码的时间比H.264要长10,000多倍，这应该会直接影响到编码成本。

图6. 在Facebook的这些测试中，AV1的效率比VP9提高了约30％

这些是非常初步的试验，大多数AOM成员希望编码时间能大幅度下降。例如，在NAB Netflix的编码算法总监Anne Aaron所说的：“编码时间，现在，非常非常慢。......但我是满怀希望的......我期待着复杂性会下降。可能比VP9复杂5到10倍，这正是我们所期待的。或者，只要它在那个范围内，那对我们来说也是没问题的。“

这些评论强调了几个关键点。首先，当你的视频被观看数百万或数千万次时，如同Netflix和Facebook一样，如果能够节省大量的带宽，你是可以在编码上花费更多的。因此，对于规模最大的出版商来说，这是可以接受的，但对于规模较小的出版商来说可能不是很好的选择。

其次，我们处于AV1编码的早期阶段，在编码器得到合理优化之前，现在进行的竞争性试验是几乎无用的尝试。在接下来的12个月左右，我们将看到大量的对比; 一些人证实了Facebook的调查结果，还有一些则对他们提出了质疑。在合理的编码时间内对实际生产软件进行测试之前，这些都不重要。

基本上，在接下来的12个月内，AV1将达到与VP9相同的覆盖范围，但可能会在较旧的计算机上遇到麻烦，并且编码成本会高出几个数量级，除了绝对最大的视频分销商之外，这对其他人来说都太昂贵了。它显然不可能用于实时生产或转码，也不能用于任何低延迟的传输，而且不能支持智能电视、STB或OTT设备以及高动态范围的视频。

在图1中降低成本因素，AV1也是一种免版税的技术，但这并不意味着会面临来自像诺基亚或其他拥有HEVC或H.264相关知识产权的公司的挑战。也就是说，起诉AOM肯定是一项艰巨的任务，因为它的成员包括许多资金充足且精通知识的技术公司，该集团还成立了一个防御基金，以防规模较小的成员或许可方被起诉。

接受我们调查的受访者说了什么呢？如图7所示，对AV1的兴趣是所有列出的编解码器中最高的（HEVC在其他问题中得到了解决）。当然，这是否转化为实际采用还有待观察，但对于绝大多数潜在用户来说，AV1还没有为它的部署做好准备。

图7 根据一项由Harmonic赞助的流媒体服务的编解码器采用计划调查

总结

那么我们下面会往哪里发展呢？在接下来的12个月中，将HEVC添加到HLS似乎是大型内容制作者最明显的举措。在许多（但不是所有）地区，还应该提供改进的QoE和显着的带宽节省。如上所述，如果你已经为其他平台使用HEVC，那么将HEVC添加到HLS是非常有意义的。

我想相信很多公司都会在基于浏览器和Android的情况下部署VP9，但这个机会已经存在多年，很少有人接受，AV1的即将推出可能会阻碍VP9的部署。

至于H.264，它显然不会再往其他任何方向发展。想要减少带宽成本的公司应该挖掘每主题编码技术的节省的潜力，这些技术现在可以从几乎所有的编码供应商那里获得。请记住，虽然H.264是经过尝试的，真实且熟悉的，但它可能同时减少了你的QoE，并增加了你的带宽成本。

有奖互动，留言就有机会得精美礼品

感谢大家一直以来的认可与支持，LiveVideoStack现推出《有奖留言》活动。我们将会在每周的5篇图文中选出1-2篇精品文章，开启有奖评论、留言活动。

活动规则

图文推送后48小时内，用户可在文章下留言，LiveVideoStack会对所有留言进行筛选并放出部分精选留言，被选出的精选留言即可参与《有奖留言》活动。LiveVideoStack会与文章作者或相关技术专家商议，从中选出最具深度与影响力的留言，赠送精美礼品。

温馨提示

• 有观点、有想法的留言更容易获得奖品

• 每期中奖名单会在下一期《有奖留言》的文章中公布

本期奖品