视频编解码器 2020-比赛开始

引言

目前已有不少可应用于视频流媒体服务的视频编解码器，而且今年还将发布更多。诸多的方案给视频服务商带来了选择困难症，因为他们需要为自己选择合适的编解码器，以确保为用户传送的音画内容能具备尽可能好的质量和最低的比特率，同时还要考虑到编码器对计算资源的要求。

 

多年来，选择视频编解码器一直都是很简单的事: 从上世纪90年代末接替数字电视的MPEG-2(H. 262)开始，到千禧年早期（2000年初期）主导视频会议的 MPEG-4 Part 2(H. 263) ，再到之后的 MPEG4 Part 10即 AVC (H. 264) ，后者在大多数视频业务应用，包括传输、会议和监控等在内的市场中一直享有巨大的份额。

 

与上述国际标准化组织发展编解码器的同时代，谷歌为YouTube 作出了顺应自然的选择，即他们自己的视频编解码器 VP9。

 

当HEVC在2013年批准成为国际标准时，本应合乎逻辑地成为（接替AVC/H.264）的后浪，但版税问题却成了它的绊脚石。

 

除此之外，较之前浪所增加的算法复杂性而带来的技术焦虑感，以及4K——这个曾被认为是 HEVC 的主要用户场景（却迟迟未全面过渡普及），多方因素下让HEVC的局面较为惨淡。

起源 

第一点我们想讨论的是编解码器的起源，它们各自来自哪里，又意味着什么。迄今为止，大多数被广泛采用的视频编解码器都是联合视频专家团队（Joint Video Expert Team）制定的标准，该团队牵手国际电信联盟-电信联盟视频编码专家组（ITU-T Video Coding Expert Group (VCEG)）和国际标准化组织运动图像专家组 （ISO Moving Picture Experts Group (MPEG) ）共同努力并制定联合标准。 

 

AVC和 HEVC 都是通过这样一个步骤明确的流程孵化产生的：从 CfP (提案征集)开始，通过标准制定团队对每个提案算法工具的压缩效率和性能要求进行评估，直到建立一个拟议标准草案。经过几轮的编辑和修改，最终的草稿就会被批准，成为正式标准。这个过程非常有条理，并且经过长期实践证明可成功孵化出稳定可用的视频编解码器，AVC、HEVC 和 VVC 都是以这种方式创建的。

 

EVC 编解码器或许是一个例外，因为它仅仅来自 MPEG，而没有 ITU-T 的参与。这可能与 ITU VCEG 历来都不赞成将版税问题纳为标准化过程的一部分有关，而对于 EVC 来说，正如我们将看到的，这正是最值得关注的问题之一。

 

视频编解码器的另一个来源是商业公司。一个典型的成功案例就是由谷歌开发的 VP9编解码器，作为 VP8的继承者，VP9编解码器由 On2 Technologies 公司(后来被谷歌收购)开发。此外，一些公司还试图推广开源、免版税、专利自主的编解码器，比如 Mozilla 的 Daala 或 BBC Research 的 Dirac。

 

编解码器的第三个来源，是在 ISO 或 ITU 等官方国际标准机构之外、独立运作的一个联盟或若干公司组成的工作组。AV1就是一个完美的例子，数家公司通过组建开放媒体联盟(AOM)，协同创建了一种免版税的开源视频编码格式，并且主要面向互联网视频业务。

 

AOM 的创始成员包括谷歌(Google)(它贡献了 VP9技术)、微软(Microsoft)、亚马逊(Amazon)、苹果(Apple)、 Netflix、 FB、 Mozilla 等，还包括思科(Cisco)和三星(Samsung)这样的传统 “ MPEG 支持者”。  

 

AV1编码器是从“实验”中构建出来的，每个候选的算法工具都被添加到参考软件中，并可以通过开关进行对比实验，从而使得算法工具进入最终标准定稿的决策过程非常具有灵活性。

 

AVC在2003年5月完成。10年后的2013年4月，HEVC 也终于完成。AV1码流结构冻结是在2018年3月，同年6月通过验证，2019年1月发布了勘误表1。截至2020年4月的第130届 MPEG 会议，VVC 和 EVC 都处于国际标准(FDIS)的最终草案阶段，预计将于今年获得批准。

版税

 

下一个要比较的内容是令人头疼的版税问题。除非你与世隔绝，否则你很可能已经意识到这是一个非常关键的问题。

 

AVC 的版税问题得到了很好的解决，并且已经有了一个众所周知的、廉价的版权许可模式。但是对于 HEVC 来说，情况要复杂得多。虽然 HEVC Advance联合了许多HEVC的专利持有方，并不断有更多的专利持有方加入，但MPEG LA 仍然代表着其他一些专利方。

 

Velos Media 还整合了更多的专利持有方，但仍然有一些专利方是独立且不属于上述任何专利池的。尽管在过去的几年里(在 HEVC 标准定稿后的五年多时间里) ，这些专利池终于推出了合理的许可模式，但是对于 HEVC 的版税，很多时候整个行业仍抱有“一朝被蛇咬，十年怕井绳”的心态，担心其他专利实体也会突然冒出来，并提出更多的知识产权要求。

 

AV1是解决版税问题的直接尝试，它创建了一个由行业巨头支持的免版税解决方案，甚至组建了一个法律辩护基金，以帮助那些可能因为所贡献技术牵涉专利纠纷而被起诉的小公司。

 

与法律辩护紧密相关的，是可能存在的第三方侵权事实，虽然AOM从未承诺为此进行赔偿，但大家也都默认如此——AOM既协助辩护、也负责提供赔偿。

 

直到3月初，Sisvel 宣布了一个由14家公司组成的专利池，这些公司拥有1000多项专利，Sisvel 声称这些专利对实施 AV1至关重要。大约一个月后，AOM 才发表了一份反对声明，声称其致力于一个免版权费的媒体生态系统。时间、大概还有相当多的律师，将决定这场特殊的战斗将如何结束（Sisvel宣布成立AV1专利池 1050项专利许可面临收费）。

 

VVC最初似乎走上了与 HEVC 同样的知识产权道路: 根据 MPEG 的规定，任何将知识产权贡献给该标准的个人或组织都必须签署一份公平、合理和非歧视(FRAND)许可协议。但是，正如曾经的经验所告诉我们的那样，这并不能保证适用于用来约束专利池或者专利代理机构。

 

不过，这一次业界采取了行动，成立了媒体编码行业论坛(MC-IF) ，这是2018年成立的一个开放型行业论坛，目的是进一步推广使用 MPEG 标准，最初侧重于 VVC。他们的目标，是为了消费者和行业的利益，建立一个被广泛接受和使用的标准。MC-IF下其中一个工作组正在定义“编码档子集”，这个标准子集包括无版税的算法工具或MC-IF能够作为所有相关知识产权许可的登记机构的算法工具。如果上述工作成功，我们可能会看到一个免版税或版税已知可控前提下的 VVC子集版本。

 

由三星、华为和高通为主要成员的EVC工作组，则直接在标准化过程中处理版税问题，采用两档方案组合实施。对于EVC-Baseline，只包含无专利版税的编码算法工具。这通常意味着所包含技术已经有20多年的历史，并且有出版物可举证。虽然这听起来像是一个相当棘手的约束，但是一旦你考虑到 AVC 技术都已经有20多年的历史了，而且这些年来已经积累了大量规避知识产权的方案，你就可以想的到满足上述约束而组成的编解码器仍然可以大大超过 AVC 的压缩效率。

 

就 EVC-Main 而言，它采用了已知专利权使用费的方法，即任何对EVC-Main所含算法工具提供知识产权的实体承诺在EVC标准草案定稿后的两年内，即在2022年4月之前，提供价格合理的许可证模式