百度BD265编码器初体验：更快更省更AI

这里是LiveVideoStackCon 2020讲师专访系列 ——

丁文鹏：百度智能云主任构架师，博士，毕业于中国科学技术大学, 现任百度智能云视频云主任构架师。主要研究方向包括视频编解码标准、视频编码器优化、视频质量增强等。在相关领域发表多篇论文和提案，并获得40 多项相关专利。

BD265是下一代智能编码——本次访谈介绍百度在视频解码器技术上的一些进展，重点介绍百度如何结合AI技术打造BD265编码器，以及百度BD265编码器在业务落地上的一些实战经验。

BD265有何特点？

BD265的特点就是“更快更省更AI”，最大的竞争优势是编码效率高：对比x265，BD265能节省30%以上的码率。在编码速度上，BD265是x265的两倍到四倍。同时BD265还结合了百度自研的CAE技术，给实际业务带来了更多的带宽节省。

在这里，也想和大家分享一些我们团队曾经犯过的错误。其中一个典型的例子就是多线程会影响算法的性能，因此测试算法的时候要考虑当前目标平台的实际硬件。我们研发算法的时候线程数比较少，而实际服务器的核心数很多，这就使得算法的性能下降很多。如果测试的时候不用目标平台的实际硬件去测试，那么就发现不了问题。

第二个例子，是每个bad case其实都是我们算法改进的契机。我们平时的测试主要是一些常见的测试序列，后来我们大幅扩充了编码器的测试序列，结果是发现了很多编码器的改进算法。

百度的编解码团队目前还是专注在BD265的编码效率和编码速度的改进，但同时我们也开始研发AV1、VVC、AVS3等新一代标准的编码器。

下一代智能编码有何特性？

基于AI的编码研究目前大致有两类：一类是利用AI对编码器优化，不改变解码器；另一类是利用AI技术改进编码工具，编解码器同时改进。

短期看来，利用AI优化编码器能更快落地。长期来看的话，一些基于AI的编码工具已经显著改进了编码效率。如果将来的AI硬件更加普及，未来的视频编码标准可能采用这些编码工具。

BD265的最大特点是在传统的编码流程中引入了一个并行的基于深度学习的分析过程。

我们利用深度学习的分析结果来指导编码器如何进行运动估计、模式选择和码率分配。

未来标准和解码器走向

统一的视频编解码标准对于企业部署来讲是最好的。但是编码标准不仅仅是技术问题也是商业问题，所以统一的视频编解码标准可以有专利收费过高的问题。比如HEVC/H.265技术上是非常优秀的，但是专利问题影响了它的推广。

目前来看，未来会是多个视频标准并存和相互竞争的局面。AOM的联盟的AV1、MPEG/ITU2020发布的VVC/EVC在未来几年会是主要的竞争者。而AV1、 HEVC/H.265之间的相互竞争也一定程度上促进了行业的发展。另外，CAE技术、主观优化技术也会是未来重点发力的方向。

视频编解码器方面，x264/x265是开源的H.264和H.265的编码器，它们是很好的商业编码器的样本，值得大家学习。当前很多学术论文的的实验平台都是参考软件，比如JM、HM。

参考软件和高度优化的商业化的编码器的差异是巨大的，这让很多论文缺少实际意义。比如HM的插值滤波器的复杂度占比很高，而x265中插值滤波器有汇编优化，复杂占比不高，这样插值滤波器优化算法在实际应用中作用不大。我建议做学术研究的时候也可以考虑用商业化的软件作为实验平台。

其实，视频编码器的核心架构近二十年都没有大的变化。去看编码器的框架图，你就会发现，除了coding tools 越来越多之外，大体上是没有核心变革的，新一代编码器编码效率的提升基本上是用更高的计算代价换来的。

我期待未来的编码器不仅仅是用计算复杂度换性能，而是有更多的创新，能更好的利用新的技术。

“我从2004开始接触视频编解码器技术，从H.264,H.265到AV1,VVC. 我感觉视频编码技术领域是一个快速发展的领域，我们做技术的需要不断学习不断创新才能保证自己不落伍，正好最近读了一本关于创新的书《第二曲线创新》，这里推荐给大家。”

编辑：Coco Liang