AVS3支持下的8K内容生产和传输应用实践
AVS标准经过20年发展，到AVS3这一代实现了国产标准从跟跑到领跑的突破。博雅睿视团队深度参与AVS3标准制定，开发的8K AVS3实时、离线编解码设备有力支持了我国8K超高清视频产业的落地和推广。
本次分享将会分为三个部分，第一部分重点介绍AVS标准的发展历程以及AVS3标准的现状和最新进展；第二部分重点介绍8K直播、点播、内容生产整条链路当中的一些关键技术、挑战和我们的一些落地思路与实践经验；第三部分分享一下未来几年博雅睿视在8K超高清领域重点关注的技术和市场方向以及AVS生态建设方面的计划和思考。
文/韩巍
编辑/LiveVideoStack
大家好，我今天分享的题目是：AVS3支持下的8K内容生产和传输应用实践。众所周知，目前国内8K产业缺乏内容、缺做内容的人去丰富内容。于是我们做了8K的超分、增强，从而弥补内容的缺失。
我是来自博雅睿视的韩巍。博雅睿视是北京大学视频与视觉国家工程研究中心孵化的一个技术成果转化公司，主要致力于我国的视频编解码标准、AVS的产业化和国际化。AVS标准在高文院士的带领下做了20年，共三代四个标准，并且都成为国标、行标，其中AVS2是军标，在IEEE是国际标准。同时在今年7月，AVS3成为了欧洲DVB在超高清领域的推荐标准。
使用MPEG-2、H.264、H.265会面临高昂的专利费问题，因此出于国家战略和产业安全的需要，从2002年就开始推动我国自主知识产权的视频编解码标准的建设。
今天的内容分为三个部分：
-01-
AVS标准发展历程及AVS3最新进展
首先介绍AVS标准的发展历程及AVS3最新进展。
我国自2001年加入WTO以后成为了全球最大的DVD出口国，但是很多DVD在出海上岸的时候会由于使用了MPEG-2、H.264等视频编码标准被收取高昂的专利费。
香山会议是科技部和中科院每年在香山举办的关于中国重大科技发展的会议。在2002年3月的香山会议中，工信部针对DVD事件提出必须要做一个我国自己的视频编码标准，从而抗衡美国的MPEG-2和H.264。
AVS标准是依据美国的MPEG-2和H.264提出的。最早的是MPEG-2，由日本的索尼、美国贝尔实验室、哥伦比亚大学、飞利浦等联合提出，这个编解码标准推动了全球音视频的基本发展。之后韩国、德国在90年代后期对该领域大量投入关键技术研发，产生了264这代标准。
DVD事件推动了香山会议之后，陆续又发生了MP3出口专利事件、机顶盒专利事件和数字电视标准事件。例如，全球的电视机面板出口我国占70%，如果瞄准厂家收专利费，HEVC至少有三个专利池，每个专利池至少收1.5美金，这对我们产业来讲是非常大的一个威胁。
整个与标准相关的产业市场从2002年到2006年大概5,000亿，到2008年有9,000亿，到2018年以后是万亿以上。如果我国能有自己的标准甚至出口，这将是一个巨大的产业。因此，建立我国自己的标准既是为了保证我国战略国家产业的安全，也是为了能把我国的标准、产业推出去从而获得利润，这是非常有意义的事情。
AVS标准在AVS工作组成立的时候就有一个非常好的设计。前因是，MPEG组织现在已经散了，其中的公司太多导致没有统一的意见。他们专利费的收取是H系列标准在推广过程中产生很大阻力的一个原因。
因此我们在设计的时候，一开始就由AVS工作组制作标准，参与制作标准的包括了很多高校，例如北大、浙大、中科院计算所，以及产业，例如海康、字节、阿里、腾讯、咪咕等。
另外，成立AVS专利池委员会，各个组织加入我们贡献专利的时候，必须通过签署协议统一收费标准且用一个专利池收费。目前承诺整个产业链上只收一次费，只收终端芯片，一次只收1元人民币。这相比H.265更加规则和低廉，有助于整个生态在国际上推广。
同时成立了AVS产业联盟，包括了国内将近200家的科研院所和企业，共同推动整个标准的落地和产业化，这是非常大的一个优势。
AVS是怎么炼成的呢？2002年8月在北京举行第一次会议，成立AVS；在2003年12月的第七次会议上制定完成AVS1的标准；后来央视要把AVS作为广电强制标准的时候，我们做了一版AVS+，AVS+对标264的压缩效率；2012年9月在桂林的第42次会议上启动AVS2，对标265；2015年，第五十五次会议时AVS2发布，AVS2和H.265压缩效率相当，但时间上晚了好几年。后来AVS2是广电的强标、国标，也进到了军标，另外AVS2也进入到了IEEE，是国际标准。
2018年启动AVS3的制定，面向8K，这类似于现在做5G和锂电池一样。以前一直是跟跑和追赶，我们希望这次能在266标准推出之前做出来，因此在十几个月以后的2019年1月，AVS3制定完成，共审议技术提案约6000项，输出文档2000多项。
2019年3月，AVS3标准发布。我们实验室是和海思、广科院共建，于是同年9月，在荷兰IBC发布第一颗解码芯片Hi3796CV300。至此，我们从标准到产业都打开局面，赶在了266之前。
虽然我们在4K高清以下的领域并不占优，但在超高清领域，我们第一次站在了美国标准之前。这也和我国的战略安全有关，全球的面板出口量我国占比达50%-70%，这种高功耗、劳动密集型产业一定不是长久之计，将来可能会转移向越南、印度等劳动力成本更低的国家。如果不顺势开发产业链，那么好不容易积累起来的技术优势就会荡然无存。
如图所示，AVS支撑了国内高清频道等重大应用
图中是AVS3标准制定的过程和一些关键成果，以及部分主要成员在封闭开发时期的合影，包括高文院士，马思伟教授等。
AVS3从技术标准制定到芯片面市用时18个月，集合多方力量，制定了技术标准、芯片终端和系统应用，形成完整的生态和应用体系。
AVS3是面向8K的，所以压缩效率要够。图为30年间视频编码领域的压缩效率演变。
AVS3和HEVC/H.265相比，超高清视频压缩性能YUV综合提升超过36%。
融合智能编码后，在同等条件下，压缩性能再度提升超过44%。和VVC/H.266相比，提升超过8%。
图为AVS标准国际化的进展
中国音视频产业从技术落后到快速发展，以北大为代表的一批学术科研力量带动了中国音视频的发展，大量软硬件人才纷纷投入对于音视频产业发展的热忱。
学术突破带动了企业兴起。除了AVS之外，可以看到在H.266/VVC提案单位中，中国面孔占50%以上，迸发出了蓬勃的力量。
-02-
AVS3支持下的8K应用实践
针对于超高清视频产业的发展，各国都有制定相应的规划，以应对产业竞争，抢占制高点。
图为AVS3标准制定后，在8K超高清视频产业所做的一些案例
在AVS支持首次8K冬奥直播时，博雅睿视支持解决了8K AVS3编码码率控制问题，其CPU+GPU方案帮助歌华王城8K转播服务，并完成电影博物馆冬奥开幕式8K解码转播任务。
博雅睿视研发的基于x86架构的AVS全系列实时编解码系统，支持了央视冬奥会的超高清直播转播。
2021年5月，工信部联合广电总局、央视等单位，组织开展“百城千屏”8K超高清视频落地推广活动，AVS3为其提供助力。
图为8K大屏的逻辑架构图。依广电总局要求，户外大屏必须考虑信息发布安全要求，信号不能以直播方式播放。图文等信息都会以加密文件形式下发，前端信源通过素材管理，再信息发布到大屏。
如图所示，高清视频文件经过存储系统，到超分离线转码，给到信息发布系统。直播信号会经过IP矩阵，调度到8K转码收录系统，再进入信息发布系统。信息发布系统的内容通过IP专线传输至大屏端的8K接收解码器，进行控制播放。
另外，8K大屏的信号会进行一路降分辨率转码，通过回传编码器，做特征提取，以防止播放内容被篡改。
大量设备集中在播控中心，实现信息发布、信号调度、内容及信源监控、内容收录、8K内容生产和智能AI审核等功能。
图为8K超高清直播遇到的一些难题和对应的解决方案
GPU适合并行运算，但熵解码是线性的，放在CPU中比较合适。其他的可以在GPU中并行，例如反变换、帧间预测、Deblock、SAO、ALF等，利用GPU多核并行。最后把重构信息异步拷贝至CPU。
图为AVS3 8K实时编码器的两种服务器方案
AVS3 8K实时解码器的三种方案及配置
-03-
未来几年技术演进和生态建设的思路
传统编码的难题，现有框架下编码工具的提炼成本越来越高，而单项技术平均压缩效率提升从90年代的20%降为如今的不足1%。
如图中有图所示，AVS3和VVC分别使用36项和34项工具，而其中超过1%的分别只有7项和8项。
但视频编码需求依然旺盛。8K内容原始数据量60Gbps，压缩码率希望是100Mbps以下，如何解决？
沉浸交互式视频有多个维度的数据，如分辨率、位宽、帧率、立体、压缩比等。传统编码对智能分析处理的支撑不足。
以上需求，都表示我们需要更高效更智能的编码方法。
全神经网络编码可能是一个探索的方向。对未来编码器的需求有几个方向：
1.直接依据视觉失真优化编码码率；2.简化编解码开发；
3.计算高度并行；4.能在已部署硬件上高效运行；5.可下载更新。
AVS3的第二个阶段正是朝着这个方向在发展。融合AI技术，目前AVS3性能超过VVC 7%，未来目标是比其提升20%。
整体来讲，智能编码会随着数据丰富度、算力提升向前发展。智能编码的未来趋向是为智能媒体应用定义相应的数据格式，提供更高效的数据接口。
AVS3从技术上可对标H.266，时间上还早一些，但为什么生态没有做起来？在一些低延时、低功耗场景，没有芯片结合就较难有深入的发展和探索。目前的计划是四年发布3颗AVS3编解码芯片。
图为AVS3生态建设计划
以上就是我的分享，谢谢！
▲扫描图中二维码或点击“阅读原文” ▲
查看更多LiveVideoStackCon 2023上海站精彩话题