4K 5G NDI媒体集成制作中的应用

近年来，随着计算机技术、移动通信技术、广电技术的不断发展，我们迎来了5G和4K超高清时代。2019年3月1日，工信部、国家广播电视总局、中央广播电视总台印发《超高清视频产业发展行动计划（2019-2022年）》。该行动计划指出，按照“4K先行、兼顾8K”的总体技术路线，大力推进超高清视频产业发展和相关领域的应用，2022年，我国超高清视频产业总体规模超过4万亿元。5G作为第5代移动通信技术具备高速率，低时延，大连接三大特性。这恰恰满足4K超高清视频传输所需要的高带宽和低延时的要求。因此5G网络和4K超高清视频传输可以实现完美的业务场景匹配。

一、4K IP切换系统

      在5G媒体应用实验室搭建的4K IP切换系统包括4K信号实时回传、4K信号协议转换、4K IP切换制作、4K多画面监看和直播发布等子系统。整个系统采用IP化架构，以NDI流为核心，兼容4×3G SDI输入输出，如图1所示。

1.4K信号实时回传

      4K摄像机输出4×3G SDI信号给4K编码器，4K编码器将信号进行编码压缩（4K编码参数：H.265，4:2:0，10bit，BT.2020，HLG），输出UDP单播流（IP地址为IP矩阵端口地址），然后通过华为5G CPE，将此UDP单播流传输到运营商各自的5G核心网，运营商再通过专线网络将此UDP单播流传输到中央电视台光华路办公区数据中心部署的IP信号调度矩阵。如图2所示。

2.4K信号协议转换

      运营商通过专线网络传输到中央电视台光华路办公区数据中心部署的IP矩阵是UDP单播流，经过IP矩阵后输出UDP组播流，拉流服务器配置双网卡，其中一块网卡和IP矩阵在同一个vlan，另一个网卡和NDI网在同一个vlan。拉流服务器上安装的vlc软件从IP矩阵获取UDP组播流，然后将其转化成NDI流信号（拉流服务器上需NewTek NDI Tools插件），通过另一块网卡输出到NDI网中。如图3所示。

      目前拉流服务器通过vlc软件完成UDP组播流转NDI流只是暂时的过渡性方案。

3.4K IP切换制作

      拉流服务器输出的NDI信号进到NDI网络后，4K IP切换主机就能获取到该信号并进行包装切换制作，最终输出的PGM通过4×3G SDI输出，送4×3G SDI视频分配器，最后通过AJA的4×3G SDI转HDMI转换器送4K电视显示。4K IP切换台主机配置两个万兆网卡，最大支持44路4K的NDI流输入。如图4所示。

4.4K多画面监看

      4K多画面监看服务器，从IP矩阵接收UDP组播流，将UDP组播流信号通过硬件解码芯片解码，然后再编码输出HDMI信号给显示设备进行监看。如图5所示。

5.直播发布

      4K IP切换集成制作输出的4×3G SDI信号输入编码器，编码器压缩编码输出UDP组播流，通过台内网送到新媒体集成发布平台完成信号的分发。第三方直播平台从新媒体集成发布平台拉流获取直播信号。

      本次5G新媒体平台4K集成制作的IP切换系统一共接入了来自全国多个省市一共16个报道点的实时4K信号。其中，中国电信有5个5G回传4K信号：广州-珠江游船、深圳-小平像、福州-三坊七巷、成都-九寨沟以及鹰潭-龙虎山；中国移动有5个5G回传4K信号：北京-鸟巢、上海-外滩、成都-大熊猫基地、深圳-深南大道以及杭州-雷峰塔；中国联通有6个5G回传4K信号：北京-天安门广场、青岛-奥帆中心、郑州-河南博物馆、南京-长江大桥、广州-花城广场以及哈尔滨-亚布力滑雪场。

      16个报道点用到的设备如下：4K摄像机、4K编码器和5G CPE。摄像机输出4×3G SDI信号送4K编码器进行编码，4K编码器通过5G CPE连通5G网络，将编码后的IP流信号上行传输到5G核心网。三大运营商通过各自的专线，将IP流信号传输到中央电视台光华路办公区的IP矩阵。此次通过5G链路进行性信号传输，IP流信号采用UDP网络协议，通过单播流的传输方式，实现信号端到端的传输。

      IP矩阵将接收到的UDP单播流转换成UDP组播流，并且可以路由至任何一路输出端口。至此，下游网络中所有和该端口相同vlan下的设备均可以获取到该UDP组播流，解决了单播流点对点传输接收的局限性。IP矩阵可实现对IP流信号图形化和精细化管理，可以完成对IP流信号的调度管理。

      整个系统采用全IP架构，因此网络显得尤其重要。试验阶段，我们对IP数据包在整个网络传输链路中丢包及纠错进行了长时间的测试，最终保证了整个网络传输链路的丢包率在可控范围之内，不影响视音频信号的质量。IP信号从外场到5G媒体应用实验室经过了一系列复杂的网络传输链路。简要的信号流程图如图7所示。

二、基本技术原理

      本次5G新媒体平台4K集成制作是国内首次通过5G网络实时传输4K超高清信号进行切换制作。

1.4K信号采用的技术标准

      （1）4K分辨率

      3840×2160，帧率：50Hz，幅型比：16:9。BT.2020标准规定Ultra-high definition超高清图像的显示分辨率为3840×2160与7680×4320，画面显示比例为16:9，支持的刷新率包括120p、60p、59.94p、50p、30p、29.97p、25p、24p、23.976p。在BT.2020标准中取消了隔行扫描，所有超高清标准下的影像都是基于逐行扫描的，进一步提升了超高清影像的细腻度与流畅感。

      （2）色域

      BT.2020标准，大幅度提升了视频信号的性能规范。色彩深度方面，提升至10bit或12bit，其中10bit针对的是4K系统，12bit则针对8K系统。这一提升对于整个影像在色彩层次与过渡方面的增强起到了关键的作用。而色域范围的面积也远远大于BT.709标准，能够显示更加丰富的色彩。

      （3）HDR高动态范围

      HLG标准。目前全世界HDR的标准有四个：Dolby Vision、HDR10、HLG和Prime/SL-HDR1。Dolby Vision和HDR10遵循的都是电信号转换为光信号，后期需要进行内容再制作。对于广电行业来讲，如果把所有的信号都进行HDR编码，将会是无比巨大的工作量；HLG的推出目的很简单，简化HDR的制作流程，HLG的转换方式为光信号转换为电信号，在拍摄的时候就可以直接完成HDR的编码，后期不再需要耗费大量的人力和物力。因此HLG对于电视节目来说是非常合适的。所以中国广电HDR标准选用的是HLG。

2.4K编码器编码标准

      目前台里4K回传信号采用的编码标准是：H.265/HEVC。H.265视频编码技术是2013年定稿发布的下一代视频压缩标准，命名为HEVC（High Efficiency Video Coding），分别被ITU-T和ISO/IEC采纳成为国际标准，即H.265视频压缩标准。H.265在现有的视频编码标准H.264基础上，进一步提高压缩效率、提高鲁棒性（Robustness抗变换性）和错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度，以达到最优化设置。

      H.265能在有限带宽下传输更高质量的网络视频，只需H.264编码的一半带宽即可传输相同质量的视频；视频压缩率更出色，与H.264相比压缩效率提升1倍。

3.UDP协议

      UDP协议全称是用户数据报协议，在网络中它与TCP协议一样用于处理数据包，是一种无连接的协议。

UDP的特性：它不属于连接型协议，因而具有资源消耗小，处理速度快的优点，所以通常音频、视频和普通数据在传送时使用UDP较多，因为它们即使偶尔丢失一两个数据包，也不会对接收结果产生太大影响，只有UDP才有广播、组播的传递方式。

UDP信息传递的方式分以下三类：

      ● 单播Unicast：是客户端与服务器之间的点到点连接；

      ● 广播BroadCast：主机之间“一对所有”的通讯模式，广播者可以向网络中所有主机发送信息。广播禁止在Internet宽带网上传输（广播风暴）；

      ● 多播MultiCast：主机之间“一对一组”的通讯模式，也就是加入了同一个组的主机可以接受到此组内的所有数据。

4.NDI协议

      NDI是Network Device Interface的简称，是NewTek公司于2015年推出的网络设备接口协议；NDI是使视频兼容产品通过局域网进行视频共享的开放式协议，它让视频在IP空间进行简捷高效的传输成为现实，这一特性和应用将在很大程度上取代目前行业特定的有线连接和传输（比如HDMI，SDI等）。音视频信号在进行NDI编码后，能实时通过IP网络对多重广播级质量信号进行传输和接收，同时具有低延迟、精确帧视频、数据流相互识别和通信等特性。

     NDI信号传输数据码率：

1080 50P信号单路编码20Mbps~25Mbps,当PGM调用时为120Mbps。2160 50P信号单路编码40Mbps~48Mbps,当PGM调用时为320Mbps。NDI既可以单播又可以多播传输，以高清信号传输为例，如图9和图10。

 

      经过对多种IP切换设备和流程的考量，此次选择NDI协议进行转换和制作主要考虑到NDI协议带来的优点：

● 多信道：任何设备都能够连接上其他所有设备，实时传输多路信号；

● 少流量：可在本地完成信号切播后只输出一路，不受网络条件影响；

● 高码率：局域网可轻松传输 720P、1080P、2160P等画质的视频流；

● 低延迟：无需上传至云端再下载到本地，延迟可控制在0.1秒左右；

● 大范围：即便是不同办公区域，只要在同一局域网中即可正常通信；

三、测试中遇到的问题及如何优化

      本次5G新媒体平台4K集成制作是国内首次通过5G网络实时传输4K超高清信号进行切换制作，在测试过程中遇到一些问题。

      IP前方编码器输出的UDP流必须经过软件或者硬件解码然后输出NDI流给切换台，目前临时过渡性方案是采用在高性能服务器上通过vlc软件纯靠CPU进行软解码然后输出NDI流。这种方式解码10bit编码的流输出NDI流画面存在拖影问题同时vlc疯狂丢帧和非连续性丢包，而解码8bit编码的流存在少量丢帧和非连续性丢包的问题。因此怀疑vlc上装的NDI插件对10bit量化编码的流不支持。

      针对上述问题，下一步将积极联系设备厂商，将所有测试问题汇总，让厂家研发可以解码H.265编码（支持10bit量化和HLG）的IP流然后直接输出NDI流的软件或者硬件设备，同时必须能保证视音频同步问题，或者通过其他公司基于NDI开发出类似的软件或者硬件设备。