在过去的10年里,视频监控领域的主要视频压缩标准是H.264。今天,H.264占据了网络视频码流的80%左右。现在的摄像机主流分辨率是720p或1080p等高清级别的,但是几年前的主流分辨率是VGA级别的。H.264在视频监控IP化过程中扮演了重要的角色。
但是今天,在视频监控领域我们仍然面临着诸多挑战。随着摄像机分辨率的不断增加,出现了更大的百万级像素(MegaPixel)sensor、全景摄像机、甚至是千万级像素sensor。同时面临着远程观看这样的大分辨率视频而带来的网络传输压力,以及码流的存储压力。
正是面对这样的局面,ISO/IECMPEG和ITU-TVCEG联合制定新一代视频压缩标准HEVC/H.265。视频编码算法标准的制定者们声称,一个视频压缩标准的使用期一般为10年,即经过10年的使用期,由于整个产业链的发展以及科学技术的发展,标准应用的场景和环境都会发生巨大变化,针对新的应用场景和新的应用平台,需要研发更高明的算法和更具先进性的标准规范。当年MPEG4标准过渡到H.264,这样的规律可见一斑。
视频监控的趋势是高清化(高清、高清+、超高清)、网络化、智能化,高清化视频对传输和存储带来很大的压力,H.265相比H.264,对高清化视频更高的压缩率可极大的缓解这一压力。比如,对5MP分辨率的H.265网络摄像机,4Mbps的H.265的码流解码效果和8Mbps的H.264图像效果相当。若智能分析算法和H.265编码器结合使用,更能进一步降低码率,提升图像质量。相比H.264,对视频监控网络方案实施和工程建设来说,能够节省许多预算开支。
在高清化的趋势下,H.264的霸主地位已经受到H.265的挑战。现实中虽然有SVAC、MPEG4、MJPEG,甚至微软的VC-1或者谷歌的VP8,甚至广电领域的国标AVS,目前来看,这些视频压缩标准的压缩效率都达不到H.265的同等图像效果下的压缩率。虽然H.265的专利授权费用远远高于H.264,但是不像广电领域的节目接受预订或者互联网视频服务提供商,视频监控领域的视频录像不会用于对外提供服务,因此业内很多人士预测,H.265仍将在视频监控领域受到热捧,在下一个10年里,H.265将会取代H.264,成为主流视频压缩标准。
2015年5月份国家发展改革委等九部委发布的《关于加强公共安全视频监控建设联网应用工作的若干意见》中提高“新建、改建高清摄像机比例达到100%”、“逐步增加高清摄像机的新建、改建数量”,“到2020年,基本实现全域覆盖、全网共享、全时可用、全程可控”。这意味着在公共安全领域,新购置的摄像机必将是高清化的摄像机,高清化摄像机尤其适用于H.265压缩。就像当年的H.264取代MPEG-4压缩一样,在一个视频监控网络中,H.265和H.264两种压缩标准并存能够解决以建摄像机的后向兼容性,但同时增加了整个监控网络的复杂性和不稳定性。在H.265应用初期,这种情况在所难免。随着时间推移新的H.265压缩摄像机替换已到使用年限的H.264摄像机,到时整个网络必将是全网H.265的高清化视频,H.265配合高清化视频的应用必将带来整个视频监控网络方案中的前端、后端、存储、智能、显示的显著变化。
H.265应用解析
视频监控领域的视频压缩,由H.265取代H.264,主要影响的是压缩模块产品和解码模块产品,即IPC、NVR,以及带有解码显示的平台软件。IPC和NVR由于使用码芯片的ASIC或者硬件加速单元进行硬编码和硬解码,传统的H.264编解码芯片无法进行升级支持H.265。H.265Version1于2013年4月正式发布后,虽然有很多公司声称实现了H.265的编码或解码,但大都是基于CPU或者FPGA实现,不太适合视频监控应用。2014年,海思在业界首次提出基于SOC的IPC+NVR的完整视频监控解决方案参考设计。当然现在海思的H.265编解码方案更加丰富,不仅仅支持H.265编码和解码,同时支持4K超高清的H.265编码和解码。
除了海思,还有其他的比如安霸、高通、SONY、NVIDIA、Intel等公司陆续提出H.265配合4K超高清的编解码SOC或者CPU+ASIC的编解码方案。基于H.265的IPC、NVR、平台等等产品形态迎来了蓬勃发展期。
H.265价值的进一步挖掘
除了高清化的趋势和智能化趋势,还有一种趋势是智能化和H.265编码的有机配合。从算法的角度理解,视频压缩算法中也使用了大量的智能分析算法,视频压缩的根本是根据对视频图像场景的理解,有效的剔除时间冗余、空间冗余、概率冗余等,在保留信息的前提下,达到压缩的目的,以尽可能的接近视频图像信息熵。
H.265编码与智能结合
从目前的应用情况来看,智能分析和H.265压缩两者还是割裂的,视频序列和图片的智能分析结果没有有机的和H.265的帧内压缩和帧间压缩融合起来。比如海思的Hi3516A编码SOC,分别提供了ISP单元、智能分析单元IVE2.0、H.265编码单元,但好像并没有很好的融合,假若在H.265编码单元中充分利用背景建模、光流分析、移动侦测、等智能分析单元的分析结果,理解场景中的背景区域和前景区域,以及场景中的亮区、暗区、多纹理区域,等等这些智能分析结果和H.265的编码单元模块算法有机结合,可以在现有基础上进一步降低码率,提升编码效率。
HDR可扩展与WCG可扩展
与图像质量有关的因素是分辨率、帧率、色域、动态范围和量化精度。而与这几项因素提升带来图像质量提升的带来的便是超高清UHD。
高清到超高清,仅仅是分辨率和清晰度的提升,帧率的增加也带来运动连贯性的提升。分辨率由2MP,3MP、4MP、8MP、甚至千万像素,帧率由25fps到30fps、60fps,这些H.265编码和解码芯片都已经大部分支持,因为这两项仅仅涉及到单纯的编解码性能的提升。H.265的MainProfile@Level5或者@Level5.1即可满足这两项。
但是对超高清来说,宽色域(WCG,WideColorGamut)和高动态(HighDynamicRange,HDR)。所谓动态范围(DynamicRange)笼统的说是一个可变信号的最大值和最小值之间的比值。对视频采集或者视频显示设备来说,其动态范围基本上可以表达为最亮处与最暗处之间的过度范围。
标清时代的动态范围1000:1,相当于10档光圈宽容度,高清时代也是如此。高清的采集、显示系统的宽容度为1000:1,10档光圈,动态范围的幅度仍然停留在和标清一样的10-2~102尼特。人眼在瞳孔可调节的情况下,对光线可接受的动态范围则搞到10-6~1014尼特。传统的动态范围已经限制了人眼观看图像的主观感受,于是促使了HDR标准出现。HDR的目标是把整个系统的宽容度提高两个数量级达到100,000:1,相当于从10档光圈提高到16.7档,达到与人眼瞳孔无调节时相当的程度。
现在国际上对HDR并没有一个统一的规范标准,而是存在两个标准。一种是杜比公司建议的PQ(PerceptualQuantizer,感应量化编码曲线),已经成为SMPTEST2084标准,另一种是NHK与BBC建议的HLG(HybridLog-Gamma),正在申请成为ITU-R标准。这两种标准都向下兼容SDR。
色域(ColorGamut),即颜色空间,描述了可表示的颜色范围,比如人眼可以感知的颜色空间,或者一个sensor或者一个现实设备所支持的颜色空间。标清的色域由ITU-RBT.601定义,高清的色域由ITU-RBT.709定义。随着新的显示技术(OLED和量子点技术)以及UHDTV的发展,产业界意识到有必要包含在BT.709之外的颜色,大于BT.709的色域从称为宽色域WCG(WideColorGamut)。宽色域包括ITU-RBT.2020和DigitalCinemaInitiatives(DCI)‘P3’。
HDR和WCG不仅仅在光电行业,在视频监控行业也很迫切,尤其的对夜间场景和强光下场景,现有的高清标准无法看清星光级甚至月光级的细节。故必须对整个视频监控系统从采集、编码、传输、解码、显示各个环节支持HDR和WCG才能够还原真实世界中的细节。
虽然4K/8K超高清更适合用H.265进行压缩,但是目前来看,视频监控领域的4K摄像机占有率远远低于1080P或者3MP摄像机的市场占有率。所以H.265首先会在高清和高清+的视频领域进行应用。同时这也给H.265预留出更多的空间进行标准的优化、H.265编码器的优化,以进一步降低计算复杂度、提升压缩效率。这样的优化工作需要通过整个产业链(即:标准制定+芯片设计+摄像机制造+码流服务)来完成,而不能仅仅依赖视频监控工业独立完成。随着无线传输基础设施的不断完善,以及支持4K超高清的显示大屏和显示监视器等设备的不断完善,H.265编解码,会比H.264接受的更快、更广!
本文转自d1net(转载)