画质增强概述-2-应用场景

二 画质增强应用场景

画质增强应用场景是非常广泛的,本质上,“谁会嫌画质太好了呢”,随着传输、显示等基础设施和硬件的进步,画质增强的应用一定会越来越广泛,我这里只是简单介绍一下几个典型场景

2.1 实时增强

实时增强主要应用在直播和RTC

2.1.1 直播实时增强

主要产品形态应该是应用在实时转码上,在转码的同时进行超分、去马赛克、降噪等增强处理

下图是一个实时超分在秀场直播中的例子

画质增强概述-2-应用场景_第1张图片

通过在服务端进行实时超分增强,观众端看到的主播画质体验大幅提升,这对于主播端网络不是很稳定(户外等)、开播设备(手机)不给力等场景,用户价值还是比较大的

类似的场景还有户外直播、会议直播等,当观众通过大屏幕观看视频时,超分增强技术的价值都比较显著

另外就是消马赛克处理,很多手机的编码器性能比较普通,在直播时多数只能支持到 baseline,很多很好的编码工具不能开打(性能问题),因此容易出现马赛克等现象,这时候在服务端进行消马赛克等处理,然后进行二次转码,则可能有两方面收益:一是画质大幅提升,马赛克现象基本可以消除,另一方面CDN分发带宽往往也会下降,相当于节省了分发成本

随着基础设施的进一步发展,直播实时增强技术应用将越来越广泛

2.1.2 RTC 中的画质增强

RTC 的画质增强分两种实现方式,一种是服务端,另一种是在设备端(主要是播放端)

服务端的实现方式跟直播类似,但考虑到实时性的要求,因此一般不会通过ffmpeg video filter的形式来实现,而是通过集成画质增强C/C++ SDK 的方式融入到RTC框架中

设备端的超分转码是现在的研究热点,难度在于效果和性能的平衡,当然,单纯超分要在设备端实现实时,本身技术难度就非常大,除了模型选择外,模型压缩部署等工作也都非常有技术含量,需要大量的工作要做,当然,随着技术和手机性能的进一步发展,可以预见设备端的超分大规模应用必将在不远的将来就能实现

2.2 长视频增强

长视频增强也可以大致分为两种场景,一种是老片修复,这个现在也比较热,另一种是片源本身质量上佳,但为了适应大屏播放等场景,需超分至4K/8K

2.2.1 老片修复

先看两个例子

 画质增强概述-2-应用场景_第2张图片

 由于很多老片过去都是保存到录像带中的,随着胶带老化不可避免引入一些噪声,加上早年数字化处理过程中也可能引入噪声,另外,这类老片的分辨率往往也以cif (352*288)为主,因此,这是很大的一个应用场景

2.2.2 高质量视频的超分处理

今年生产的很多视频质量都比较好,一般分辨率甚至能达到1080P,噪声、马赛克等问题基本也不存在,但随着显示和传输条件的进步,产生了将1080P视频超分至4K/8K的需求

2.3 短视频增强

短视频增强可分为超分增强和非超分增强

2.3.1 短视频超分增强

短视频业务的特点是,内容主要以UGC视频为主,多数偏竖屏720P内容,观看也以手机端观看为主,但也存在少量的低分辨率视频,这时候可使用超分增强技术提升清晰度

2.3.2 短视频非超分增强

实际业务中,我理解非超分增强更适合短视频业务场景

非超分增强偏通过传统图像处理的手段,综合调整视频的对比度、色彩、亮度、模糊度等指标,以改善观看画质,考虑到短视频中以UGC内容为主,因此非超分增强可以比较好的调优UGC内容的画质,如下图,右边是非超分增强后的效果

2.4 监控视频增强

监控视频绝大多数时候价值比较有限,因此监控视频增强原则上没必要全量做,但是特殊场景下进行一些暗光增强等处理,仍然有价值,典型演示如下

画质增强概述-2-应用场景_第3张图片

你可能感兴趣的:(视频云,图像处理,画质增强,计算机视觉,画质增强,图像处理,深度学习,视频云)