画质增强概述-2-应用场景

二 画质增强应用场景

画质增强应用场景是非常广泛的，本质上，“谁会嫌画质太好了呢”，随着传输、显示等基础设施和硬件的进步，画质增强的应用一定会越来越广泛，我这里只是简单介绍一下几个典型场景

2.1 实时增强

实时增强主要应用在直播和RTC

2.1.1 直播实时增强

主要产品形态应该是应用在实时转码上，在转码的同时进行超分、去马赛克、降噪等增强处理

下图是一个实时超分在秀场直播中的例子

通过在服务端进行实时超分增强，观众端看到的主播画质体验大幅提升，这对于主播端网络不是很稳定(户外等)、开播设备(手机)不给力等场景，用户价值还是比较大的

类似的场景还有户外直播、会议直播等，当观众通过大屏幕观看视频时，超分增强技术的价值都比较显著

另外就是消马赛克处理，很多手机的编码器性能比较普通，在直播时多数只能支持到 baseline，很多很好的编码工具不能开打(性能问题)，因此容易出现马赛克等现象，这时候在服务端进行消马赛克等处理，然后进行二次转码，则可能有两方面收益：一是画质大幅提升，马赛克现象基本可以消除，另一方面CDN分发带宽往往也会下降，相当于节省了分发成本

随着基础设施的进一步发展，直播实时增强技术应用将越来越广泛

2.1.2 RTC 中的画质增强

RTC 的画质增强分两种实现方式，一种是服务端，另一种是在设备端(主要是播放端)

服务端的实现方式跟直播类似，但考虑到实时性的要求，因此一般不会通过ffmpeg video filter的形式来实现，而是通过集成画质增强C/C++ SDK 的方式融入到RTC框架中

设备端的超分转码是现在的研究热点，难度在于效果和性能的平衡，当然，单纯超分要在设备端实现实时，本身技术难度就非常大，除了模型选择外，模型压缩部署等工作也都非常有技术含量，需要大量的工作要做，当然，随着技术和手机性能的进一步发展，可以预见设备端的超分大规模应用必将在不远的将来就能实现

2.2 长视频增强

长视频增强也可以大致分为两种场景，一种是老片修复，这个现在也比较热，另一种是片源本身质量上佳，但为了适应大屏播放等场景，需超分至4K/8K

2.2.1 老片修复

先看两个例子

 

 由于很多老片过去都是保存到录像带中的，随着胶带老化不可避免引入一些噪声，加上早年数字化处理过程中也可能引入噪声，另外，这类老片的分辨率往往也以cif (352*288)为主，因此，这是很大的一个应用场景

2.2.2 高质量视频的超分处理

今年生产的很多视频质量都比较好，一般分辨率甚至能达到1080P，噪声、马赛克等问题基本也不存在，但随着显示和传输条件的进步，产生了将1080P视频超分至4K/8K的需求

2.3 短视频增强

短视频增强可分为超分增强和非超分增强

2.3.1 短视频超分增强

短视频业务的特点是，内容主要以UGC视频为主，多数偏竖屏720P内容，观看也以手机端观看为主，但也存在少量的低分辨率视频，这时候可使用超分增强技术提升清晰度

2.3.2 短视频非超分增强

实际业务中，我理解非超分增强更适合短视频业务场景

非超分增强偏通过传统图像处理的手段，综合调整视频的对比度、色彩、亮度、模糊度等指标，以改善观看画质，考虑到短视频中以UGC内容为主，因此非超分增强可以比较好的调优UGC内容的画质，如下图，右边是非超分增强后的效果

2.4 监控视频增强

监控视频绝大多数时候价值比较有限，因此监控视频增强原则上没必要全量做，但是特殊场景下进行一些暗光增强等处理，仍然有价值，典型演示如下