快手视频画质提升算法的探索和应用

上期「画质评测｜一次关于视频画质的探（zhǎn）讨（xiàn）」中分享了快手与其他短视频产品的画质清晰度对比情况，简要阐述了短视频的生产-消费链路，并提炼出与视频画质相关的几个主要阶段：拍摄阶段、编辑阶段和服务端处理等阶段。其中，服务端承接视频的上传和下发，该阶段的处理会影响用户体验和带宽成本，这也是优化短视频画质的技术主战场。

在讨论服务端的编解码、视频增强或处理过程之前，我们先了解以下三个问题：

为什么服务端要对视频进行再次编码？

用户上传视频时，由于受到手机运算性能等影响，移动端能进行的视频处理和压缩程度有限，上传的文件通常较大。如果直接将大文件视频下发给其他用户消费，用户在下载时需要缓冲，容易造成播放卡顿，导致体验不佳，同时，也会耗费更多流量。

为什么服务端要进行视频增强处理？

用户上传的视频质量不一，其中不乏一些经过多平台转发、多次编辑的视频，这些素材被多次压缩或裁剪，质量受损；也有一些视频因受限于拍摄的设备、场景等因素，质量也不理想。

如何验证画质优化算法对主观质量提升是否有效？

我们通常采用主观盲测的方式，随机抽取多名同学对优化前后的视频进行打分。相比于优化前，优化后的视频被选为优胜的比例更高，且没有出现明显badcase时，我们认为画质优化算法是有效的。

总结而言，如下图，快手服务端算法从主观质量、码率/带宽、复杂度/转码成本三个维度进行权衡，目标在于提升视频画质（主观质量）、降低视频码率（文件大小）、降低计算成本（复杂度/转码成本），也就是努力将图中红点位置移动到绿点位置。

接下来，我们将分别阐述在服务端中使用的视频增强处理算法和编码算法对画质的优化处理。

短视频AI视频增强处理

在视频上传到服务端后，自研分析模块Capella会判断该视频的质量，决策是否需要对其进行画质增强处理。Atlas-AI视频增强算法触发策略示意图如下：

*Atlas是快手用于分析/处理/推理/转码的多媒体算法引擎，更多内容可点击后方链接跳转：《快手智能视频图像编码处理服务架构》

Atlas-AI视频增强算法触发策略

总结而言，AI增强修复算法的触发逻辑主要分为以下几个层面：

1.视频的基础特征：视频分辨率

2.视频的来源：是否为其他平台导入，是否经过二次转码压缩

3.视频的无参考质量评分：包括压缩质量程度、模糊程度、噪声程度等画质特征的评分

目前，AI增强修复算法主要针对由压缩失真、低分辨率和模糊造成的低质视频，对应的算法分别为De-Art、SR和Deblur。技术团队通过分析快手平台上的低质视频，离线拟合海量的低质/高清视频数据样本，在效果和性能上不断优化深度神经网络算法，以修复各种低质视频，提升画质清晰度。

De-Art/SR/Deblur上线后，在播放量和播放时长方面收益明显，整体投入产出比（ROI）较优。

以下展示一组案例：

左：Deblur优化前｜右：Deblur优化后

编码主观质量优化算法

快手音视频技术团队对自研编码器进行了多种针对主观画质的算法研发，内容自适应的量化（CAQ）和率失真优化（CARDO）就是典型的例子。在同等文件大小下，CAQ+CARDO主观优化算法优化视频主观质量后，对于用户真实的体验有明显提升，算法流程图如下：

编码主观优化算法CAQ + CARDO框图

该算法的主要逻辑如下：

主观优化算法中的第一部分——CAQ类似x265中AQ的操作，在获取视频帧后对其进行内容分析，获得JND Factor从而计算出QP偏移。

JND Factor包含三个部分：一是图像块的平均亮度值；二是纹理强度，即通过边缘检测，得到块级边缘强度和梯度方向；三是纹理特点，例如平滑、边缘、规则纹理（如网格）、不规则纹理（如草地）等。

根据以上三个特征，结合内容的运动特性，从而得到块级的QP偏移。但是，直接使用这些QP偏移可能会导致帧或序列级别的码率波动较大。为了控制波动，我们使用一个模型来预测CAQ可能产生的码率变化，从而再次修正QP偏移。同时，结合视频内容特征，在CAQ和自适应CUtree两个工具所产生的QP偏移值之间进行合理选择，让主观质量提升不明显的视频能够获得最大化的客观性能收益。

主观优化算法中的第二部分——CARDO主要包括两个算法：第一，感知量化（Perceptual quantization），即在量化过程中保留主观失真敏感度高的区域的部分量化系数；第二，融合边缘梯度失真（Edge-based gradient difference）的率失真优化，即在率失真代价函数中的失真部分加入边缘梯度失真（Edge-based gradient difference），同时对λ的选择进行调整。

以下展示一组整体方案应用后的案例：

上：优化前｜下：优化后 

优化前，王冠部分消耗过多码率，但人眼对这种复杂的不规则纹理并不敏感。当我们将这部分码率拿出来重新分配人脸、衣服等一些细节部分时，整体主观质量明显提升。

CTU级码率变化百分比

码率下降最多（深蓝）-下降（浅蓝）-持平（绿色）-增加（黄色）

快手画质提升算法经过不断迭代，在海量的视频场景中反复验证，切实践行了以用户体验为核心价值的初衷。

欢迎对画质提升感兴趣的同学留言与我们进行交流。

 

 

快手音视频技术团队由业界资深的专家组成，通过工程建设、算法优化，结合数据驱动、专业质量评测及产品化的手段为用户打造极致的体验。团队自2016年成立以来，已经建立起了业界领先的短视频+直播技术体系，支撑快手在国内、海外的数亿用户。

在这里你可以：

• 接触世界最前沿的音视频技术

• 在丰富的应用场景中大展身手

• 和行业里最优秀的同学们并肩作战

我们期待你的加入！请发简历到：

[email protected]