视频前处理包括内容分析与画质提升两部分

视频前处理
视频前处理包括内容分析与画质提升两部分。

其中内容分析包括两个方面：

第一是场景识别：通过场景识别，区分出不同的场景，包括游戏、动画片、动作片、视频会议等。针对不同的场景，我们会更精细的选择不同的前处理策略和编码工具，这样前处理和编码可以做到场景自适应。

第二是 ROI 检测：这里指基于深度学习的 ROI 区域检测，我们把检测出来的 ROI 区域传给前处理模块和编码模块。在前处理和编码模块内部对 ROI 区域的画质做重点的增强修复。

画质提升包括视频增强、色彩增强、视频降噪三部分。

视频增强和色彩增强，是基于深度学习的方法对原始视频做增强，从主观上对画质会有明显提升。

视频降噪，是在噪声评估之后对有噪声的视频做降噪处理，不仅能够带来画质的提升，而且对视频编码的压缩率也有很大的帮助，所以视频降噪是非常有用的前处理工具。

视频编码
智能编码方面：包括感知编码、ROI 编码，还有精准的帧级和行级码控。

编码内核方面：有自研的 NE264、NE265，还有支持私有协议的 NEVC。

视频后处理
主要是做画质提升，这里包括视频超分、视频增强。

智码超清转码的技术解析
智码超清的技术解析之超分技术
超分这里具体指的是超分辨率，是从低分辨率到高分辨率。超分算法一般是部署在端侧，所以要做到又快又好，因此我们自研了一套基于轻量级网络的实时超分算法。

这里自研的轻量级网络我们称为云信 RFDECB 网络结构，下图详细描述了网易云信的 RFDECB 网络结构，左边是这个网络结构的主干图，可以看到是由不同级的 ECB 模块和卷积模块构成，通过提取不同级的残差特征和 ECB 输出重参数化的结构可以更好提取图像特征，最后通过融合得到高分辨率的图像。右边对 ECB 模块的具体结构，我们采用拉普拉斯算子和索贝尔算子来提取图像的边缘特征，这样可以更好的得到超分的效果。

另外，在训练结束之后我们会把 ECB 模块中的多分支的网络结构通过展开、合并，最后变成一个非常简单的卷积，这样在推理过程和工程化实现中会有比较大的效率提升。