优酷老片修复算法，超高清重温童年回忆

优酷老片修复算法，超高清重温童年回忆
《大闹天宫》、《黑猫警长》、《舒克和贝塔》……这些儿时的“小伙伴”陪伴我们一起度过难忘的童年时光。随着技术的进步，高清视频、高分辨率显示设备、更高的传输带宽等新技术的出现，为我们带来了前所未有的视觉体验，也让我们对影片质量有着越来越高的追求。而这些经典动画由于噪声、模糊、划痕等画质问题，在如今的显示设备上则“惨不忍睹”，如图1所示。




图1 依次为：噪声 划痕 模糊 压缩

针对年代久远的经典老片，可以通过传统的人工修复提升视频质量，但在实操中耗时费力，专业修复人员一天的修复量也只能以“帧”计，即便可以对胶片上的某些脏点或者划痕进行有针对性的去除，但对于视频分辨率低、帧率低、压缩噪声等问题依然很难解决。近年来，随着人工智能、尤其是深度学习技术的蓬勃发展，其在视频处理领域得到了广泛的应用。相比于传统方法，深度学习类算法基于大量的数据训练，高维的特征空间推理，在许多视频处理、分类、识别问题上都取得了很好的效果，那么把基于深度学习的方法应用在老动画片的修复上，结果会如何呢？
即便借助深度网络这样的强力武器，老动画片的修复还是面临诸多挑战。首先就是动画片的种类繁多，不同国家，不同年代，不同类型的动画片，都需要处理；其次，老动画的毛病多种多样，模糊、噪声、损伤等问题都需要修复；最后，这些毛病都不是独立出现的，他们的不同组合、不同强度，让输入数据域分布非常发散，对修复网络是极大的挑战。
优酷数字多媒体实验室依托站内海量的高清视频资源，结合深度学习领域最新研究成果，克服了上述的多种困难，针对老旧动画片开发出一套集智能超分、去噪、去块、去模糊、生成细节等修复功能为一体的修复模型，不仅仅具有很好的问题修复能力，而且能够优化线条、生成细节，让老动画观感焕然一新。比如针对经典的去噪问题，动画片中的噪声多种多样，不光是简单的高斯白噪声，粗颗粒噪声、小结构噪声、压缩噪声，甚至斑点噪声都很常见，要解决好去噪问题，首先就要对动画片中的噪声特点和分布有全面的认识和总结，并且在我们的数据构造和增广中去精细模拟，这样，我们的网络去噪就具有了必要的鲁棒性；其次，时间噪声是降低观看体验的关键，也是码率杀手，我们的去噪网络必须具备去除时间噪声的能力，所以我们也是采用了经典的多帧模型，并且把主体网络分开设计成光流模块加修复模块，前者用最新的光流网络，对齐帧间特征，后者通过3D卷积等方式，进行特征融合、像素重建；最后，为了在有效去除噪声的同时保留细节，我们引入了更能反映高层语义的感知loss，训练专门的鉴别器甄别细节和噪声。借助这些手段，我们的修复模型在噪声处理上有了不错的能力。其他的去模糊、超分等能力，也是基于类似的考虑和设计，这里就不赘述了。值得一提的是，当一个综合功能的网络，要解决的问题越来越多样化时， 网络的单项能力是越来越弱的，也就是“能力全”和“效果精”不能得兼。我们基于成本和复杂度的考虑，给主修复网络增加了外部参数调节层，一方面降低了修复网络的数据域范围，提升域范围内的修复效果；另一方面，借助可调参数，也让修复网络能灵活适配多种修复场景，兼顾了“全”和“精”，不过，就需要借助人工或者一些前置算法，对具体的各个片子进行参数配置了。

整体修复流程如图2所示。算法构成大体包含数据采集、数据扩增、模型训练和部署推理四个部分。下面，从数据、网络结构、训练方式等方面对我们的模型进行详细的介绍。

图2 整体流程图

模型的泛化性能直接影响算法的实际应用效果。为了利用一个模型修复多种视频缺陷，训练数据的构造十分重要。这里，工程师们在训练数据的构造上投入了大量精力。在如何有效扩增数据规模、开发更加真实的数据扩增方式、数据清洗等多个方面进行了深入研究。目前，算法团队开发的自适应高阶降质算法可以有效地适应各种低质量动画视频的降质类型，具有鲁棒性强、修复效果好的特点。例如，在老动画片中，我们经常可以遇到画面模糊、包含较多噪声、由于压缩等导致的块状残留等。利用我们提出的算法可以有效修复这一缺陷，从而得到清晰、锐利、紧致的线条，极大地改善了用户的观看体验。

如图3所示，经过算法的智能修复，无论月亮、还是建筑、亦或是树木都得到了更为清晰的呈现。

图3 去模糊：原图 模型修复后

如图4所示，经过模型修复后，画面中的噪声得到了有效的去除，内容不仅更为清晰，而且线条更为锐利、紧致。

图4去噪：原图 模型修复后

如图5所示，由于原图中存在较多块状噪声，十分影响用户观感。经过我们的算法智能修复后，在图像中已经较好地消除了块状噪声。

图5去块：原图 模型修复后

在众多深度学习算法中，研究者们针对不同任务提出了大量网络结构：如分类任务中的残差网络、分割任务中的U型网络、跟踪任务中的孪生网络等。虽然这些网络在各自领域取得了惊人的成就，但对修复任务却并不适用。为了尽可能提升推理速度、保留原始视频的信息、稳定准确地去除噪声、以及生成逼真合理的高频细节，我们针对修复任务开发出轻量、高效、稳定的深度网络模型。通过对不同层级特征进行跨层连接实现高效的特征复用；通过多分支结构提取不同尺度的特征，从而对图像内容进行多尺度分析；利用时空注意力机制更好地聚焦图像的低质量区域；此外，借助高分辨率特征图和图像的结构特点更好地保留有效信息、生成逼真的细节。

最后，算法团队针对动画修复的任务特点，开发出一套基于生成对抗模型的训练框架。借助判别器网络的反传梯度以及多个额外设计的损失函数，生成网络不仅可以去除大部分噪声和模糊，而且可以使得画面更为生动，即为网络赋予了“无中生有”的修复能力。在这一能力的加持下，修复后的动画视频在优酷获得了“新生”。如图5所示，修复后的云层细节更为清晰、富有层次感。

图5 高频细节生成：原图 模型修复后

动画片不仅仅是我们儿时的美好回忆，也是宝贵的文化资产，优酷的小伙伴们会在老动漫修复道路上继续摸索前进，不断把更多更好的修复效果呈现给大家，为艺术增辉添彩，让经典永不褪色。
今天，让我们一起在优酷重温经典动画，欢度六一儿童节！