2021-CVPR-风格迁移 Drafting and Revision

简介文章信息

论文名称英文：Drafting and Revision: Laplacian Pyramid Network for Fast High-QualityArtistic Style Transfer
论文名称中文：草稿和修订:基于拉普拉斯金字塔网络的快速高质量艺术风格转移
发表期刊：CVPR2021 CCF-A
作者：Tianwei Lin1, Zhuoqi Ma1,2, Fu Li1, Dongliang He1, Xin Li1, Errui Ding1,Nannan Wang2, Jie Li2, Xinbo Gao3
作者研究机构：Department of Computer Vision Technology (VIS), Baidu Inc.1
作者研究机构中文：百度公司计算机视觉技术系
代码地址：https://github.com/PaddlePaddle/PaddleGAN/
作者近几年的论文：
1、Deep concept-wise temporal convolutional networks for action localization
2、MVFNet: Multi-View Fusion Network for Efficient Video Recognition
3、Learning Semantic Person Image Generation by Region-Adaptive Normalization

摘要

风格迁移主要是三个指标：迁移速度，可迁移风格类别，迁移结果质量（主观）
目前缺点：1.质量很高但是，时间成本长，限制了应用。2.前馈的方法依旧不能合成复杂的风格。
本文改进：受到常见的绘画过程的启发，先画草图然后修改细节。我们提出了一种新颖的前馈方法LapStyle，拉普拉斯金字塔网络。
如下图：低分辨率传递全局模式，高分辨率下修改局部模式。

Introduction

第一段：艺术风格转移是一种有吸引力的技术，可以通过内容图像的结构和示例风格图像的风格样式来创建艺术图像。 它一直是学术界和工业界研究的热点。最近，提出了很多关于神经风格转移的方法，可以将其大致分为两种类型：图像优化方法和模型优化方法。
第二段：图像优化方法利用固定的网络对风格化的图像进行迭代优化。Gatysetal的开创性工作。通过迭代优化过程实现样式转换，通过预先训练的深度神经网络提取特征的相关性来捕获样式模式。接下来的工作主要以不同损失函数的形式对进行改进。
尽管实现了出色的样式化结果，例如STROTSS ，但是这些方法的广泛应用仍然受到其缓慢的在线优化过程的限制。 相反，模型优化方法通过训练来更新神经网络，并且在测试中是前馈的。 主要分为三种类型：
（1）Per-Style-Per-Model方法，被训练来合成具有单一给定样式的图像
（2）Multi-Style-Per-Model方法，引入了各种网络体系来同时处理多种风格
（3）Arbitrary-Style-Per-Model方法进一步采用各种特征修改机制来传递任意风格
回顾这些方法，我们发现虽然局部样式模式可以被转换，，但是仍然无法正确地传递混合了全局样式和局部样式的复杂样式。 同时，在许多情况下会出现伪影和瑕疵。
为此，在这项工作中，我们的主要目标是通过前馈网络实现高质量的艺术风格传递结果，在美学上保留局部和全局的样式。
第三段：人类画家在绘画时如何处理复杂的风格图案?一个常见的过程（特别是对于初学者而言）是首先绘制草图以捕获全局结构，然后逐步修改局部细节，而不是直接逐部分地完成最终绘画。
受此启发，我们提出了一种用于风格传递的神经网络——拉普拉斯金字塔网络(LapStyle)。
首先，在我们的框架中，drafting network（草稿网络）旨在以低分辨率传输全局样式模式，因为我们发现在低分辨率下，由于比较大的感受野和更少的局部细节，全局的样式可以很好的迁移。然后使用Revision network根据草稿和通过2×resolution content image上的拉普拉斯滤波提取的纹理，通过产生残差图像，以高分辨率修改局部细节。
请注意，我们的Revision network可以以金字塔的方式堆叠，以产生更高分辨率的细节。
最终的风格化图象是通过汇总所有金字塔的输出获得的。此外，我们采用浅色块（shallow patch）判别器来对抗的学习局部风格。如图1，我们的起草和修订过程获得了不错的结果。总结贡献如下：
1.我们引入了一个新颖的框架“草稿与修订”，通过将风格转换过程分为全局风格模式起草和局部风格模式修改来模拟绘画创作机制。
2.我们提出了一种名为LapStyle的前馈样式传递方法。采用起草网络传输低分辨率的全局样式模式，采用高分辨率修订网络根据内容图像的多级拉普拉斯滤波输出，以金字塔方式修改局部样式模式。
3.实验表明，我们的方法可以生成高分辨率和高质量的风格化结果，其中全局和局部样式模式都有效地合成。此外，提出的LapStyle非常高效，可以在110帧/秒内合成512像素的高分辨率风格化图像

相关工作略

方法

在这一节中，我们将详细介绍提出的前馈式传输网络LapStyle。为了便于理解，在本节中，我们只描述具有2级金字塔的框架。基准面为起草网络，第二级高分辨率采用修正网络，如图2所示。通过叠加修订网来建立更多的层次是非常直接的：

主体网络结构

Drafting Network结构

草稿网络的目的是在低分辨率下综合全局样式。为什么用低分辨率?如图所示，我们注意到，由于接收域大，局部细节少，全局模式在低分辨率下更容易传输。为了实现单一样式的传输，早期的工作直接训练一个编码器-解码器模块，其中只有内容图像被用作输入。为了更好的结合样式特性和内容特性，我们从最近的任意样式传输方法中采用了AdaIN。 草稿网络： 它包括一个编码器、几个AdaIN模块和一个解码器。 （1）编码器是一个预先训练好的VGG-19网络，在训练过程中是固定的。给出下采样的Xc和Xs，VGG编码器在2_1、3_1和4_1层提取多个粒度的特征。 （2）然后，我们分别在2_1、3_1和4_1层后使用AdaIN模块在内容和样式特征之间进行特征调制。 （3）最后，在解码器的每个粒度中，通过跳跃连接合并AdaIN模块的相应特征，在低和高级别的AdaIN模块之后，跳跃连接有助于保留内容结构，特别是对于低分辨率图像

ADAIN

（ICCV2017 ADAIN）核心，特征的均值和方差代表着图像的风格

Revision结构

修订网络的目的是通过生成残差细节图像来修改粗糙的程式化图像，而最终的程式化图像是通过结合rcs和粗糙的风格化图像̄下采用的Xcs生成的。这个过程确保了在̄下采样的Xcs中全局样式模式的分布得到了妥善的保存。同时，修正网络更容易学习利用残差细节图像对局部样式图案进行修正。 如图4所示，修正网络设计为简单有效的编解码器架构，只有一个下采样层和一个上采样层。此外，我们还引入了一个patch的鉴别器来帮助修正网络在对抗学习设置下捕获精细的patch纹理。我们定义了SinGAN之后的patch鉴别器，其中D有 5个卷积层和32个隐藏通道。 我们选择定义一个相对较浅的D，以(1)避免过度拟合，因为我们只有一个样式图像;(2)控制感受野，以确保只能捕获局部模式。

总结贡献如下

1.我们引入了一个新颖的框架“草稿与修订”，通过将风格转换过程分为全局风格模式起草和局部风格模式修改来模拟绘画创作机制。
2.我们提出了一种名为LapStyle的前馈样式传递方法。采用起草网络传输低分辨率的全局样式模式，采用高分辨率修订网络根据内容图像的多级拉普拉斯滤波输出，以金字塔方式修改局部样式模式。
3.实验表明，我们的方法可以生成高分辨率和高质量的风格化结果，其中全局和局部样式模式都有效地合成。此外，提出的LapStyle非常高效，可以在110帧/秒内合成512像素的高分辨率风格化图像。

实验结果

客观评价

主观评价

选用15张风格图像，15张内容图像，本文方法以及其他5种方法，分别合成225张图片。随机采样20组内容风格对，从100个用户中收集2000票，投最满意的风格化图像。

效果图