风格迁移论文"Photorealistic Style Transfer via Wavelet Transforms"

基于Whitening and Coloring Transform(WCT)的方法由于其抽象能力强，会出现空间扭曲或者不真实的伪影的情况。作者基于WCT的方法将小波变换嵌入神经网络中，使特征能够保留结构信息以及VGG空间的统计学特性。此外，作者认为基于WCT${}^2$的方法可以提高风格化的时域稳定性。
如上图所示，作者希望WCT${}^2$能够在不使用后处理方法的情况下重建信号，由于小波信息会带来很小的信息损失，作者分析了使用小波下采样和小波上采样的优点。
此外，作者提出了一种递进式的风格化方法而不是多级的策略，递进式的风格化方法比起多级策略好处如下：（1）递进式的方法只需要在训练和测试的环节只使用一个decoder，而多级的训练方法需要在每一个level上都单独训练一个decoder，参数不共享，参数量大，训练困难，测试阶段开销也很大。（2）使用多级的风格化方法会导致伪影在多次encoder-decoder过程中被多次放大，而使用渐进式的方式，其伪影相对而言就少了很多。WCT的论文阅读笔记：WCT论文阅读笔记

WCT${}^2$需要解决风格化带来的两个问题：(1)恢复给定内容图像的结构信息（2）对图像进行忠实的风格化操作。小波下采样和上采样用于解决问题（1），而递进式的网络结构则用于解决问题（2）。
小波变换
Haar小波池化有4个卷积核，由$\{L{L}^{T}L{H}^{T}H{L}^{T}H{H}^T\}$组成，低通滤波器L和高通滤波器H分别为$L^T=\frac{1}{\sqrt{2}}[11]$,$H^T=\frac{1}{\sqrt{2}}[-11]$。低通滤波器用于获得光滑的表面特征和纹理特征，而高通滤波器可以从垂直、水平和对角线方向获得边缘信息。
Haar小波变换并不是唯一可以对信号进行恢复的方法，选择Haar小波是因为这种方法将原始信号分解为可捕获不同分量的通道，导致风格化结果更好。
只有低频特征LL被传到下一个编码器中，高频信息(HH,HL,LH)被直接送到decoder里。
渐进式的风格化
在不同的尺度(conv1_X,conv2_X,conv3_X和conv4_X)使用相同的WCT来进行计算。计算量是相同的。
PhotoWCT会因为max-pooling导致空间信息的损失。
低频的信息用来获得平滑的表面和纹理，高频的信息来检测边缘特征。
通过选择一个component来控制个性化的风格。
如果不在高频的组件上使用WCT，那么边缘特征是不会发生改变的。

作者和Split Pooling与Learnable Pooling进行比较。Split Pooling使用固定参数的2x2卷积核，比如[1,0,0,0],[0,1,0,0],[0,0,1,0],[0,0,0,1] 。Split Pooling可以带来全图的信息，但是相对于Wavelet Pooling来说细节上损失的较严重。Learnable Pooling使用一个步长为2的卷积核，这种方法即无法保证内容特征也无法很真实的进行风格迁移。作者认为是约束过于松弛。
结果如下：