论文Controlling Perceptual Factors in Neural Style Transfer

摘要：

本文提出了如下的假设：图像风格可以被分解为空间区域、颜色与光照信息和跨空间尺度这三个因素。

对于空间因素的控制，通过引入一个新的空间引导矩阵，来控制风格图像的哪一部分用来风格化内容图像对应的图像区域。

对于颜色因素的控制，可以只采用亮度通道进行迁移或者颜色直方图匹配方法来实现。

对于空间尺度因素的控制，通过选择神经网络中不同层对应的统计信息进行风格迁移来实现。

spatial control（没大看懂）

原理: 

      目标是控制风格图像的哪个区域用于风格化内容图像中的每个区域。例如，我们希望将一种风格应用于天空区域，另一种风格应用于地面。主要是加入R个引导通道（结果中的那些小图即为引导通道）。

      第一种方法是将包含在风格图像中的每个图层的特征图与R个引导通道Tr相乘，并且为风格图像中的每个R区域计算一个空间引导的gram矩阵。通常，我们定义空间引导特征图为

  

                                                           

       第二种方法是用特征图来堆叠引导通道，而不是在每个引导通道上计算一个Gram矩阵。相比较于第一种方法提高了效率牺牲了质量。

      

结果：

其中（d）为原始方法的结果，（e）为将style I中天空和地面分隔开迁移的结果，（f）为混合了style I的地面和style II的天空的结果。

colour control

有两种方法：

colour histogram matching（颜色直方图匹配）和luminance-only transfer（仅亮度转移）

原理：

在以前的风格转换中，生成图的颜色都会最终变成style图的颜色，但是很多时候我们并不希望这样。

luminance-only transfer就是将RGB转换成YIQ，只在Y上进行风格转换，因为I和Q通道主要是保存了颜色信息。

L_s′ =σ_C / σ_S  (L_S − μ_S) + μ_C

colour histogram matching采用的方法就是将风格图的颜色转换成内容图的颜色。

转换方法采用的是一种线性方法   p′_S = Ap_S + b其中A 是一个3 × 3 matrix ， b 是一个 3-vector，该转换可以保证风格图与内容图有一致的均值和协方差。

优缺点：

      这两种方法的结果都很有趣，但有不同的优点和缺点。
    颜色匹配方法自然受到颜色从内容图像到样式图像的效果的限制。颜色分布往往不能完美匹配，导致输出图像的颜色与内容图像的颜色不匹配。

      相反，仅有亮度的传输方法完美地保留了内容图像的颜色。 但是，亮度和颜色通道之间的依赖关系在输出图像中丢失。 虽然虽然这通常很难发现，但对于突出笔触的风格来说，这可能会造成问题，因为单笔笔画可能会以不自然的方式改变颜色。相比之下，当使用全样式转换和颜色匹配时，输出图像确实包含笔触，这些笔触是涂料的斑点，而不仅仅是光线和黑暗的变化。

结果：

scale control

作用：

   一种在不同空间尺度上独立控制风格化的方法，可以是选择不同比例的单独样式。例如，我们希望将一幅作品的精细笔触与另一幅图像的粗尺度角形几何形状相结合。

原理:

    由于简单地将不同尺度不同图像的Gram矩阵结合起来，就不能对不同的尺度进行独立的控制。所以采用的方法就是创造一个新的样式图片，该样式图片有一幅图片的精细尺度和另一幅图片的粗尺度。粗尺度样式的图像就是使用较低层的gram矩阵。

使用粗尺度的样式图像初始化优化过程，并完全省略内容损失，以便粗尺度图像中的细微纹理将被完全替换。因为当尺寸比样式特征更大时，优化会使图像结构保持完整。虽然这是不能保证的，因为它取决于优化器，但我们凭经验发现它对于典型用于神经类型转换的L-BFGS方法是有效的。

结果：

其中（a）是内容图像，（b）是风格图像，（c）将现有样式的粗细结合起来获得新样式。 Style IV结合了Style I的精细尺度和Style II的粗尺度。 Style V结合了Style II的精细尺度和Style III的粗尺度。 （d）使用原始样式II的产出 （e）使用新的样式IV的输出。 （f）使用新样式V输出。

总结：

优势：可以生成更加多样性的艺术风格图像

不足：评价方法很主观，对于方法的计算效率和实时性没有分析。

代码：https://github.com/leongatys/NeuralImageSynthesis