图像风格迁移

做项目时涉及到图像风格迁移的东西，于是补了一下，用本篇博客记录之，并附上pytorch代码，以备不时之需。

图1 风格迁移示意图

所谓风格迁移，其实是图像生成，即用两种图像生成一种结合二者内容和风格的新图像。

如何量化生成图像的内容和风格呢：
（1）生成图像的内容，即两幅图像像素值越相同越好；
（2）生成图像的风格，即两幅图像纹理上越相似越好。

1.生成图像的内容

如图1所示，给定随机图（像素随机生成）和内容图，以及训练好的CNN（全卷积，不含全连接），随机图输入CNN，在第层输出的特征图为。内容图输入CNN，在第层输出的特征图为，要想使随机图通过梯度下降法更新至和内容图一样，那么我们只需要定义二者的损失函数为：

此处的损失函数为误差平方损失，很容易理解，就是使二者通过同一个CNN得到的特征图的激活值误差最小。因为相同的两幅图像，输入同一CNN，在某一层输出的特征图是相同的。二者特征图的激活值越相近，那么二者像素点的值也会越相近。

在训练过程中保持CNN的参数不变，使用梯度下降法更新输入图像：

即可实现随机图像更新至内容（像素点）和内容图越来越相近。

2.生成图像的风格

比起内容，风格是一种不容易量化的抽象特征。为了量化图像的风格，我们用纹理结构来描述不同图像的风格特征，而纹理结构可以用CNN提取的不同特征的相关性（协方差）来衡量。

特征图的不同通道表征着图像的不同特征，把特征图的不同通道展开写成一行，则其维度变为，其不同特征的相关性（协方差）用矩阵表示：

借用两幅图来表述这一过程：

图2 将特征图的通道展开成一行

图3 计算不同特征的协方差矩阵

至此，我们已经知道了量化图像风格的方法。如图1所示，给定随机图和风格图，要使随机图使用梯度下降法更新至纹理和风格图相近，那么我们在CNN的第层需要定义的损失函数为：

其中是随机图在第层的特征图的矩阵，是风格图在第层的特征图的矩阵。这里的损失函数也是误差平方损失，只不过是二者协方差矩阵的误差。输入特征进过计算协方差，由前后变化的维度即可得知损失了位置信息，但是这不影响风格的迁移。

原论文的作者认为CNN不同层生成的风格水平不同，同时采用多个层的风格损失相结合会使生成图像效果更好：

其中是不同层的风格损失的权重，是经验值（就是超参数，随便调）。

vgg16示意图，内容损失只采用conv3_3的输出，风格损失采用conv1_2，conv2_2，conv_3_3以及conv4_3的输出

同样的，通过保持CNN参数不变，使用梯度下降法在训练中不断更新随机图（更新方法参考公式(2)），即能使其具有风格图的纹理特征。

3.风格迁移：

如图1所示，风格迁移的目标是给定内容图，风格图，以及训练好的CNN，使随机图通过训练不断更新，能够即具有内容图的内容，又具有风格图的纹理，即图1中的结合图。从结果来看，我们是把风格图的风格“迁移”到了内容图上。但从过程来看，实际是一个图像生成的过程。

这一目标实际就是以上两步（内容生成和风格生成）的结合，我们定义的损失函数就是内容损失函数和风格损失函数的加权和：

这里的和分别是内容损失和风格损失的权重，也是经验值。越大，结合图的内容就越具像，反之越模糊；值越大，结合图的纹理越相近。

同样地，和公式(2)一样，在训练过程中，保持CNN参数不变，通过反向传播，利用梯度下降法不断地更新随机图，即可实现内容图和风格图的结合，生成图1所示的结合图。