CNN 风格迁移模型 原理简述

我们有了两张图片，分别是content图和style图

风格迁移本质上是找到一个新的图片，使得风格上趋近于风格图，内容上趋近于内容图

而“趋近”在深度学习中体现在loss函数中，所以我们要设定两个loss

content loss 度量生成图像的内容和内容图像的内容之间的内容损失

style loss 度量生成图像的风格和风格图像的风格之间的风格损失

不断地更新合成图的信息，得到最终synthetic image

观察CNN模型，我们可以看出，对于Content Image来说，浅层卷积层的feature maps已经能够重构出比较好的图像了，而随着卷积层的加深，从feature map重构出的图像损失的像素点越严重，但是却能够保留图像中的更加高级的内容信息。可以看到随着卷积层的加深，房屋图片的像素点越来越模糊，但是仍然能看到整个图片中的内容信息。

在Style Image重构过程中，随着卷积层的加深，feature maps重构出的图像能够更大程度上保留图像的style信息，但是会丢失原始图像中内容信息。

所以风格损失经常对比的是浅层网络特征，内容损失对比的是深层网络特征

 

关于训练

我们可以使用现成的模型，如VGG，其中的参数（权重、偏置）已经给出，不需要训练

因为合成图首先要保证内容的一致性，所以我们的初始化合成图为content图加上噪音

对这张合成图进行训练，得到最后结果

 

参考：https://zhuanlan.zhihu.com/p/38315161