图像风格转换

图像风格转换

有两个月没更新博客了。这段时间把一些基础知识复习了一边，对一些感兴趣的领域学习了一下，也总算能够静下心来开始看英文文献了。刚好这个主题是这学期的课程的一个作业，就当做整理了。

---

图像风格转换 最早在论文《A Neural Algorithm of Artistic Style》中提出，提出了内容损失和风格损失函数。目的是通过与训练好的卷积网络（VGG16）来抽取特征，输入其实是有三张图片的，分别是内容图像，风格图像和随机的图像。通过损失对随机图像进行梯度下降，迭代求得最后的图像，因此速度会比较慢，难以快速应用。

---

快速风格迁移 由《Perceptual Losses for Real-Time Style Transfer Super-Resolution》提出，主要是将风格迁移的训练和应用分离，可以快速应用。其实就是把风格特征固定下来了，通过一个transform Net来直接输出生成的图片。先是卷积再转置卷积（上采样），然后求损失，再对Transform Net的变量梯度下降。之后就只需要这个生成网络了，但是只能对单一风格的，多种风格就需要训练多个网络了。

---

任意风格转换
这个模型能够自行指定内容和风格图片，还能快速生成图像。《Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization》，受Batch Normalization启发。

Deep Photo Style Transfer, 这个是Adobe公司的论文，图片很真实，没有扭曲，基本上是颜色上的仿射变换。

线性变换-快速风格转换，这个是CVPR2019的新论文，效果也很不错。