A Style-Aware Content Loss for Real-time HD Style Transfer（一个风格转换的风格感知损失）CVPR2018

A Style-Aware Content Loss for Real-time HD Style Transfer

该论文贡献：
提出了一个风格感知损失函数，与一个encoder-decoder网络联合训练训练出特定艺术家风格。

该论文实验效果如下图，(a)(c）图分别是梵高早晚期作品，(b)(d)是合成图片。可以看出合成图风格更加贴切画家的风格。

下图主要表达了用不同画家风格合成出的图内容图纹理也会不相同，作者可能根据这个发现提出相应损失函数(下面提到)来达到该论文目的。

上图第一行是风格化图片，第二行是利用[33]的方法，从潜在空间E(X)重建粗略的内容可视化。值得一提这个33方法是鉴于论文Understanding Deep Image Representations by Inverting Them(CVPR2014)，这个论文的核心是：文章提出的是用于基于梯度的方法优化一个目标函数来实现浅层和深层表达的反转。例如（a）pollock由于抽象风格所以不能保留内容细节。所以第二行的图中内容细节就有点糊。作者说用上面方法的目的是：To show the additional intuition behind the style-aware content loss.

为了达到自动聚集相关风格图片的目的，即为给定一个Y0风格，据此找到一组Y0风格图。作者用Wikiart数据集网络在Wikiart数据集VGG16上从零训练来预测艺术家风格的图。

网络结构和训练网络的损失函数：
下图是该方法的网络结构，图中所用的损失在下面都有提到。

总的损失函数如下图

其中，
上图公式中的T是转换块

这个Lc就是作者提到的风格感知损失（style-aware loss），d是在潜在空间中的维度。作者在fig 2中发现的在浅层空间(latent space)中会仅关注与风格相关的细节，所以可以让特定画家的风格被训练到网络中，从而得到特定作家的风格。其中x是输入图片，G(E(x))是合成风格图。

这个LD损失函数像是GAN损失用到的判别器损失。

在该论文还提出了一个方法——Style Image Grouping
讲了如何自动聚集相关风格图片的方法，把长的差不多风格的图片放一块，既给定一个Y0风格，努力找一组与Y0差不多的图片。为了以上目的，作者用了Wikiart数据集在VGG16从0开始训练。借助这个方法与style-aware loss 结合可以让训练更加高效（快速得到特定画家风格）。
在训练时用的损失函数是用余弦距离来求，公式如下：

其中，是VGG16网络全连接层fc6的对输入图的特征图。t是数据集的分位数（应该是用来控制选择与Y0相似到什么程度的图片）。最后，公式是用来求余弦距离。

余弦距离也在以前看过的论文：*Style Transfer by Relaxed Optimal Transport and Self-Similarity(CVPR 2019)*中被用作计算内容损失，以提高合成图与原内容图的结构差距，效果如下图，由此可见余弦距离在保留内容图结构上有很大作用。