A Closed-form Solution to Photorealistic Image Stylization快速真实图片风格化

首先是该论文的实验效果如图：在用了PhotoWCT和Smoothing后在局部也不会出现像以前风格化算法出现的结构伪影（结构边界混乱）。在图中可以看出在天空和内容细节上转换的很好。

简称FastPhotoStyle：逼真的风格化的封闭形式
以前看到过closed-form，这次根据论文内容个人理解的封闭化是指训练结构封闭。论文提出方法主要由两部分组成：风格步骤和平滑步骤（smoothing step），如图：

F1是风格化步骤，F2是平滑步骤。总的公式为：，可知顺滑步骤是根据其内容图结构来计算的。

风格化阶段：
该论文方法借鉴了Universal Style Transfer via Feature Transform中的WCT（Whitening Cloring tranfroms）,是常用于艺术风格化的方法，该方法借助奇异值分解跟Gatyts的Gram提取风格进行风格转换，但是用到真实图片风格化就会出现边界不一致。于是作者进行了改进，提出了PhotoWCT，网络与WCT网络类似如图：在WCT中用Unpooling代替Upsampling，并添加了MaxPooling mask来提取特征提取时造成的细节损失。因为最大池化减小了特征图的信息空间，仅仅在编码器上采样很难重构输入图片的结构。

顺滑阶段实现两个目标：
1）具有相似风格的像素在一个局部邻接区域内被风格相似化。
2）为了保持全局风格化，输出结果不应明显偏离PhotoWCT结果。
步骤
首先将所有像素表示为结点，然后定义一个相似矩阵。
顺滑步骤公式灵感来自graph-based ranking algorithms 。
在平滑步骤使用了MattingAff ：两个像素的相似是基于像素在局部窗口的均值和方差。实验证明MattAff可以同时顺滑多个区域；结果如下图：当只用了PhotoWCT方法的时候，会出现内容图边界不清晰，但是高斯Affinity（用于计算像素之间的两两相似度）由于超参数不好控制，所以并不能平滑所有区域，造成一部分正常，一部分扭曲。作者发现用MattingAff可以实现全局平滑。

但是在平滑步骤中用的一些公式还是不明白。
缺点：
如下图所示，在壶上的效果并不好，其他文章的算法和本文的逼真风格化方法都无法将花朵图案转移到壶上。可能是对内容图的主要结构（全局特征）关注度不够。

但是借助19年论文：Style Transfer by Relaxed Optimal Transport and Self-Similarity，这个壶应该可以被风格化，这篇论文在计算内容损失时用了余弦相似方法，可以很好的保留内容图的结构。在显著性区域（Salient Regions）监测的CAM，借助全局平均池化层也可以关注内容图的结构。