(二)快速图像风格转换

快速图像风格迁移是在"原始"图像风格迁移基础上的一种"高效"转换方案.
[github传送门]https://github.com/hzy46/fast-neural-style-tensorflow
系列文章
(一)图像风格迁移
(三)快速图像风格转换代码解析
(四)快速图像风格迁移训练模型载入及处理图像

1 "快速"风格转换原理

"快速"图像风格转换,先使用VGGNet训练图像风格网络,获取风格网络模型,然后在VGGNet网络中使用梯度下降法计算图像风格,内容及融合的损失,生成效果图,取代了"原始"图像风格转换直接从原始图像提取内容,风格及融合的过程,提高了图像转换速度,CPU转换1分钟内,GPU转换30s内即可完成.

2 分析

网络结构:

图2.0 "快速"图像风格转换

图2.0展示表示"快速"图像风格抓换架构,该网络由两部分构成,即图像转换网络$f_W$(Images Transform Net),损失计算网络$\varphi$(Loss Network).其中,
图像转换网络将输入的图像$x$通过映射$\hat{y}=f_w(x)$输出图片$\hat{y}$;
损失网络用于定义损失方程$l_1,\cdots ,l_k$,每个损失方程计算一个标量$l_i(\hat{y},y_i)$预测输出$\hat{y}$与目标输出$y_i$的差值.损失网络$\varphi$定义$l_{feat}^{\varphi }$表示内容损失,$l_{style}^{\varphi }$表示风格损失,$y_c$表示图像内容输出,$y_s$表示图形风格输出.

序号	参数	描述
1	$x$	输入图像
2	$\hat{y}$	输出图像
3	$y_c$	图像内容
4	$y_s$	图形风格
5	$l_{feat}^{\varphi }$	内容损失
6	$l_{style}^{\varphi }$	风格损失

训练过程:
(1) 训练图形风格网络,分别提取VGGNet的relu1_2,relu2_2,relu3_3和relu4_4风格特征,根据测试结果,如图2.1所示,选择relu3_3作为风格输出.

图2.1 风格测试

(2) 计算图像内容损失,根据测试结果,图2.2所示,选择relu3_3作为内容结果.

图2.2 内容测试

(3) 最终的输出图像是根据输入的内容图像$x$,输出内容$y_c$满足$y_c=x$,输出风格$y_s$(即调用预训练风格网络模型)进行优化训练得出.

3 结果

"快速"转换结果:

图3.1 转换结果

4 结论

• "快速"风格转换,在保证质量的情况下,提高了转换效率;
• 该转换模型,需预先训练图像风格模型,执行转换内容转换时直接调用风格模型即可,这也是提高转换速度的关键;
• 使用预训练模型,是提高处理速度的关键;

---

[参考文献]
[1]Very Deep Convolutional Networks for Large-Scale Image Recognition
[2]Perceptual Losses for Real-Time Style Transfer
and Super-Resolution

---