论文总结 - Image Style Transfer Using Convolutional Neural Networks

读论文学算法

Image Style Transfer Using Convolutional Neural Networks

论文作者：Leon A.Gates, Alexander S.Ecker, Matthias Bethge

1 综述

现阶段存在的问题：目标图像被提取的content feature为低等级特征。

论文目标：提取资源图像的风格特征以及目标图像的高级特征进行渲染。

解决手段：新算法 - A Neural Algorithm of Artistic Style, 利用深层卷积神经网络系统（DCNN）进行风格以及内容提取。

2 实现细节

2.1. 深度图像表示

利用VGG-19网络提取图像特征，且网络进行了调整。

a. Network Normalization by scaling the weights.

b. 未使用全连接层.

c. max pooling 被替换为 average pooling.

2.2 目标图像内容提取

a. 随机产生一张噪声图。

b. 定义误差方程。此误差方程描述的是目标图像在特定卷积层产生的特征与随机噪声图在此卷积层的特征的距离。

c. 优化目标误差方程。此过程中，最终优化的对象为初始的随机噪声图的像素值，最终目标为使用噪声图能够在特定卷积层产生与目标图像一样的特征。

d. 对于内容特征，选取的目标卷积层为高级卷积层。如下图可见，高级卷积层的特征为全局特征，忽略了许多像素特征，因此适合用于图像内容的提取。参见下图房屋图像。

2.3 资源图像风格提取

a. 随机产生噪声图。

b. 定义误差方程。wl为每个卷积层的误差权重。

where 

c. 因为风格像素的提取是基于几个卷积层，因此需要考虑各个卷积层之间的correlation. 注意：Aij也应当为考虑了correlation的风格特征。

d. 利用反向传播优化误差方程。

2.4 风格转移

基于上文所述的内容和风格提取方法，我们可定义全局误差方程。

a. α 以及 β 为内容和风格权重.

b. 最终所优化的值为噪声图像素值。

c. 风格图像用于被缩放为内容图像大小。

d. 使用了L-BFGS无约束优化算法进行优化迭代。

下图描述了整体的计算方法。

 

3 结果讨论

a. 本论文中使用的content layer 为 ‘conv4 2’。style layer 为‘conv1 1’, ‘conv2 1’, ‘conv3 1’, ‘conv4 1’ and ‘conv5 1’。且使用的误差权重均为1/5。 

b. α 以及 β 为内容和风格权重。 α越大，则产生的图像更加写实， β越大，则更加写意。参加下图。

c. 选取从低到高多层卷积核提取风格特征的目是为使产生的图像能够更加的平滑。

d. 选取高层卷积核进行内容提取是高层卷积核产生的为全局特征，忽略了低级特征（如边缘等，参见下图）。更利于风格的融合。

4. 待解决问题

a. 图像渲染时间过久（ 参见 "Perceptual Losses for Real-Time Style Transfer and Super-Resolution"）

b. 进行照片合成的时候，风格特征提取不尽满意，噪点太多（参见“Deep Photo Style Transfer"）