从零单排让神经网络找到你的style

1. 前言

这段时间城里的小伙伴们都在玩Prisma这个软件，除了在App store大红大紫的ios版本，前两天官方也推出了安卓版了，没有玩过的小伙伴可以试玩一下。

这个 App 的卖点在于：Prisma 能够将普通的照片转换成艺术感爆棚的画作。经过处理的后的照片仿佛是以梵高毕加索等人的笔触“重新”画了一遍。先放两张在Instagram的热门图：

hot pic in instagram

从图片的效果看，Prisma的实现很可能是基于Neural art算法的改进版Perceptual Loss（也有讨论说是基于Texture net），感兴趣的朋友可以阅读。Neural art算法第一次是在论文A Neural Algorithm of Artistic Style中提出。本文默认朋友们了解Convolutional Neural Networks，需要温习的朋友可以看这篇。这篇文章是我对学习Neural art算法做的总结。由于计算的复杂性较高，合理猜想Prisma是在服务器端使用了基于卷积神经网络pretrain的模型。

2. Neural art算法

i. 图像作品的构成

在计算机看来，图片只是像素点的集合，但作为人类而言，一个作品应该分为两个组成部分：内容和风格。艺术家在绘画时，首先看到的实在的物体（内容），然后在脑海中加工后使用更加夸张的色彩和纹理进行二次创作（风格），得到最后的作品。一个很自然的联想，如果我们可以提取出一幅名作的风格，再从我们自己的照片中提取出内容，那么就可以融合成一幅新的作品。

ii. VGGNet

VGGNet是一个非常常用的CNN model。在ILSVRC2012分类任务上，VGGNet模型将top-5的错误率降到了7.3%。VGGNet有不同版本，paper中使用的VGG19包括16层卷积，5层max-pooling，3层全连接。即下文提取内容和风格使用的模型。实际编码中只选部分层作为模型。

iii. 内容提取

我们使用经过了Pre-trained之后的VGG network model的图像数据，用来做object recognition，也就是提取出内容， 用来生成图像的Content Representations。提取图像特征其实是卷积神经网络的拿手好戏，举个栗子：

cnn extract image feature

顺便一提，用随机初始化的filter的效果就和一个edge detector一样识别出物体的轮廓。内容提取的方法如下：通过梯度下降（Gradient Descent）我们把一张白噪声图片生成一个内容接近用户上传的图片。我们定义p向量和x向量分别表示原始图片和生成图片，F^l和P^l对应它们在第l层的数据表示，定义squared-error loss为两种特征表示的error，通过最小化error将内容特征提取出来：

表示内容的差距

iv. 风格提取

对一幅画的“风格”也许画家本人也很难总结，Neural art的核心价值就在于提出了pattern化风格的方法。论文中作者并未给出理由，但从公式中可以反映出作者把风格表示为特征层之间的关系（或者说是同一层不同filter的互相关），把这个关系定义为Gram matrix（Gij^l），下图表示本人对Gij^l的定义和计算方式的理解：

Gij^l的定义

在定义了风格的基础上，提取的过程和内容提取就大同小异了。定义a向量和x向量为原始图和生成图，A^l和G^l对应它们在第l层的数据表示，N，M分别是第l层feature map的个数和feature map的大小，总style loss为每一层的加权和（w是权重）：

表示风格的差距

v. Total Loss

定义Total Loss为content loss和style loss的线性组合，α，β分别代表各自的权重（α/β的比例反映更注重content还是更强调style）。

total loss

在实际编码的过程中，由于content和loss的提取都使用的是白噪声图片，还会加入降噪的loss。

3. 进阶

i. Loss代码

主流的深度学习框架几乎都有对Neural art的实现，包括Mxnet，TensorFlow，Caffe，Keras等。选择Keras的实现进行一些解读。上文说过，实际编码要加入降噪的loss，所谓降噪，就是通过保证局部的一致性让图片看上去更和谐。

权值分配

每部分loss的计算

ii. Video

目前算法在图像上的实现效果很好。据说Prisma即将推出移植在视频的尝试。如果只是简单的把视频的每一帧作为独立的图像批处理，视频结果会非常不和谐，因为可能后一帧和前一帧的结果有较大差距。一个可行的解决方案是：对每一帧不是按照白噪声从头开始训练，而是用先前帧的输出初始化，这样与有助于保持视觉的连续性，同时还可以加快渲染时间。

iii. 改进版

有多个在neural art算法基础上改进的其他算法：

Texture net    http://arxiv.org/abs/1603.03417

Real-Time Texture Synthesis    http://arxiv.org/abs/1604.04382 

Perceptual loss    https://arxiv.org/abs/1603.08155

4. 微小的工作

谢谢大家！