《A Neural Algorithm of Artistic Style》理解

在美术中，特别是绘画，人类掌握了通过在图像的内容和风格间建立复杂的相互作用从而创造独特的视觉体验的技巧。到目前为止，这个过程的算法基础是未知的，也没有现存的人工系统拥有这样的能力。然而在视觉感知的其他重要方向，如目标和人脸识别，一种受生物启发的深层神经网络最近展示了接近人类的表现。本文介绍了一种基于深层神经网络的人工神经网络系统，能够产生高感知质量的图片。该系统利用神经表示来分离和重组任意图像的内容和风格，为艺术图片创作提出了一种神经算法。不仅如此，在性能优良的人工神经网络和生物视觉的相似性之间，我们的工作提供了一条人类如何创造和感知艺术图像的算法理解之路。

深层神经网络中最善于处理图片任务的是卷积神经网络。卷积神经网络包含多个小计算单元，以前馈方式分层次地处理视觉信息。如下图1所示。每一层的单元可以认为是图片过滤器的集合，每一个都会从输入图片中提取一个特定的特征。因此输出层也被称为特征映射：对输入图片不同的过滤版本。

当卷积神经网络用于物体识别的训练时，它们学习到的图片表达随着处理层次信息变得越来越清晰。因此，随着网络的处理层次，输入图片转换成的表达越来越关注实际的图片内容而不是具体像素值。我们可以通过仅仅从特征映射中重建图片直接可视化每层包含的输入图片的信息（如图1，可以了解下如何重建图片的方法细节）。网络中的高层捕获物体中的高层次信息，它们的排列在输入图片中，但是重建不限于精确的像素值。相反，从低层次重建只是简单地从原图复制精确像素值。因此我们也称网络中的高层特征响应为内容表达。

image

为了获得输入图片的风格表达，我们使用最初设计的特征空间来捕获纹理信息。这个特征空间建立在网络中每一层的滤波器响应之上。它由不同过滤器响应在特征映射空间范围的相关性组成。通过包含多个层的特征相关性，我们获得了对于输入图片固定的，多尺寸的表达，它捕获了纹理信息而不是全局排列。

我们能够通过建立与给定输入图片风格表达相匹配的图片来可视化这些建立在网络中不同层的风格特征空间捕获到的信息。实际上从风格特征中重建出了输入图片的纹理版本，它捕获了色彩和局部结构的综合表现。不仅如此，来自输入图像的局部图像结构的大小和复杂度也随着层次增加，这个是因为感受野的尺寸和特征复杂度在增加。我们称这种多尺寸的表达为风格表达。

这篇论文的主要发现是卷积神经网络的内容和风格是可以分割的。我们可以独立操纵表达来产生一个新的，感知上有意义的图片。为了演示这个发现，我们从两个不同的源图片生成了混合内容和风格表达的图片。如下图2所示，我们将描述“Neckarfront”的内容表达与一些不同时期有名的艺术作品相匹配。

image

这些图片通过寻找同时匹配照片内容表达与艺术作品风格表达的图片进行合成。虽然原始图片的全局排列被保存，但是构成全局的颜色和局部结构由艺术作品提供。实际上，这使图片呈现出艺术风格，虽然内容是相同的，但是合成图片看起来像艺术图片。

如以上总结的，风格表达是个多尺寸的表达，包含神经网络的多个层。如上图2所示，风格表达包含来自全部网络层次的层。也可以仅仅包含少量的较低层定义一个更加局部的风格，这会带来不同的视觉体验，如下图3所示。当匹配网络中更高层的风格表达时，局部图片结构与更大的尺寸匹配，这会带来更细致连续的视觉感受。事实上，视觉上更吸引人的图片通常是与网络中最高层的风格表达匹配得来的。

当然，图片内容与风格不能完全分离。当结合不同图片的内容和风格合成新图片时，往往不存在一个图片完全同时匹配两种约束。然而，我们在图片合成时最小化的loss函数分别包含内容和风格两方面，它们很好地分隔开。我们因此可以顺利地调整重点，是选择注重重建内容还是风格。当过分强调风格时会导致图片与艺术作品的外貌相匹配，而看不清任何照片内容（下图3第1列）。当过分强调内容时，我们能够很清楚辨认图片，但是绘画风格又没有很好匹配（图3最后一列）。对于一个特定原图片对，我们可以调整比例来产生视觉上有吸引力的图片。

这里我们提出了一个人工神经网络实现了图片内容和风格的分离，因此允许使用任何另一张图片的风格来重铸图片内容。我们通过创建新的艺术图片来展示这点，它结合了一些有名的绘画风格与任意选择的图片内容。特别的，我们从用于目标识别的深层神经网络的特征响应中推导出了图片内容和风格的神经表达。据我们所知，这是第一次在整体的自然图片中展示图片内容与风格特征的分离。

image

image

未完待续。。。