阅读笔记：CAN: Creative Adversarial Networks Generating “Art”

来了，来了……将近一周没有更新blog，无奈于真的太忙了。所幸今晚没有要紧的事，恰好有很想读的paper，就开始读一读吧。
源于：声称对抗性网络，搞出一个有创造力的计算机，论文来源于之前写过的创意游戏的衍生品，搜索到了这篇觉得很好的并且已经实现了的论文，本文主要瞄准于画作的生成。

Abstract

通过学习艺术品的风格生成艺术作品，采用Generative Adversarial Network (GAN) 。评判方式是人类难以分辨出系统创造出的艺术品与人类创作出的区别。

I.Introduction

Previous work

A. 迭代过程(Evolutionary Process):一个遗传算法框架（这里需要去学习一下什么是遗传算法），通过产生候选，使用fitness函数评估，为提高fitness值用于下一次迭代同时进行修改。以上方式不断迭代，然后生成结果……（说实话我没有搞懂，可能得去学一下遗传算法。。）
很多算法的中心问题是如何得到一个fitness函数，为此引入了人类来驱动这一过程，人类进行观察得到反馈。由此认识到感知和认知在其中的重要性。
B. ColinMartindale提出了基于心理学的关于创造性的一个想法。那就是打破常规，不依据习惯风格,碰巧发生会增加激发创造力的潜能，他在理论上介绍了艺术方面创造力的过程。本文是受到他的启发，发现Martindale的思想在技术上是可行的。

The goal of this paper

本文的目标是艺术家不参与，由计算机单独完成艺术品的创作，但还是会利用艺术家之前的作品。然而有一个问题是，艺术家的作品是由关于作品方面的知识和人生经历构成的。因此需要建模出这样一个理论：如何将艺术品的内容与个人经历经验整合起来。

The work of the paper

本文提出了生成对抗性网络，用于解决在给定训练分布上来创造出新颖的艺术作品，然而一般情况下还是难以突破原始作品所形成的围墙。因此在这里依据Martindale的理论，设计出最大化与已建立风格的偏差，最小化与艺术分布的偏差的作品。在这里可以理解为突破重围又坚持底线。

II. Methodology

1.Background

提出的方法受到了Berlyne的影响。

• Berlyne的主张：激发的心理学概念与学习美学现象有很强的相关性。“激发的等级”表示一个人的兴奋程度。从高到低为激动、暴力、烦躁的状态到睡眠、放松的状态。外部刺激模式导致激发的产生，另外除了常见的心理学和生态学的刺激模式的特性以外，Berlyne强调了美学方面最重要的激发特性是新颖性（与之前观察者看到的或者体验到的刺激不同）、惊喜（缺乏新颖）、复杂性（在一个刺激生长中随着独立元素的数目增加）、不确定性（语义和句法信息的矛盾性）和困惑性（属于不确定性，由于多样、潜在的不一致性和意义造成），他讲这些词统一命名为委任变量。
• 太多或太少的刺激都具有消极意义，这种行为与快乐论相联系，Berlyne同样认为应该适度刺激，艺术中最重要的是习惯，回应刺激的重复次数减少唤醒。
• Martindale的看法：艺术作品的产生是因为潜能的激发，因此设计的系统应该增加潜能的激发次数，但要适度，秉着“最小努力”的原则。
• Wundt的看法：激发次数增加值维持在最低值为了抵消习惯而不调入消极快乐论的范畴，适度刺激。
  因此，在艺术方面要有渐变的脚步。

2.Art Generating Agent

提出了一个 艺术生产代理的模型，主要是在一定激发程度的情况下利用原有的作品，增加风格不确定性、与标准风格作品的偏差，同时避免与可接受的作品相去甚远，探索创作空间产生新作品，再讲新作品加入到艺术生产代理的记忆编码中。
提出的网络在生产艺术品时有两种模糊性：通过设计和固有属性。
固有属性：计算机产生的艺术作品因为没有明确的图片和可解释的主体，因此设计出的作品会模糊不清或者荒诞（激发太多，消极性的快乐），这时人类站出来说这是机器生成的作品，因此提出应该让计算机具备感知力。在20世纪，人们不会把机器与人类创作的作品混为一谈。
设计时风格不确定性：真正的艺术家会遵循一定规则在一个结构化的领域创作，最终打破它。
Creative Adversarial Network(CAN)：艺术生产代理通过CAN实现，不遵循已建立的艺术轨迹或风格，但会最大程度的混淆视听让人觉得这个风格就是这个艺术家的。

3.GAN:Emulative and not Creative

GAN中包含生成器和判别器（判别“真实”图片与“骗人”图片的区别），另外判别器不告诉Machine生成的图片与真实图片的差距。
根据Berlyne和Martindals，艺术家应该增加激发潜能，通过创造新颖、惊奇、不确定性或困惑的艺术品。这是在生成创新工作时使用GAN的基础限制。

4.From being Emulative to being creative

Generator接收两个信号（包含两个矛盾点实现三点）：

• 产生新颖作品
• 新颖不要太过新颖
• 生成的作品增加风格的不确定性

Generator会收到判别器的两个信号：

• art or not art: 使生成器改变权重生成图片达到欺骗判别器的目的，满足相同分布。
• 分类器怎样更好地将生成器生成的作品与已建立的作品无二样。
  Art->(风格分类)->迷惑判别器生成关于作品的、模糊不清的风格

Generator的目的：##探索创造空间，接近艺术分布（最大化第一对象），在适应标准艺术风格范围内最大化艺术品的不确定性。

III. Technical Details

1. Generative Adversarial Networks

目标方程

2. Creative Adversarial Networks

Generator 与discriminator

3. Evaluation standard

Loss Function

这一部分也是最关键的部分我看得很模糊，不是很理解。

IV. Results and Validation

这一块很有意思，首先作者选出了一些很有代表性的测试训练集，然后从定性的角度对艺术家与计算机创作的画进行了分析，更重要的是定量的使用了对人提问的方式以判定生成的画作是否具有价值。这里进行了三个实验：
a. 测试系统产生艺术的能力,人类是否能与其创作的和艺术家创作的区分开来。
b. 在询问所显示的图像是否由人类艺术家或计算机生成之前首先询问受试者一系列问题，比如喜欢、新颖、惊喜、简单程度……
c. 判断CAN生成的图像是否可以被视为艺术品。
d. 评估将风格模糊度损失添加到CAN模型中的效果。
具体的实验结果我没有看。

V. Discussion and Conclusion

Conclusion

---

这样一篇论文就这样草草完事了，从第三节开始就开始很乱了。之后的一段时间除了老师让看的论文以外不想花功夫在看论文上面了，还是站稳脚跟，从打基础开始吧。