深度卷积对抗神经网络 基础 第四部分 可控制的GANs(Controllable GANs）

不同的生成模型定义

深度卷积对抗神经网络包含两种不同的生成模型， 条件生成模型 和非条件生成模型。非条件生成模型就像是一个彩票机或者赌博机，你输入一个任意数字的硬币数量，而输出则是随机的彩球。这样的系统，我们不能控制输出的结果的具体类别。而条件生成模型便可以类比为一个自动售卖机，你投入任意数字的硬币，那么就会有对应价格的商品被生成出来。

非条件的生成模型

非条件生成模型 (Unconditional generation) 通过任意输入噪声，能够生成随机的假图形。

可控制的生成模型

目的： 可以通过某种方式Control GANs in some ways to manipulate the feature output instead of input classes

Controllable generation 可控制的生成器	Conditional generation 条件的生成器
output with features that you want 输出的图片的特性可以自己决定	output form the classes you want 输出的图片只能决定类别
training dataset doesn't need to be labeled 输出的训练集需要被标记	training dataset needs to be labeled 输出的训练集需要被标记
manipulate the z vector input 通过操作z空间的向量空间来控制	append a class vector to the input 将一个类别向量加到噪音向量中

条件的生成模型

条件生成模型 (Conditional generation) 通过特殊定义的输入噪声，能够得到对应的输出类的随机假图形。

• 其需要标记的数据集来作为训练数据。 requires labeled datasets for training

• 而带来的好处就是其能生成对应类别的图片。can produce example for the selected class

使用方式

• 通过使用单热点向量来指定生成的图片类图片。Generator: Use one hot vector

• 而在判别器中使用单热点通道判别器。 Discriminator :Use one hot channel layer matrices

模型架构

所遇到的挑战 Challenges

• 图像的特性包含着非常多的相似性。 Features correlation: correlated feature are commons

• Z空间是纠缠着的，并不会对应每一个特性都有相应的空间维度。Z-Space Entanglement(纠缠的): Doesn't have enough dimension to control all output features

Z向量空间的代数操作 Vector algebra in the Z-Space

在Z空间上进行寻找，直到找到对应的feature在噪声空间上的对应方向和位置。

在noise space上找方向，direction。通过在z-space上移动来生成拥有对应的feature的output。

分类器梯度 Classifier gradient

这种类型的模型需要一个预先训练好的特性分类器来给生成器做参考。Need a pre-trained classifier to classify the features and give these feedback to the generator.

解决纠缠问题 Disentanglement

通过将z 空间向量映射到潜在空间的方式去解决纠缠问题。 如果一个随机生成的噪声向量各个空间之间是纠缠的话，那么就通过搭建多层的神经网络，将向量映射到潜在的空间去解耦，这样我们就得到了解纠缠后的Z空间。Latent factors of variation : z -space factor to control the features

通过 supervised way 和unsupervised way去解决特征空间的纠缠问题

reg_d可以通过classifier gradient 或者其他更先进的算法去解决这些问题，这就是经典的分类器所给出的特性的反馈

• 解纠缠的Z空间可以让你控制单一的特性而不仅仅是图片的类别。 Disentangled Z-spaces let you control individual features by corresponding z values directly to them

• 存在很多的监督或者非监督的学习方式可以解决纠缠问题。There are supervised and unsupervised methods to achieve disentanglement