机器学习：无监督学习之deep generative model

无监督学习

费曼的思想：what i can not create, i do not understand

不知道怎么产生的话，是不能完全理解的。

Create - Image Processing

Generative Models

PixelRNN

输入一个3x3的像素块，输出3x3的像素块。再把所有的加入继续送入网络输出，注意这里每次输出都是3x3的，最终得到9个图像块组合得到一个一张生成的大图。
这种模型训练也非常简单，从大图切分为小图即可，不需要任何标注。

把下半身遮掉，让机器自动填充下半身


声音领域也可以使用这种思想，合成出一段声音。

实践项目-生成宝可梦

像素大小40x40 或者20x20，下面有一些实践经验：

不用rgb来表示，这样生成的图像偏灰色，而是使用一维向量表示每个像素点，但是像素范围比较多，256256256， 为了降低复杂度，对相近颜色进行聚类。


生成的图像无法衡量评估

Variational AutoEncoder

通过图片训练一个编码器和解码器。然后只用decoder， 对输入进行编码。
但上述效果一般不好，改成VAE效果会好一些。

loss有两项，第一项是重构错误要小，第二项是中间层的三个变量关系也要小。
生成结果

图像生成

固定8个dim，而从中随机改变两个dim，这样能观察每个dim对生成效果的影响，所以每个dim当作一个控制调整变量，可以调整生成效果。

write poetry

也可以让机器写诗，空间稍微变一下，输出也不一样