[机器学习入门] 李宏毅机器学习笔记-18 （Deep Generative Model-part 1：深度生成模型-part 1）

[机器学习入门] 李宏毅机器学习笔记-18 （Deep Generative Model-part 1：深度生成模型-part 1）

PDF	VIDEO

Creation

据说在费曼死后，人们在他生前的黑板上拍到如图画片，在左上角有道：What i cannot create ,I do not understand.
Generative models,就是在做创造的事情。

Image Processing

---

Generative Models

这是目前的主要方法。

PixelRNN

每次生成一个像素，用这样的方法，没有任何注释可以训练就有一大堆图像，效果还不错哦。

More than images ……
Audio: Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol
Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, Koray Kavukcuoglu,
WaveNet: A Generative Model for Raw Audio, arXiv preprint, 2016

Video: Nal Kalchbrenner, Aaron van den Oord, Karen Simonyan, Ivo
Danihelka, Oriol Vinyals, Alex Graves, Koray Kavukcuoglu, Video Pixel
Networks , arXiv preprint, 2016

Variational Autoencoder (VAE)

回忆Auto-encoder方法，如果随机生成一个向量code输出一张图片就是在create了，但是发现这样做的performance并不很好，而Variational Autoencoder会好很多。

结构与Auto-encoder很像

需要minimize两处。
VAE，能通过code来控制产生的结果。
比如我们固定住8维，改变其中的两维向量，看他们生成的图像变化趋势，从而得到当前维度控制结果产生的规律。

效果：
如下图，右上角站立，左下角平躺。

让VAE write poetry：

（下接part 2）