[机器学习入门] 李宏毅机器学习笔记-19 （Deep Generative Model-part 2：深度生成模型-part 2）

[机器学习入门] 李宏毅机器学习笔记-19 （Deep Generative Model-part 2：深度生成模型-part 2）

PDF	VIDEO

---

Why VAE?

用VAE，从code space上去sample一个code，能得到一个比较好的image，而auto encoder可能得不到。

将code加上了noise，而variance决定了noise的大小，variance是train出来的。variance要做一些限制，否则就会是0，所以就要用Minimize。

以上是直观的解释，那么回到我们要解决的问题，即Estimate the probability distribution

那么怎么来Estimate the probability distribution呢？可以用Gaussion Mixtrue Model
怎样从Gaussian Mixture Model 里sample一个data呢？
首先有一个multinomial distribution，先决定sample 其中的哪一个gaussian，用m表示。有了m，就可以找到μ和Σ，然后可以sample出一个x。

Each x you generate is from a mixture
Distributed representation is better than cluster.
也就是说每一个x并不属于某一个class或cluster，而是它有一个vector来描述他所描述的不同对象的特性，所以，VAE其实就是Gaussian Mixture Model的distribute representation的版本。
先sample一个 z ，假设μ 和 σ都分别来自函数μ(z) 和 σ(z)，在z的space里，每一个点都有可能被sample到，只是可能性有大小m，z上的每一个点都可能被sample到并对应着无穷多个gaussian，那么function该怎么找呢？那么可以说NN就是function，训练出这个NN就ok啦。

对gaussian的假设是很随意的，因为NN都能被训练适应。

现在手上已经有了一批image x，maximize已有image的L。

上面的NN其实就是decoder，下面的是encoder。

那么那么logP(x)怎么求呢？

思想就是，likelihood = KL+Lb，logP(x)只与log(x|z)有关，无论q怎么调，图中的上线是不会变的。这时假如固定住p，调q是会使Lb一直上升，最后likelihood会和Lb非常接近，而再继续下去likelihood也会随之变大。

下面要做的

conditional VAE

Problem of VAE