Generative Model(VAE1)

Unspervised learning主要任务目标是发掘数据潜在有价值的结构,主要分为clustering,dimentionality reduction,feature learning, density estimation
Generative Model主要任务是给定一个数据集P(data),通过模型P(model)学习样本的分布,可以通过模型生成近似原样本分布的数据。主要属于density estimation范畴。
作用主要:

  • 根据需求近似生成真实数据,想象空间非常大,这是一个富裕想象力与创造性的,比如生成马赛克,美颜,生成画作等,当然能生成的也是可以去掉的。
  • 生成时间序列数据,可以用于强化学习
  • 也可以用于feature learning等
Generative Model(VAE1)_第1张图片
Generative Model

按方法分类generative model,主要分为explicity and implicity density,这次主要介绍explicity的方法。
从定义上来说,explicity density就是我直接通过定义P(model),然后通过来最大化data likelihood求解P(model)。implicity density就是不直接定义P(model),但是模型可以sample出data。
然后根据定义的density确定的likelihood是否能直接给出求解方法,如果可以那就直接解呗,说明你定义了一个tractable density。
比如Fully visible belief nets的PixelRNN & CNN,按照每个像素定义每一张图的likelihood,用链式法则分解likelihood为给定先前的pixels当前pixel的条件概率乘积

Generative Model(VAE1)_第2张图片
Full visible belief network

看图中条件概率是很复杂,自然就可以想到用神经网络去做transformation,神经网络是很好的复杂函数的拟合器。重点是如果做这个conditional prob呢?

  • generate image pixels starting from corner
  • dependency on previous pixels modeled using an RNN(LSTM)
    RNN很轻松就可以做成依赖关系,毕竟sequential model.
    PixelRNN效果很好,但是缺点是比较慢,毕竟pixel by pixel sequential generation。
    那么就出现了PixelCNN,和PixelRNN很像,只是用了CNN来做dependency on previous pixels,根据已经产生的局部块图(content region)来生成pixel。
    Generative Model(VAE1)_第3张图片
    PixelCNN

PixelCNN训练过程较快,但是生成图片一样的是sequential generation比较慢。
不得不说大神不论在算法还是应用都是很厉害的!这里只简单介绍,其实这个有很多精彩的地方!毕竟这里主要介绍VAE。

VAE

这里我决定给像我这样的小白讲讲variational autoencoder
先讲一下variational inference,为什么会有这个东西,预备知识如下

  • information theory
    information,entropy,differential entropy
  • KL Divergence
    KL Divergence和lnp(x)关系
  • Graphical Model
  • Variational Inf
  1. information(I)是来衡量一个随机事件的信息量I = -logP(x),定义上直观理解,一个事件x发生的概率越大,其信息量越小,比如你本来就知道太阳明天会升起,那么我告诉你这个事件,其实并没有带来任何信息
  2. entropy/avg information
    根据概率平均information,代表随机变量的平均信息量H = sum(P(x)*-logP(x))
  3. differential entropy
    entropy适用于离散变量,连续变量的entropy叫differential entropy,求和换为积分就ok了
  4. KL Divergence/ Relative Entropy
    它是通过entropy来衡量2个分布的距离KL(p||q)代表根据p概率来衡量q和p的entropy差距,很自然就写出entropy(q) - entropy(p) = sum(-q(x)log(q(x)) - sum(-p(x)log(p(x)),刚提到是按照p的概率,所以写成 KL(p||q) = sum(-p(x)log(q(x)) - sum(-p(x)log(p(x)),按p的概率求和就ok了,整理写成KL(p||q) = sum(p(x)log[p(x)/q(x)])
    KL Divergence两个性质:1.大于等于零 2. 不是对称的,不具备距离度量公理,但是其实更合理一点,在生活中!
  5. KL Divergence 和 lnP(x)

    举个例子,假设现在有个分布P(x|z),我们不知道这个,所以想用一个分布q(z)来估计它,我们当然也不知q(z)是什么,先来估计吧。那很自然就可以想到用KL Divergence来衡量估计得好坏,KL Divergence刚提到是用来衡量两个分布差异的,越小说明分布差异越小(不得不写公式了)
    Generative Model(VAE1)_第4张图片
    这里得到了lower bound L,那为什么要用lower bound求解呢,那肯定是lower bound好求么。。一般情况下直接求KL是解不出来的,因为有个条件概率,我们比较好得到联合概率,下面具体说说
  6. Graphical Model
    简答介绍一点,告诉你为什么条件概率比较难求,简单画个图吧
    Generative Model(VAE1)_第5张图片
    箭头代表依赖关系,给你这个图可以很容易写出联合概率分布,但是条件概率分母有积分,通常情况下是求不出来。
    那怎么办呢?得到联合概率是否可以得到条件概率呢,不用计算积分呢?
    Problem:不积分通过联合概率来求条件概率
    Yes!不行还说什么,variational inference登场了!variational inference不是唯一的方法解决这个问题,主要还有
  • MCMC:Metropolis hasting、Gibbs sampling
    通过采样估计,更精确,计算时间较长
  • Variational Inference
    deterministic solution,精度较低,计算时间少
  • Laplace Approximation
    deterministic,精度很低,计算很快
    这里重新回顾一下问题,我们想要估计p(z|x), 需要计算p(x),因为p(z|x)=p(x,z)/p(x)
    ,这里p(x)需要通过计算积分,通常是计算不出来的,所以我们想通过一个分布q(z)来近似计算p(z|x)。然后我们利用KL Divergence来使得q(z)逼近p(z|x),最后我们得到了个公式KL[q(z)||p(z|x)]-KL[q(z)||p(z,x)]=logp(x),因为x是给定的,等式右边不变,我们可以改变的只有q(z),目标为让第一项变小,因为计算不了条件概率,最小化KL[q(z)||p(z|x)]等价于最大化-KL[q(z)||p(z,x)],也就是我们的lower bound,这里没有条件概率!

    结论为了找到p(z|x),variational inference通过找一个q(z)来最大化lower bound L
    到此终于说清楚了为什么要用variational inference,以及他是怎么做的!但是,找到这个q(z),仍然是一个难题,variational inference的作者好像也没有很好的路子。。。。
  1. Variational Inference

    作者提出了一个可以简化lower bound的方法,这里不得不写点公式了
    Generative Model(VAE1)_第6张图片
    1
    Generative Model(VAE1)_第7张图片
    2
    Generative Model(VAE1)_第8张图片
    3

    没想到写了这么多,还没开始VAE,那就下次吧,上面的公式只是variational inference的求解过程,其实不重要,因为VAE,有自己的技巧。。。。

你可能感兴趣的:(Generative Model(VAE1))