概率图模型+贝叶斯模型+VAE和GAN的部分理论（理解、解释）

PGM优雅的理论。机器学习的一个核心任务是从观测到的数据中挖掘隐含的知识，而概率图模型是实现这一任务的一种很elegant，principled的手段。

PGM巧妙地结合了图论和概率论。从图论的角度，PGM是一个图，包含结点与边。结点可以分为两类：隐含结点和观测结点。边可以是有向的或者是无向的。

从概率论的角度，PGM是一个概率分布，图中的结点对应于随机变量，边对应于随机变量的dependency或者correlation关系。

给定一个实际问题，我们通常会观测到一些数据，并且希望能够挖掘出隐含在数据中的知识。

怎么用PGM实现呢？我们构建一个图，用观测结点表示观测到的数据，用隐含结点表示潜在的知识，用边来描述知识与数据的相互关系，最后获得一个概率分布。

给定概率分布之后，通过进行两个任务：inference (给定观测结点，推断隐含结点的后验分布）和learning(学习这个概率分布的参数），来获取知识。

PGM的强大之处在于，不管数据和知识多复杂，我们的处理手段是一样的：建一个图，定义一个概率分布，进行inference和learning。

这对于描述复杂的实际问题，构建大型的人工智能系统来说，是非常重要的。

——作者：谢澎涛
——链接：https://www.zhihu.com/question/23255632/answer/56330768
——来源：知乎

因为我发现基础很重要，就开始补基础了，这个帖子整理的很乱，也比较没有时间看了...

用变分推断统一理解生成模型（VAE、GAN、AAE、ALI）

再谈变分自编码器VAE：从贝叶斯观点出发

变分自编码器VAE：原来是这么一回事 | 附开源代码

VAE、GAN和流模型的区别和联系：对生成模型家族的分析

首先，三者都是生成模型，就是说从训练数据来建模真实的数据分布，然后反过来再用学到的这个模型和分布去生成、建模新的数据。

Bayesian Neural Networks：贝叶斯神经网络

结合了现有的几个知乎博客和自己的理解 + 阅读i相关应用类论文

说实话，大家写的都太散了= =，很不方便理解亚

花式解释AutoEncoder与VAE 

使用自动编码器我们就能够通过输出图片的编码过程得到这种类型图片的编码之后的分布，相当于我们是知道每种图片对应的噪声分布，我们就能够通过选择特定的噪声来生成我们想要生成的图片。

VAE 和 AE 的区别：回忆一下我们在自动编码器中所做的事，我们需要输入一张图片，然后将一张图片编码之后得到一个隐含向量，这比我们随机取一个随机噪声更好，因为这包含着原图片的信息，然后我们隐含向量解码得到与原图片对应的照片。

但是这样我们其实并不能任意生成图片，因为我们没有办法自己去构造隐藏向量，我们需要通过一张图片输入编码我们才知道得到的隐含向量是什么，这时我们就可以通过变分自动编码器来解决这个问题。

尽管VAE 整体结构与自编码器AE 结构类似，但VAE 的作用原理和AE 的作用原理完全不同，VAE 的“编码器”和“解码器” 的输出都是受参数约束变量的概率密度分布，而不是某种特定的编码。

隐含向量：这时不再是每次产生一个隐含向量，而是生成两个向量，一个表示均值，一个表示标准差，然后通过这两个统计量来合成隐含向量，这也非常简单，用一个标准正态分布先乘上标准差再加上均值就行了，这里我们默认编码之后的隐含向量是服从一个正态分布的。这个时候我们是想让均值尽可能接近0，标准差尽可能接近1。

loss：需要在模型的准确率上与隐含向量服从标准正态分布之间做一个权衡，所谓模型的准确率就是指解码器生成的图片与原图片的相似程度。我们可以让网络自己来做这个决定，非常简单，我们只需要将这两者都做一个loss，然后在将他们求和作为总的loss，这样网络就能够自己选择如何才能够使得这个总的loss下降。另外我们要衡量两种分布的相似程度，如何看过之前一片GAN的数学推导，你就知道会有一个东西叫KL divergence来衡量两种分布的相似程度

一文理解变分自编码器（VAE）

在上一节中，我们已经介绍过变分自动编码器学习的是隐变量（特征）Z的概率分布

通俗理解变分自编码器VAE(variational auto-encoder)

VAE是一种生成式模型，假设我们现在有一个数据集X，生成模型希望产生和这个数据集相同分布的数据。 这篇讲的应该是最细的了。

 

AE、VAE、CVAE解读 简单总结看这篇