论文笔记（二） 【Variational Inference with Normalizing Flows】

论文地址：Variztional Inference with Normalizing Flows

本文主要是关于现在特别的火的流模型的原理介绍，具体来说是关于标准化流（Normalizing FLows）的介绍

一、论文记录

1、在摘要中提出在变分推断中选择一个合适的后验分布是十分重要的。在这涉及到两个概念：后验分布（posterior distribution）和变分推断（variational inference），这两个概念已经接触好多次，但还是模模糊糊的，所以在这整理一下。

先验分布（prior distribution）和后验分布（posterior distribution）

   我们通常把一次试验中的结果称为随机变量，随机变量为每一个可能出现结果赋予了一个数值，包含离散型随机变量（抛硬币）和连续性随机变量（时间变化）。

     随机变量取得不同值（各种情况发生）的可能性大小就是概率。概率分布是用来描述随机变量取值的概率规律。

    所以要理解先验分布和后验分布，理解先验和后验概率就可以。会用到的例子就是瓜熟蒂落，因是瓜熟，果是蒂落。

    先验概率：根据以往经验和分析得到的概率，用因果关系来说，就是根据以往的经验得出“因”概率。根据常识、经验得出‘瓜熟’的概率。

    后验概率： 后验是指在经验之后，是需要经验的。所以后验概率需要用到先验概率。具体来说后验概率是指在得到结果之后重新修正得到的概率，后验概率基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。通俗一点就是，已知‘果’得出‘因’的概率。已知‘蒂落’，推测出‘瓜熟’的概率。

    似然函数（likelihood function）：根据已知结果去推断固有属性的的可能性，是对固有属性的拟合程度，已经不是概率了。举个例子来说，似然函数把‘瓜熟’作为固有属性，在知道‘蒂落’的情况下，‘瓜熟’的可能性是多少。后验是把‘瓜熟’作为了随机变量。

      注意：似然函数是条件概率的逆反，在百度上有“给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率   L(θ|x) =  P(X=x|θ)

   后验概率可以通过贝叶斯定理，用先验概率和似然函数求得。

   先验分布和后验分布，也就是相对应的一系列概率的取值规律。对于后验分布来说，就是已知‘蒂落’，那么‘瓜熟’、‘瓜一点不熟’、‘瓜有一点熟’等的概率是多少。

贝叶斯公式如下：

 

 : 观察得到的数据（结果）

 : 决定数据分布的参数（原因）

 : posterior

 : prior

 : likelihood

 : evidence

  变分推断（variational inference），简单来说就是用来计算后验分布（posterior distribution）P(Z|X)的。

  通过假设一个分布q(z|λ)，优化λ，使得q(z|λ)靠近p(z|x)。也就是用一个简单的分布来拟合一个复杂的分布。而且把问题转化为优化λ的问题。

未完待续～先去整理其他任务....