VAE初步理解

初步的理解：

https://www.sohu.com/a/226209674_500659

不错的视频：

https://www.bilibili.com/video/av20165127?from=search&seid=11688998895002187651

数学公式的推导：

PPT

自己的理解：

首先，AE(AutoEncoder), 包括Encoder，Decoder部分，Encoder得到的是输入的低维度表示，Docoder将这种低维表示加入一些变化，reconstruct出原图。

而VAE的Encoder部分得到的不是输入数据的低维表示，而是将Z假设为正太分布（Gaussion 分布），而将Encoder看作是对Z 的分布参数的学习，得到的是一个分布（Distribution）。

Decoder: 有了分布之后，要从分布中sample一些数据，用此来重构原图。

LOSS:首先有重构的loss (Reconstruction loss), 即网络的输出和输入之间的误差;其次，使q(z|x)的分布接近于标准正太分布，这里用了KL散度（另一种理解，如果不用KL散度，使L1=均值接近于0的loss, L2=方差接近于1的loss, 那么L1,L2直接的比例关系不好确定; 当然这里是有严谨的数学推导的）。