深度生成模型之自编码器与变分自编码器 ->(个人学习记录笔记)

文章目录

  • 深度生成模型之自编码器与变分自编码器
    • 自编码器AE
      • 1. 定义
      • 2. 自编码器的应用
    • 变分自编码器(VAE)
      • 1. 理论求解
      • 2. 模型求解
      • 3. 优化目标
      • 4. 再参数化策略
    • AE与VAE的对比
    • AE与VAE的主要局限性

深度生成模型之自编码器与变分自编码器

自编码器AE

1. 定义

  • Auto-Encoder,学习输入数据的有效编码

深度生成模型之自编码器与变分自编码器 ->(个人学习记录笔记)_第1张图片

2. 自编码器的应用

  • 降维/可视化,去噪等

深度生成模型之自编码器与变分自编码器 ->(个人学习记录笔记)_第2张图片

变分自编码器(VAE)

  • Variable Auto-Encoder

深度生成模型之自编码器与变分自编码器 ->(个人学习记录笔记)_第3张图片

1. 理论求解

  • 给定一个样本x,求解对数边际似然logp(x|θ)

深度生成模型之自编码器与变分自编码器 ->(个人学习记录笔记)_第4张图片

  • 期望值平均算法(Expectation-Maximum),用于求解含隐变量的参数估计

深度生成模型之自编码器与变分自编码器 ->(个人学习记录笔记)_第5张图片

2. 模型求解

  • 使用神经网络来估计建模复杂的条件概率密度函数

深度生成模型之自编码器与变分自编码器 ->(个人学习记录笔记)_第6张图片

  • 梯度下降法求解与近似

深度生成模型之自编码器与变分自编码器 ->(个人学习记录笔记)_第7张图片

3. 优化目标

  • KL散度+样本重建损失

深度生成模型之自编码器与变分自编码器 ->(个人学习记录笔记)_第8张图片

4. 再参数化策略

  • 随机变量反向传播问题

深度生成模型之自编码器与变分自编码器 ->(个人学习记录笔记)_第9张图片

AE与VAE的对比

  • 变分自编码器与自编码器对比,虽然很相似,但原理不同

深度生成模型之自编码器与变分自编码器 ->(个人学习记录笔记)_第10张图片

AE与VAE的主要局限性

  • 生成结果模糊,不够真实

  • 注意:部分内容来自阿里云天池

你可能感兴趣的:(机器学习,学习,笔记)