数据分析-深度学习Pytorch Day12

文章目录

  • 一、自编码器Auto-Encoders

  • 1.1、回顾之前的知识

  • 1.2、无监督学习

  • 1.3、Auto-Encoders中loss function如何设计

  • 1.3.1、PCA和Auto-encoder对比

  • 二、Auto-Encoders的变种

  • 2.1、变种1:原图像中引入噪声

  • 2.2、变种2:借助Drop out

  • 2.3、变种3:Adversarial Auto-Encoders

  • 2.4、对比Auto-Encoder和Adversarial Auto-Encoder的区别

一、自编码器Auto-Encoders

1.1、回顾之前的知识

数据分析-深度学习Pytorch Day12_第1张图片

1.2、无监督学习

数据分析-深度学习Pytorch Day12_第2张图片
数据分析-深度学习Pytorch Day12_第3张图片
  • 注意:其实无监督并不是没有目标,它也是有目标的,比如看下面的auto-encode,它的目标是什么?它的目标就是它自己,这么一想其实unsupervised learning也是非常有道理的。

  • 比如下面MNIST数据集,输入这样的图片,经过这样一个神经网络NN(encoder),得到一个输出,再经过一个网络(decoder);也可以如下图中的理解。这就是auto-encoder,特别简单。

  • 可视化可以参考这个网站,比较直观的感受784-3(784维降低到3维):降维度可视化网站链接

数据分析-深度学习Pytorch Day12_第4张图片
数据分析-深度学习Pytorch Day12_第5张图片

1.3、Auto-Encoders中loss function如何设计

  • 介绍如下、

数据分析-深度学习Pytorch Day12_第6张图片
1.3.1、PCA和Auto-encoder对比
数据分析-深度学习Pytorch Day12_第7张图片
  • 效果对比:

数据分析-深度学习Pytorch Day12_第8张图片
  • 再看一个可视化的效果

数据分析-深度学习Pytorch Day12_第9张图片

二、Auto-Encoders的变种

2.1、变种1:原图像中引入噪声

  • 下面讲解一下auto-encoder的变种吧!首先比较简答的是:容易想到如果只是在像素级别里重建,这样没有发现一些更深层次的东西,那你很有可能只是记住一些特征,比如这个数字,你可能直接把这个像素给记住了;那么为了防止记住怎么办?我们给原图像加一些噪声

数据分析-深度学习Pytorch Day12_第10张图片

2.2、变种2:借助Drop out

  • Drop out是Hintton大神发明的,Drop out也是现在一种比较常用的技术,但是他并没有发表在paper上面,据说是Hitton在给他的学生上课的时候随口提出来的小trick(技巧),帮助你提升神经网络性能的技巧。

  • 看下图:首先在Training的时候回有目的的,让这部分的连接断开,具体的操作我们手动的让这部分的权值暂时设置为0,就是相当于暂时断掉了。这样可以理解为:给你的信息有限,这样就迫使你的系统更加的robust,你就不会依赖于所有的神经元,而是部分的神经元。然后你再Test的时候:就会让你的这个任务变得更加的简单了,所有的Drop out设置都恢复了。

数据分析-深度学习Pytorch Day12_第11张图片

2.3、变种3:Adversarial Auto-Encoders

  • 这个是比较有名的,这个跟后面要介绍的GAN非常相关了,这个直接把GAN中的技术应用到这里Auto-Encoders了,

数据分析-深度学习Pytorch Day12_第12张图片
  • 但是实际上最原始的auto-encoders大家发现;比如你从【-1, 1】变换h分布的时候,重建出来的图片它可能是一样的,就是没有呈现出这种分布过来,这样的话就比价烦人了,那么怎么解决这个问题呢?Adversarial Auto-Encoders是怎样解决这个问题的呢?如下图添加了一个Discriminator,还没有讲到GAN,现在可以理解为一个识别器(鉴别器)

  • 我们假设一个分布,高斯分布,均值为0,方差为1,我们希望你属于一个这样的分布,如果你没有输入这个分布,我们鉴别你,我们把真实的z和希望得到的z’都送给这个网络做鉴别这个差距,如果差距大,就是不属于预设的这个分布,我们输出一个fake,我们这个分布属于预设的分布,就是属于这个高斯分布,我们输出这个1。通过这样的话就能迫使就能是我们中间得到的这个hidden vector除了能完成重建工作之外,还能符合我们想要的分布,这样就很好解决上一张图片中所说的不平衡的问题(分布不均匀,乱七八糟)。

数据分析-深度学习Pytorch Day12_第13张图片
  • 由这个Adversarial Auto-Encoders引出这节课的重点所在。

数据分析-深度学习Pytorch Day12_第14张图片
数据分析-深度学习Pytorch Day12_第15张图片
数据分析-深度学习Pytorch Day12_第16张图片
数据分析-深度学习Pytorch Day12_第17张图片
  • sample()是不可微的,不能进行反向传播,

数据分析-深度学习Pytorch Day12_第18张图片
  • 之前介绍了Adversarial Auto-Encoders,我们现在从神经网络的角度理解一下。

数据分析-深度学习Pytorch Day12_第19张图片

2.4、对比Auto-Encoder和Adversarial Auto-Encoder的区别

  • VAE重建的效果好一些。

数据分析-深度学习Pytorch Day12_第20张图片
数据分析-深度学习Pytorch Day12_第21张图片

你可能感兴趣的:(数据分析,python,人工智能)