李宏毅老师-自编码器（Auto-encoder）Part1

慢慢来，会更好！
大家好，我是一个想研究又不会研究的研究生
陪伴大家一起学习成长！

AUTO-ENCODER也可以算是self-supervised learning的一环

那么，接下来，我们来学习一下Auto-encoder是如何运作的？

Auto-encoder包括两个network
一个是NN Encoder，一个是NN Decoder
将输入的高维度特征通过Encoder弄成低维度的向量，向量再通过Decoder转成新特征，输入输出越像越好。

那怎么把train完的Auto-encoder用在downstream任务里面呢？
常见的做法就是将压缩过的向量vector来做接下来的任务。
Dimension reduction：把高维度转成低维度

那么为什么要用Auto-encoder?

为什么能把3x3图片压缩成二维数值呢？
因为图片的变化是有限的，找出有限的变化，就可以用对应的二维数值来表示出来。

找出有限的变化，把复杂的东西用比较简单的方法来描述，只需要比较少的训练资料，
在downstream任务里面让机器学到本来要学的事情。
这就是Auto-encoder的概念

那么，Auto-encoder还有一个变形叫做De-noising Auto-encoder

就是我们把原来的图片加入一些noises，然后经过2次NN，还原原始图片

这个是不是与前面学到的BERT类似呢？
其实BERT就是一个De-noising Auto-encoder