[2022]李宏毅深度学习与机器学习第八讲（必修）-Auto-encoder

做笔记的目的

1、监督自己把50多个小时的视频看下去，所以每看一部分内容做一下笔记，我认为这是比较有意义的一件事情。
2、路漫漫其修远兮，学习是不断重复和积累的过程。怕自己看完视频不及时做笔记，学习效果不好，因此想着做笔记，提高学习效果。
3、因为刚刚入门深度学习，听课的过程中，理解难免有偏差，也希望各位大佬指正。

Auto-Encoder

Auto-Encoder也是一种无监督学习，可以训练pre-train。

这非常类似于Cycle GAN，这里的中间向量维度比较低，从我们的理解来说，低维向量能表示的事物比高维向量能表示的事物要少，那为什么还可以还原那？

这里以图像为例子，因为，并不是所有的3*3的矩阵都是图片，所以图像的变化是有限的，正好低维就可以表示。

De-noising Auto-encoder

在训练的资料上加入一些噪音，非常想Bert的训练，Bert就可以看成De-noising Auto-encoder的训练。

这里Decoder不一定要linear

Feature Disentanglement

Feature Disentanglement这个技术是将向量所代表的不同的特征分开，然后组合在一起就可以产生很多非常有用的应用。

应用在语音上面，可以做变声器，文本信息和声音特征分开，这样就可以做变声器，而且训练资料也很好找。

Discrete Representation

如果用one-hot做中间向量，说不定可以做分类。可以学习到最基本的特征。

但是这个并不能训练起来，因为可能会出现模型坍塌。

所以就需要GAN，实际上这个技术Cycle GAN在文本上的应用。

More Applications

也可以做生成器,比如VAE

也可以做压缩不过会失真

也可以做异常检测，异常还是正常是根据资料不同而不同的。这个看起来就是一个二元分类，但是因为正常资料很多但是异常的数据几乎没有，所以训练不起来一个有监督模型，这是one class问题。

具体做法：如果是正常的那么可以还原，反之则不能，所以可以根据reconstruction的好坏来判断。