唐宇迪深度学习笔记

【b站视频—唐宇迪深度学习网址】
https://www.bilibili.com/video/BV1CE411Q7dn?from=search&seid=4714546485764005493

多层感知机（MLP）

• 多个神经元以全连接层次相连
• 被称为前馈神经网络
• 万能逼近原理：非线性函数的有限次复合能逼近任何函数。
• MLP的困境：

1. 目标函数通常为非凸函数；
2. 极容易陷入局部最优值；
3. 网络层数增加后，存在梯度消失或梯度爆炸问题。

典型网络结构

• 卷积神经网络

1. 适合处理网格型数据：如物体识别、图片分类；
2. 全连接网络并不适用于图像，会出现参数爆炸的问题；
3. 卷积操作：稀疏链接、参数共享、等边表示；

• 循环神经网络

1. 适合处理自然语言：如机器翻译、词性标注、词向量、语音识别、图像描述生成；
2. 变体有LSTM、GRU；

• 自编码器

1. 无监督特征学习；
2. 输出尽量逼近输入；
3. 隐层节点通常比输入小；
4. 非线性：表达能力比PCA更好；