CNN和RNN学习记录

2018/6/8学习记录

标签（空格分隔）： 记录 深度学习

---

深度学习的一般性原则：先通过非监督学习对网络逐层进行贪婪的预训练，再用监督学习对网络进行微调。通过预训练的方式可以为深度神经网络提供较为理想的初始参数，降低了深度神经网络的优化程度。
深度学习中一些DL模型：堆栈式自动编码器（Stacked Auto-Encoder SAE),限制玻尔兹曼机（Restricted Boltzmann Machine RBM),深度信念网络（Deep Belief Network DBN),循环神经网络（Recurrent Neural Network RNN),卷积神经网络（Convolutional Neural Network CNN)。

---

##循环神经网络（RNN）

---

##卷积神经网络（CNN）
一维卷积：主要用在信号处理中。
二维卷积：二维卷积主要是用在图像处理中，在计算时通过卷积核（滤波器）来提取特征，不同的卷积核可以得到不同的特征，图像经过卷积操作后得到的结果也叫作特征映射，二维卷积计算时会发生翻转（就是从两个维度，从上到下，从左到右翻转次序，旋转180°）。
互相关（不翻转卷积）：卷积核的作用就是从图像中提取出需要的特征，计算卷积时需要进行卷积翻转，因此在具体实现时，一般通过互相关来代替，与卷积相比，互相关仅仅是不需要翻转，通过在图像上的滑动点积计算来提取特征，简化计算。用神经网络来进行特征提取时，互相关和卷积实际上是等价的。

---

机器学习中梯度爆炸和梯度消失现象出现的原因，深度学习的更新过程，实际就是梯度通过反向传播算法（back propagation）更新网络参数，求得损失函数LOSS的极小值的过程，指导深度网络权值的更新优化。通过链式法则求导的时候，求导公式中往往存在对激励函数的求导，如果激励函数求导的结果大于1，那么当层数增多时，最终求出的梯度更新将会以指数的形式增加，也就是发生了梯度爆炸，如果求导结果小于1，那么随着层数的增加，梯度信息就会以指数的形式衰减，即发生了梯度消失。常用的sigmoid()和tanh()函数就存在这个问题。而ReLU函数就可以解决这个问题。

详解机器学习中的梯度消失、爆炸原因及其解决办