深度学习浅析

目录

一、第一阶段

1.1、MP模型

1.2、感知机

二、第二阶段

2.1、多层感知机(DNN)

2.2、BP神经网络

2.3、卷积神经网络（CNN）

2.4、循环神经网络（RNN）

2.5、长短时记忆网络（LSTM）

三、第三阶段

3.1、Hopfield网络

3.2、玻尔兹曼机

3.3、受限玻尔兹曼机

---

 

深度学习是基于神经网络发展起来的技术，而神经网络的发展具有历史悠久的历史，而且发展历程也是一波三折

总结起来可以分为三个阶段

一、第一阶段

1.1、MP模型

1943年美国神经生理学家沃伦.麦卡洛克和数学家沃尔特.皮茨对生物神经元进行建模，首次提出一种形似神经元模型。这个模型通过电阻等元件构建的物理网络得以实现，被称为M-P模型。

y=f(∑wixi - h)

其中h为一个设定的阈值，如果y>0,则输出1；如果y<0,则输出0

存在问题：当时没有通过训练样本进行训练来确定参数的方法，只能人为的事先计算后确定。

 

1.2、感知机

1958年罗森布拉特提出感知机，经过训练后，计算机能够确定神经元的连接权重，

即：根据训练样本自动获取样本组合，确定参数，有监督学习

实际输出：y

期望输出：r

如果y=r：wi和h不变

如果y≠ r：

1⃣️y=0,r=1，减小h，增大xi=1的连接权重，xi=0的连接不变

2⃣️y=1,r=0，增大h，降低xi=1的连接权重，xi=0的连接不变

存在问题：线性不可分

二、第二阶段

2.1、多层感知机(DNN)

也称为前馈神经网络，多层结构的感知机递阶组成的输入值向前传播的网络。

一般有三成组成：输入层、中间层、输出层

输入层：用随机数确定输入层与中间层连接权重

中间层、输出层：中间层与输出层的连接权重进行误差修正学习

存在问题：输入数据不同，但是中间层的输出值却相同，无法准确分类。

2.2、BP神经网络

即误差反向传播，通过比较实际输出和期望输出得到误差信号，把误差信号从输出层向前传播得到各层的误差信号，再通过调整各层的连接权重减小误差。

调整权重的方法采取梯度下降法

2.3、卷积神经网络（CNN）

利用二维空间关系达到了减少需要学习的参数数目的目标。

主要运用于图像处理，每层通过一个数字滤波器对观测到的数据进行特征提取

卷积层：输入样本与卷积核进行内积运算，降低复杂度/提高泛化

池化层：将平面某一位置及其相邻位置的特征进行统计汇总，将汇总结果作为这一位置在该平面的值，降维/稳健。

2.4、循环神经网络（RNN）

不仅存在前馈连接，还存在反馈连接

专门用于处理和预测序列数据的神经网络（NLP）

隐藏层的输入来自输入层以及上一时刻隐藏层的输出

存在问题：RNN也有梯度消失的问题，因此很难处理长序列的数据，长期依赖

2.5、长短时记忆网络（LSTM）

LSTM单元自循环，靠“门”结构让信息有选择的影响循环神经网络的每个时刻的状态。

 

三、第三阶段

3.1、Hopfield网络

网络不分层，单元之间相互连接，联想记忆。（比如看到苹果，就想到红色）

存在问题：当需要记忆的模式太多或模式之间较为相似，不能正确辨别--串扰

3.2、玻尔兹曼机

在Hopfield网络基础上，让每个单元按照一定的概率分布发生状态变化，避免陷入局部最优解。

存在问题：训练困难

3.3、受限玻尔兹曼机

由可见层和隐藏层构成，同时有可见变量和隐藏变量构成，相同层内单元无连接。

存在问题：计算量庞大

 

除此以外还有进一步优化的对比散度算法，利用近似算法

还有深度信念网络、MCMC采样等等

 

本文主要大体概述一下神经网络的框架，具体的分析在以后的章节里进行进一步的分解，包括梯度下降问题、正则化以及激活函数等。