深度学习基础(综述及名词解释)

深度学习发展历程

1950s
提出了感知机perceptron，但是由于感知机不能解决异或问题，很快被学术界否认了。
之后不久便提出了多层感知机，多层感知机成功的解决了异或问题，并被认为可以在拟合任意形状的分类面，但是由于多层感知机本身面临难以训练的问题，也没有得到广泛的认可。

1980s
1980年提出了反向传播算法（back propagation），为多层感知机的训练提供了理论上的解决方案，但是多层感知机在计算的过程中依然面临梯度消失、不容易收敛、计算速度慢等问题。

2006s
Geoffrey Hinton 发表一篇论文《Deep Belief Nets 深度置信网络》,提出了用逐层预训练的方式来训练神经网络，被认为是神经网络第三次兴起的开端。

2010s
GPU加速训练神经网络
Nevida 提出了cuda计算框架，迅速占领了深度学习的市场。

在当前阶段神经网络依然面临很多问题：

• 神经网络难以解释
• 可控性差
• 缺乏足够的理论依据

神经网络的分类

数据流向分类

• 前馈网络
• 反馈网络
• 递归网络

网络中神经元的组织形式

• 全连接
• 部分链接

网络中神经元的行为

• 简单神经网络
• 卷积神经网络
• 循环神经网络（RNN Recurrent ）
  卷积神经网络主要用于图像处理(具有大量的局部相关性)，而循环神经网络主要用于语音识别。网络的设计是依照数据本身的特性和组织方式的。

训练方式

• 监督学习
• 非监督学习
• 强化学习

深度学习相关的名词及翻译

感知器（perceptron）
输入（input）/ 输出（output） / 权重（weight） / 前馈运算（feed forward）
多层感知机
隐层（hidden layer） / sigmoid激活函数（activation function）/ 损失函数（loss function） / 梯度（gradient）/ 反向传播（back propagation）
深度神经网络（deep neural network）
新的激活函数（tanh， Relu）/ 正则化（regularization）/ 归一化（Normalization）/ 特征（feature）/局部链接（locally-connected）
卷积神经网络（convolutional neural network）
卷积（convolution）/ 池化（pooling） / 批归一化（batch normalization） / dropout / 动量优化（optimizer with momentum）/ 感受野（receptive field）
循环神经网络（RNN recurrent neural network）
随时间反向传播（BP through time）/ 长短期记忆网络（long short-term memory）

神经网络的发展

感知机perceptron

• 输入
• 权重
• 激活函数 step function
• 输出
  缺陷：1.只能处理0/1输出的问题 2.只能解决线性问题，无法解决异或问题

多层感知机Multi-layer perceptron

• 隐层
• 全连接
• 反向传播
• 迭代求解

深度神经网络（Deep Neural Network）

• 逐层预训练
• 新的激活函数
• 工业训练技巧（dropout batchNormal ）
• 局部连接

卷积神经网络

• 权值共享
• 局部感受野
• 平移缩放不变性
• 更多的训练技巧

循环神经网络Recurrent Neural Network

• 权值共享
• 序列相关性