深度学习干货总结（一）

欢迎关注本人的微信公众号AI_Engine

1.三者是什么关系

2.机器学习四象限

3.传统机器学习与深度学习

4.M-P神经元模型

5.sgn阶跃函数与sigmoid激活函数

6.tanh激活函数：tanh(x)=2sigmoid(2x)-1

sigmoid和tanh的缺点

(1)容易出现梯度弥散（梯度消失）的现象：当激活函数接近饱和区时，导数接近0。根据反向传播时依据的链式法则，当前导数需要之前各层导数进行乘积。会造成导数乘积结果很接近0，从而无法完成深层网络的训练。   

(2)sigmoid的输出不是0均值：这会导致后层的神经元的输入存在非0均值的信号，这会对梯度产生影响。以f=sigmoid(wx+b)为例，假设输入均为正数（或负数），那么对w的导数总是正数（或负数），这样在反向传播过程中要么都往正方向更新，要么都往负方向更新，导致有一种捆绑效果，使得收敛缓慢。 

(3)幂运算相对耗时。

7.Relu激活函数：Relu=max(0,x)

优点：

(1)函数简单，收敛速度快。

(2)较适合用于反向传播。

缺点：

(1)Relu的输出不是zero-centered。

(2)神经元坏死现象:某些神经元可能永远不会被激活，导致相应参数永远不会被更新（在负数部分，梯度为0）。产生这种现象的两个原因：参数初始化问题或者learning rate太高，导致在训练过程中参数更新幅度太大。

(3)Relu不会对数据做幅度压缩，所以数据的幅度会随着模型层数的增加不断扩张。(数据标准化）

8.softmax激活函数

激活函数softmax简单来说就是将原来输入是3,1,-3通过softmax函数作用，映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们就可以将它理解成概率，在最后选取输出结点的时候，我们就可以选取概率最大（也就是值对应最大的）结点，作为我们的预测目标！

9.swish激活函数：f(x) = x * sigmoid(βx)

10.感知器初识

感知器是一个由两层神经元构成的网络结构，即输入层与输出层。输入层接受外界的数据，通过激活函数和阈值的计算变换，最后将结构传送至输出层，感知器后来成为许多神经网络的结构基础。注意：感知器是有监督学习，也是一种分类算法，但是他不能解决异或问题。

11.多层前馈神经网络

每一层神经元仅仅与下一层的神经元全连接。而在同一层，神经元彼此不连接，而且跨层的神经元，彼此间也不相连。这种被简化的神经网络结构，被称之为“多层前馈神经网络。在多层前馈神经网络中，输入层神经元主要用于接收外加的输入信息，在隐含层和输出层中，都有内置的激活函数，可对输入信号进行加工处理，最终的结果，由输出层“呈现”出来。简单来说，神经网络的学习过程，就是通过根据训练数据，来调整神经元之间的连接权值（connection weight）以及每个功能神经元的输出阈值。换言之，神经网络需要学习的东西，就蕴含在连接权值和阈值之中。