激活函数及神经网络过拟合的处理

一、常见的激活函数

1. 神经网络经过权重参数计算之后需要进行非线性变换。激活函数列出几种非线性变换。
2. sigmoid 和Relu对比，90%都用Relu函数
   
   sigmoid函数会出现梯度消失现象。
   Relu函数不会出现梯度消失的现象，小于0的梯度直接剔除掉，大于0的梯度等于其本身。

二、 神经网络过拟合的处理

1. 数据预处理
   去中心化：每个地方的实际值—均值。下图中间图形。
   放缩扩充：除上标准差（下图第三张图）

2. 参数初始化
   通常使用随机策略进行参数初始化
   下图中W为权重参数组成的矩阵。

3. DROP-OUT
   
   每层随机选择一部分进行“杀死”，不需要进行更新。只训练剩余的，使结构变得简单。
   DROP-OUT是为了防止网络模型太复杂