深度学习基础知识

目录

1. 激活函数

2. 损失函数

3. 归一化

3.1 归一化

3.1.1 将特征数据缩放到一个范围 scale to a range

3.1.2 均值方差归一化（standardization）

3.1.3 RobustScaler

3.2 批归一化

3.3 归一化的作用

4. 过拟合

4.1 什么是过拟合

4.2 深度网络中随机丢弃神经元——Dropout，防止过拟合

---

1. 激活函数

激活函数的性质：单调性，非线性（若不是非线性，改用线性，多层神经网络即相当于一层神经网络）

 selu，scaled exponential linear units，根据该函数得到的网络具有自归一化功能。参考链接

https://arxiv.org/abs/1706.02515

2. 损失函数

3. 归一化

3.1 归一化

这里的归一化在机器学习算法中的归一化一样，有如下几种

3.1.1 将特征数据缩放到一个范围 scale to a range

（1）最值归一化（MinMaxScaler）：把所有的数据映射到0-1之间。适用于分布有明显边界的情况（如：考试成绩）

缺点：容易受边界极端值的影响。

(2) MaxAbsScaler,标准化后的数据的取值范围为[-1, 1]

3.1.2 均值方差归一化（standardization）

把所有的数据归一到均值为0，方差为1的分布中。数据分布没有明显的边界，有可能存在极端数据值。

均值方差归一化，通常也称z-score标准化，即将数据转化成均值为0方差为1的高斯分布，但是对于不服从标准正态分布的特征，这样做效果可能会差，但最终还是以实践为准。

3.1.3 RobustScaler

Scale features using statistics that are robust to outliers.

3.2 批归一化

批归一化是指在深度网络中，每层的激活值都做归一化

3.3归一化的作用

如图所示：归一化之后，训练速度会更快

4. 过拟合

4.1 什么是过拟合

训练集上很好，测试集上不好。

参数太多，记住样本，不能泛化。

4.2 深度网络中随机丢弃神经元——Dropout，防止过拟合