批量归一化,优化与凸优化

批量归一化

  • 1.对全连接层做批量归一化

位置:全连接层中的仿射变换和激活函数之间。

  • 2.对卷积层做批量归⼀化

位置:卷积计算之后、应⽤激活函数之前。

  • 3.预测时的批量归⼀化

训练:以batch为单位,对每个batch计算均值和方差。
预测:用移动平均估算整个训练数据集的样本均值和方差。

pytorch中的nn模块定义的BatchNorm1d和BatchNorm2d分别用于全连接层和卷积层。

优化与深度学习

  • 优化与估计

尽管优化方法可以最小化深度学习中的损失函数值,但本质上优化方法达到的目标与深度学习的目标并不相同。

  1. 优化方法目标:训练集损失函数值
  2. 深度学习目标:测试集损失函数值(泛化性)
  • 优化在深度学习中的挑战

1. 局部最小值

批量归一化,优化与凸优化_第1张图片

2. 鞍点(一阶导数为0的点)

批量归一化,优化与凸优化_第2张图片

3. 梯度消失

批量归一化,优化与凸优化_第3张图片

  • 凸函数的性质

  1. 无局部极小值
  2. 与凸集的关系
  3. 二阶条件

你可能感兴趣的:(Python)