动手深度学习笔记(四十一)7.5. 批量规范化

动手深度学习笔记(四十一)7.5. 批量规范化

  • 7.5. 批量规范化
    • 7.5.1. 训练深层网络
    • 7.5.2. 批量规范化层
      • 7.5.2.1. 全连接层
      • 7.5.2.2. 卷积层
      • 7.5.2.3. 预测过程中的批量规范化
    • 7.5.3. 从零实现

7.5. 批量规范化

训练深层神经网络是十分困难的,特别是在较短的时间内使他们收敛更加棘手。 本节将介绍批量规范化(batch normalization) (Ioffe and Szegedy, 2015),这是一种流行且有效的技术,可持续加速深层网络的收敛速度。 再结合在 7.6节中将介绍的残差块,批量规范化使得研究人员能够训练100层以上的网络。

7.5.1. 训练深层网络

为什么需要批量规范化层呢?让我们来回顾一下训练神经网络时出现的一些实际挑战。

首先,数据预处理的方式通常会对

你可能感兴趣的:(pytorch实践,深度学习)