七 动手学深度学习v2 ——数值稳定性+模型初始化和激活函数

1. 数值稳定性
七 动手学深度学习v2 ——数值稳定性+模型初始化和激活函数_第1张图片

七 动手学深度学习v2 ——数值稳定性+模型初始化和激活函数_第2张图片

2. 如何让训练更加稳定
目标:让梯度值在合理的范围内
方法:

  1. 将乘法变成加法
  • ResNet
  • LSTM
  1. 归一化
  • 梯度归一化
  • 梯度裁剪
  1. 合理的权重初始和激活函数

你可能感兴趣的:(动手学深度学习,深度学习,人工智能)