机器学习笔记3——Batch和动量

Batch

  • 把训练数据分为几个批次为一组进行训练,而不是把所有数据都放在一起一次性进行。

机器学习笔记3——Batch和动量_第1张图片

机器学习笔记3——Batch和动量_第2张图片
机器学习笔记3——Batch和动量_第3张图片

  • 使用batch的优点
    机器学习笔记3——Batch和动量_第4张图片
    机器学习笔记3——Batch和动量_第5张图片

Momentum 动量

如果加入动量就会避免一些局部最小值或者鞍点的发生。
机器学习笔记3——Batch和动量_第6张图片
机器学习笔记3——Batch和动量_第7张图片
机器学习笔记3——Batch和动量_第8张图片
机器学习笔记3——Batch和动量_第9张图片
机器学习笔记3——Batch和动量_第10张图片

你可能感兴趣的:(深度学习,batch,深度学习)