李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)

李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)_第1张图片

 为什么要有Batch?

实际计算中,并不会把每个样本单独拿出来做参数的更新,实际是按照Batch来做,为各个参数选择不同的初值 ,其次依次计算每个Batch的梯度,并对参数更新(都是按照Batch来进行计算)。所有的Batch计算一次叫做一个epoch。

李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)_第2张图片

使用batch的原因:

 李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)_第3张图片

 李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)_第4张图片

 李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)_第5张图片

 李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)_第6张图片

 李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)_第7张图片

李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)_第8张图片

 李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)_第9张图片

 

李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)_第10张图片

 李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)_第11张图片

 

Momentum

李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)_第12张图片

 一般Gradient Descent

李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)_第13张图片

 Gradient Descent + Momentum

(不仅仅考虑梯度方向,同时考虑上一次参数更新的方向)

李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)_第14张图片

 李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)_第15张图片

李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)_第16张图片 

李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)_第17张图片

 

 

 

你可能感兴趣的:(机器学习,人工智能,深度学习)