batch、batch_size、iteration/step和epoch总结

初入机器学习，容易被batch、batch_size、iteration/steps和epoch等陌生的词汇搞晕

1、epoch:表示把所有的训练集输入到模型完整地训练一遍

2、batch:模型训练时，往往不是一次性把所有的训练集输入到模型中，而是把训练集分成较小的批，即分成一个个的batch

3、batch_size:batch的大小

4、iteration/step：一个iteration/step，更新一次参数权重，即进行一次学习，每一次更新参数需要batch_size个样本进行运算学习，根据运算结果调整更新一次参数。

例如：
假设训练集中有2000个样本，把训练集的2000个样本一个不漏地输入到模型中，让模型进行学习，即为1个epoch；训练的时候2000个样本太多了，分小一点，若分成10份，则batch=10；batch_size=2000/10=200；此时，每次输入到模型的样本数为batch_size大小，即每一次输入200个样本；每输入一个batch_size大小的样本，模型则学习一次，更新一次参数，即一个iteration/step。