epoch和episode

一个训练集 过大，往往需要划分

划分为1个：

名称：batch梯度下降

batch_size = m

用整个训练集进行梯度下降

划分成5个：

名称：mini-batch梯度下降

batch_size = 占1/5的量

划分为m个：

名称：随机梯度下降

batch_size = 1

一次对一个数据进行梯度下降

epoch

对整个训练集进行了一次梯度下降，即：所有的训练样本完成一次forward和backward propagation。

对于划分为5个子集：就是上述的for 执行完了，对5个子集都执行过。

 

一般样本要过很多次，多个epoch，直到loss稳定 

iteration

迭代，表示进行了一次梯度下降，更新了网络一次w

一次iteration=[batch_size]个训练数据forward+backward后更新参数过程。

如果用mini-batch，那么一次epoch包含5次iteration

episode

强化学习用的多，来源于游戏，是‘关卡’的概念

从人物出生 到 游戏结束/game over的过程