epoch和episode

一个训练集 过大,往往需要划分

划分为1个:

名称:batch梯度下降

batch_size = m

用整个训练集进行梯度下降

划分成5个:

名称:mini-batch梯度下降

batch_size = 占1/5的量

epoch和episode_第1张图片

划分为m个:

名称:随机梯度下降

batch_size = 1

一次对一个数据进行梯度下降

epoch

对整个训练集进行了一次梯度下降,即:所有的训练样本完成一次forward和backward propagation。

对于划分为5个子集:就是上述的for 执行完了,对5个子集都执行过。

 

一般样本要过很多次,多个epoch,直到loss稳定 

iteration

迭代,表示进行了一次梯度下降,更新了网络一次w

一次iteration=[batch_size]个训练数据forward+backward后更新参数过程

如果用mini-batch,那么一次epoch包含5次iteration

epoch和episode_第2张图片

episode

强化学习用的多,来源于游戏,是‘关卡’的概念

从人物出生 到 游戏结束/game over的过程 

你可能感兴趣的:(人工智能)