深度学习训练中的Epoch, Batch, Episode, Iteration

Epoch
one epoch = one forward pass and one backward pass of all the training examples, in the neural network terminology.
Epoch指把整个训练集的所有数据全部跑一遍。

Batch
我们知道在深度学习训练中是通过梯度下降方法来更新参数的，如果一次性将整个训练集（一个Epoch）喂给机器让它去计算，内存会受不了。因此，我们将整个训练集分成好几份（Batch），一次喂入一个Batch，每个Batch进行一次梯度下降；
一个Batch包含的数据量就是Batch_size。

Episode
Episode常见于小样本学习（few-shot-learning）中，类似于传统深度学习中的Batch。一个episode由support set和query set构成，每个episode中，模型先在support set上训练，然后在query set上测试，两步过程称为一个task。

Iteration
Epoch被分成几个Batch就是几个Iteraion

总结：
训练集有60000张图片，我们把它分成200个Batch，每个Batch300张图
Epoch：整个60000张图
Batch_size：300
Iteration：200