深度学习training常见概念详解（Epoch、batchsize、iteration）

神经网络的训练

梯度下降法

学习率： 步长越大= 学习率越高

误差函数不断减小。

如果训练数据过多， 无法一次性将所有数据送入计算。

现将数据分成几个部分： batch

分多个 batch , 逐一送入计算训练

Epoch

一个epoch 表示： 所有的数据送入网络中， 完成了一次前向计算 + 反向传播的过程。

由于一个epoch 常常太大， 分成 几个小的 baches .

将所有数据迭代训练一次是不够的， 需要反复多次才能拟合、收敛。

在实际训练时、 将所有数据分成多个batch ， 每次送入一部分数据。

使用单个epoch 更新权重 不够。

随着epoch 数量的增加， 权重更新迭代的次数增多， 曲线从最开始的不拟合状态， 进入优化拟合状态， 最终进入过拟合。

epoch 如何设置： 大小与数据集的多样化程度有关， 多样化程度越强， epoch 越大。

batchsize

每个batch 中： 每次分批送入部分训练样本的数量，多个batch组成一个epoch。

batch size 大小的选择也很重要， 最优化网络模型的性能+速度。

当数据量较小， 计算机可以承载只有1个batch 的训练方式时， 收敛效果会好。

mini-batch : 将所有数据分为若干个batch , 每个batch 包含一部分训练样本。。

iterations

完成一次epoch 需要的batch 个数

batch numbers 就是 iterations .

分为了多少个batch? : 数据总数/ batch_size

drop_last

当样本不能被batch_size整除时，是否舍弃最后一批数据。

实例说明

样本总数87，batchsize=8，drop_last=True时，iteration=87/8=10，1个epoch=10个iteration