深度学习入门笔记（三）常用AI术语

本节我们介绍一些深度学习领域常用的术语。

训练

确定模型中的参数的过程，我们就称为“训练”。

Epoch

遍历一遍训练数据就叫作“一个 Epoch”。训练模型的时候，我们要告诉模型预计训练多少个 Epoch，但这个值并不是固定的，因为并没有一个准确的 Epoch 数能一定能得到一个比较好的模型。

我们有一个标准：模型训练的 Epoch 数必须要让模型达到一个收敛的状态。并且为了模型有更多的选择，我们可以让模型收敛后，再多训练一些 Epoch，然后保存一些模型，最后进行挑选。这是一个经验与实际结合的过程。

Batch size

考虑到内存、处理速度、优化角度等方面，我们每次只会取一定数量的数据进行学习，比如 32、64、128。这每次用到的一定数量的数据，就叫作“一个 Batch”，每个 Batch 中数据的个数，无论有多少个，都统称为“Batch Size”。

每一次取数据我们称为“一个 Step”或者“一个 Iterator”。多卡的时候每个 Step 会在每张卡上训练相同 Batch Size 的不同数据，然后把梯度汇总到 CPU 上计算，最后更新参数。

3.1模型的评估

对于训练集与评估集，在绝大部分的实际项目中都是提前确定好的，特别是评估集，它代表这个项目要解决的问题。一些小的实验性项目，可以将数据按一定的比例随机分成训练集和评估集，一般这个比例是 7：3 或 8：2，即训练集占所有数据的 70% 或者 80%，数据的其余部分作为评估集。