机器学习中的一些概念

online training and offline training

第一种方式

• 在线学习：一个数据点训练完了直接更新权重（而不是一个batch）。（我们无法得知这一次的更新权重是正确的还是错误的，如果恰恰是错误的一次更新，那么我们的模型会有可能渐渐地走向错误方向，残差出现）。视频分割中的在线学习（在线训练就是使用第一帧的真实标注的图像作为训练数据，并且对第一帧做数据增强，微调特定目标分割的模型）
• 离线学习：一个batch训练完才更新权重，这样的话要求所有的数据必须在每一个训练操作中（batch中）都是可用的，这样不会因为偶然的错误把网络带向极端。

第二种方式

• 在线学习：在线算法按照顺序处理数据。它们产生一个模型，并在把这个模型放入实际操作中，而不需要在一开始就提供完整的的训练数据集。随着更多的实时数据到达，模型会在操作中不断地更新。
• 离线学习：在离线学习中，所有的训练数据在模型训练期间必须是可用的。只有训练完成了之后，模型才能被拿来用。简而言之，先训练，再用模型，不训练完就不用模型。

第三种方式

• 在线学习：在线学习往往是对即时性要求比较高的场景，但往往是处理简单的模型或者数据量较少的模型。在线学习和离线学习经常是结合使用，比如离线训练一个复杂的模型，在线进行微调；还有就是离线训练好模型，在线利用训练好的模型做预测或者判别。
• 离线学习：通常是用来训练大的或者复杂的模型，因为训练的过程往往比较耗时，处理数据量大，无法在线完成。