答疑：深度学习中online training 和offline training是什么？

online training 和offline training也不是第一次听说了，但是不太明白是什么意思，在这里整理一下。

离线学习，通常是用来训练大的或者复杂的模型，因为训练的过程往往比较耗时，处理数据量大，无法在线完成。
而在线学习往往是对即时性要求比较高的场景，但往往是处理简单的模型或者数据量较少的模型。在线学习和离线学习经常是结合使用，比如离线训练一个复杂的模型，在线进行微调；还有就是离线训练好模型，在线利用训练好的模型做预测或者判别。

在线学习(online learning)中, 数据可能是以流式的形式, 比如监控视频, 一直在拍, 我们根据目前看到的这部分的数据进行训练, 几秒后的数据不能用来训练. 在线算法按照顺序处理数据。它们产生一个模型，并在把这个模型放入实际操作中，而不需要在一开始就提供完整的的训练数据集。随着更多的实时数据到达，模型会在操作中不断地更新

在离线学习中，所有的训练数据在模型训练期间必须是可用的。只有训练完成了之后，模型才能被拿来用。简而言之，先训练，再用模型，不训练完就不用模型。

总结一下就是：离线看到全局，在线只关注当前。