Online Learning

关于online learning的不同说法：

• Online learning是机器学习中的一种方法。其目的是正确预测数据的类别，并且在每次预测后，该结果用来更新修正预测模型，用于对以后数据进行更好的预测。而不同于batch learning ，batch learning 生成的最好预测仅基于一次确定的数据训练集。
  一般的，一种Online learning算法对于一个序列进行一系列处理可以分为三步：
  第一步，算法获得一个训练实例；
  第二步，算法预测训练实例的类别；
  第三步，算法获得正确类别，并根据预测类别与正确类别更新模型假设。
  Online learning 很好的应用在训练整个数据集在计算上不可行的情况，和一些要求算法动态适应型模式的情况。
  对应的online learning 有两种通用的模型：1.statistical learning 模型和2.adversarial 模型。

1. statisticallearning 模型：数据样本是独立同分布的随机变量且不随时间变化，算法只是对数据的有限访问，即不是对整个数据集的计算。（如随机梯度下降，感知器）
2. adversarial模型：我们把问题看作是两个玩家之间的游戏(学习者和数据生成器)，在这个模型中对手（数据生成器）能动态的适应该算法输出产生而产生变化，例如在垃圾邮件过滤中，垃圾邮件的产生者能基于过滤器的表现来生成新的垃圾邮件。