机器学习分支：active learning、incremental learning、online machine learning

0. incremental learning

• 既有训练好的模型可能在新生成的数据上产生预测的偏差，可能是由于数据分布发生变化，这即为 concept drift，此时需要在这批新数据集上继续训练模型，调整参数；
• sklearn 工具箱的分类器（如 linear_model 下的 SGDClassifier），一般都会 fit 和 partial_fit 两种训练方式，前者是全量训练，后者为有选择地部分地训练；
  https://blog.csdn.net/whiterbear/article/details/53120004
  • 或者是因为数据集规模过大，一次无法全部加载到内存，必须分批训练
  • 或者是因为线上环境 online，生成新的数据重新训练优化模型；

1. active learning

Active learning 是一种特殊形式的半监督机器学习方法，该方法允许交互式地询问用户（或者其他形式的信息源 information source）以获取对新的数据样本的理想输出。

Active learning 提供的这种交互机制尤其适用于 unlabeled data 有很多，且手工标注的代价十分高昂的场合。显然这种交互式地向用户询问以获取label，使得原始非监督问题变成了一种迭代式的监督学习（iterative supervised learning）。

比如我们人类幼儿在学习客观世界的一些名词概念时，如狗，一般是通过一种 active 地与父母老师交互式的询问，“这是狗吗”，“那只是狗吗”，然后父母或者老师说，“它有翅膀，狗没有翅膀”，进行学习的。