迁移学习与增量学习

日常处理数据过程中，我们会遇到新数据的增加这个问题，我们既想增加新数据，又想利用原先的模型，迁移学习和增量学习就应运而生了，而且在今后的发展中，此类问题会越来越频发。

首先推荐几篇博客来探讨一下这个问题：1）Xgboost之增量学习https://blog.csdn.net/xieyan0811/article/details/82949236；2）浅谈迁移学习，增量学习https://blog.csdn.net/Chris_zhangrx/article/details/84786399；3）增强学习、增量学习、迁移学习——概念性认知https://blog.csdn.net/zyazky/article/details/51942135；4）机器学习基础--各种学习方式（30）--增量学习https://blog.csdn.net/wydbyxr/article/details/81327590；

增量学习与迁移学习最大的区别在于，增量仅仅是量的增加，迁移可能有质的改变。当然这也是有着量变到质变的可能性。

增量学习指的是单纯的数据增加，在原模型的基础之上进行训练，在树结构上的增量学习参考博客1中说的比较详细，这种方法适用于新的数据相较老的数据具有更高的可信度，同时老的数据比新的数据多的情况。

迁移学习指的是用已存有的知识对不同但相关领域问题进行求解的一种机器学习方法。通常迁移学习的数据集与原模型的数据集相差比较大，但是存在一些较深层次的联系。

其中非常常见的问题就是catastrophic forgetting问题，即灾难性遗忘问题，就是指新数据对模型的影响太大，导致了原模型的失效，常见的就是过拟合了新数据，或者新数据把模型带偏。这一点可以参考论文https://www.pnas.org/content/pnas/114/13/3521.full.pdf，