十三、机器学习四大神器之XGBoost、LightGBM、Catboost和NGBoost

前言：
XGBoost、LightGBM 和 Catboost 是三个基于 GBDT（Gradient Boosting Decision Tree）代表性的算法实现

GBDT 是机器学习中的一个非常流行并且有效的算法模型

• XGBoost（eXtreme Gradient Boosting）：2014 年陈天奇博士提出的， 特点是计算速度快，模型表现好，可以用于分类和回归问题中
• LightGBM（Light Gradient Boosting Machine）：2017年1月，由微软开源的一个机器学习框架，它的训练速度和效率更快、使用的内存更低、准确率更高、并且支持并行化学习与处理大规模数据
• Catboost（ Categorical Features+Gradient Boosting）：2017年4月，俄罗斯的搜索巨头 Yandex 开源的框架，采用的策略在降低过拟合的同时保证所有数据集都可用于学习。性能卓越、鲁棒性与通用性更好、易于使用而且更实用。据其介绍 Catboost 的性能可以匹敌任何先进的机器学习算法
• NGBoost：2019年10月，Stanford 吴恩达团队提出。暂时在早期，目前还在主要使用前三个

常用预测（分类，回归）模型：

• 分类算法：LR , SVM，KNN
• 矩阵分解：FunkSVD，BiasSVD，SVD++
• FM模型：FM, FFM, DeepFM, NFM，AFM
• 树模型：GBDT, XGBoost, LightGBM, CatBoost，NGBoost
• Attention模型：DIN, DIEN, DSIN

好的特征工程决定模型的上限

XGBoost算法模型参考我的另一篇文章：https://blog.csdn.net/s_daqing/article/details/118424605?spm=1001.2014.3001.5501