ML XGBoost详细原理及公式推导讲解+面试必考知识点

搞竞赛天天无脑XGBoost、LightGBM、CatBoost，但不知道原理也少许有点尴尬了~，所以打算深入学习下这三大竞赛杀器的原理，整理下面试中一些高频问题。之前有决策树，GBDT的基础了，再学学这三个和随机森林，集成学习之树模型应该差不多了。

看了一圈网上关于讲解XGB原理的基本都是到处粘贴公式凑一起，说这公式就是通过这样来的，那样来的，没有详细的推导过程及详细的解释。XGB稍微复杂点的公式推导过程应该属于目标函数最优值的推导过程那块，所以以下，我从头到尾手推了一遍，并解释了各部分的原因，如有疑问出，评论区or私信我，48小时内回复。

剩余部分+面试高频考点，持续更新ing ~

导航：

ID	算法
NO.1	XGBoost直观理解
NO.2	XGBoost原理讲解+目标函数最优值推导 (公式推导)
NO.3	XGBoost训练+优化策略 (原理讲解)
NO