梯度提升树（GBDT）详解之三：原理推导

本文是GBDT系列文章的最后一弹，它将侧重梯度提升树的原理及其中的数学推导。希望你在阅读本文之前，对于将GBDT应用于回归和分类的技术细节都已经比较熟悉。对此，你可以参考系列文章中的前两篇（参见文献【1】和【2】）。

*本文是GBDT系列文章的最后一弹，它将侧重梯度提升树的原理细节及其中的数学推导，满满都是硬核干货。有数学公式恐惧症者慎入！！如果你只是想比较通俗的理解这个算法的流程而无心其中的数学细节，建议你参看文献【1】和【2】。

*由于文中数学公式录入比较麻烦，所以有些地方使用的是截图。

GBDT既可以用于回归，也可以用于分类，而且无论是回归还是分类，所使用的算法流程都是一样的，也就是下面这个样子。唯一不同的是，损失函数的定义会有差别，这一点后面我们还会详细解释。

你在不同参考资料上所见到的关于GDBT的算法描述与上述给出的大体也都保持一致，仅仅是符号记法上可能略有差别。例如下面是李航博士《统计学习方法》一书中给出的算法流程描述。这些关于GDBT的算法描述都是万法归宗的，只要你理解其中的道理，则看什么都会是一样通透的。本文将主要采用上面（也就是开篇给出的）版本，并以此为基础展开讨论。