梯度提升机 (Gradient Boosting Machines, GBM)

梯度提升机 (Gradient Boosting Machines, GBM)

通俗易懂算法

梯度提升机（Gradient Boosting Machines，GBM）是一种集成学习算法，主要用于回归和分类问题。GBM本质上是通过训练一系列简单的模型（通常是决策树），然后将这些模型组合起来，从而提高整体预测性能。

基本步骤

1. 初始模型：首先，我们用一个简单的模型（如一个常数值）作为预测模型，记为 $F_0(x)$。

2. 逐步改进模型：在每一步 $m$，我们用新的模型 $h_m(x)$ 来修正前一步的误差。这里 $h_m(x)$ 通常是一个简单的决策树。

3. 计算残差：计算当前模型 $F_{m-1}(x)$ 和实际目标值之间的差（残差），记为 $r_i$：
   $$r_i=y_i-F_{m-1}(x_i)$$
   其中 $y_i$ 是第 $i$ 个样本的目标值，$x_i$ 是第 $i$ 个样本的特征值。

4. 拟合新模型：用残差来拟合一个新的模型 $h_m(x)$，也就是使 $h_m(x)$ 尽可能能预测到残差。

5. 更新模型：将新模型添加到现有的模型中：
   $$F_m(x)=F_{m-1}(x)+\gamma h_m(x)$$
   其中 $\gamma$ 是学习率，控制每棵树对最终模型贡献的大小。

6. 重复步骤：重复步骤 3 到步骤 5，直到模型达到预定的树的数量（即迭代次数）或误差达到某个标准。

学习率和正则化

• 学习率（$\gamma$）：学习率是一种控制每一步新模型对最终模型影响的参数。较小的学习率往往需要更多的迭代次数，但可以提高预测精度。

• 树的数量（M）：GBM通过增加树的数量，逐步减少预测误差，但也容易过拟合。通常通过交叉验证来选择最佳的树数量。

• 正则化：为了防止过拟合，GBM还可以通过对每棵树进行剪枝或者在计算每棵树时进行约束（如限制树的最大深度、最小样本分裂数等）来实现正则化。

特点

• 优点：GBM在很多应用中表现优异，特别是在执行复杂数据集的任务时。它可以处理非线性关系并且高效。

• 缺点：GBM对参数的选择比较敏感，训练时间相对较长，并且不适合过大的数据集和高维数据。

底层原理

梯度提升机（Gradient Boosting Machines, GBM）是一种集成学习方法，可以用于回归和分类任务。它的核心思想是通过构建一系列的弱学习器（通常是决策树），并通过逐步加法模型（stagewise additive model）进行组合，从而构建一个强学习器。GBM中的“提升”部分来源于逐步减少模型的错误。

数学原理

1. 目标函数

   假设我们有一个训练数据集$(x_1,y_1),(x_2,y_2),\dots ,(x_n,y_n)$，目标是学到一个模型$F(x)$来最小化某种损失函数$L(y,F(x))$。常见的损失函数有平方误差损失（回归问题）和对数似然损失（分类问题）。

2. 模型表示

   我们的模型$F(x)$是通过多个基本模型（例如决策树）组合而成的：

   $$F(x)=\sum _{m=1}^M{\gamma }_m\cdot h(x;a_m)$$

   其中，$h(x;a_m)$是第$m$个基本学习器，${\gamma }_m$是其对应的系数。

3. 逐步加法模型

   梯度提升过程是逐步的。在每一步$m$，我们根据损失函数的梯度来“提升”我们的模型：

   $$F_m(x)=F_{m-1}(x)+{\gamma }_m\cdot h(x;a_m)$$

   初始情况下，$F_0(x)$通常设为一个常数，例如训练数据$y$的均值。

4. 梯度下降

   在每一步中，我们拟合一个新的学习器$h(x;a_m)$，该学习器是当前模型$F_{m-1}(x)$在数据上的负梯度的近似：

   $$r_{im}=-{\left[\frac{\partial L(y_i,F(x_i))}{\partial F(x_i)}\right]}_{F(x)=F_{m-1}(x)}$$

   我们通过使新学习器拟合残差$r_{im}$来更新模型。

5. 学习率

   为了控制每步的更新幅度，GBM引入了一个学习率参数$\eta$，通常$0<\eta \le 1$：

   $$F_m(x)=F_{m-1}(x)+\eta \cdot {\gamma }_m\cdot h(x;a_m)$$

6. 更新规则

   对于给定的损失函数和负梯度$r_{im}$，我们选择$h(x;a_m)$和${\gamma }_m$来最小化：

   $$\sum _{i=1}^{n}L(y_i,F_{m-1}(x_i)+{\gamma }_m\cdot h(x_i;a_m))$$

   通过选择合适的基学习器和损失函数，GBM可以处理多种机器学习问题。

总结一下，GBM通过逐步建模和优化损失函数的负梯度来提升模型的表现。其强大之处在于可以结合多个简单模型形成一个复杂的模型，同时通过学习率和树的深度等超参数控制模型的复杂度和训练过程。

常用面试考点

工作原理

GBM 的核心思想是在前一个模型的基础上，构建一个新的模型去拟合残差（即预测误差）。这样，逐步减少模型的误差，最终组合多个模型来得到一个强模型。

1. 初始化模型： 选择一个常数值作为初始模型的预测值：
   $$F_0(x)=\arg \underset{\gamma }{\min }\sum _{i=1}^{N}L(y_i,\gamma )$$
   其中，$L$ 是损失函数，常用的是平方误差损失、对数损失等，并依赖于具体的任务（回归或分类）。

2. 迭代训练：
   对于每一轮迭代 $m=1,2,\dots ,M$:

   • 计算当前模型的残差（也称为伪残差）：
     $$r_{im}=-{\left[\frac{\partial L(y_i,F(x_i))}{\partial F(x_i)}\right]}_{F(x)=F_{m-1}(x)}$$
     这是对损失函数的一阶导数，它代表了最陡下降的方向。

   • 用伪残差训练一个新的弱学习器 $h_m(x)$。

   • 更新模型：
     $$F_m(x)=F_{m-1}(x)+\nu \cdot h_m(x)$$
     其中，$\nu$ 是学习率，控制每个新模型的贡献大小。

3. 终止条件：
   在达到预定的最大迭代次数 $M$ 或者当模型的效果不再提高时，停止迭代。

特点与优势

• 强大的预测能力： 能够抓住非线性关系并且可以用于处理大多数类型的数据集。

• 灵活性： 可以选择不同的损失函数以及不同的基学习器。

• 可调参数： 如学习率、树的最大深度、迭代次数，以及数据的采样率等，可以有效地防止过拟合。

面试中的常见问题

1. GBM与随机森林的区别：GBM是一个序列式建模，依赖前面的模型，而随机森林是独立训练多个树并求平均。

2. 如何防止过拟合：通过减小学习率，限制树的最大深度，或者减少迭代次数。

3. 学习率的作用：学习率 $\nu$ 控制每个新树对模型的贡献，如果设置过高，可能会导致过拟合，过低则模型收敛得过慢。

4. 适用场景：GBM可用于许多任务，如分类问题，回归问题甚至排序问题（LambdaRank for learning to rank）。