Catboost-算法原理

总结一下catboost关键的知识点

Target Statistics

常规处理类别特征的方法是one-hot，但是也可以将类别特征转化为和label相关的数值特征，也就是target statistics，最简单的方法就是计算概率值。(A target statistic is a simple statistical model itself, and it can also cause target leakage and a prediction shift.)

几种计算TS的方法：

Greedy TS

对于数据k的特征i取值为：

image

where a > 0 is a parameter. A common setting for p is the average target value in the dataset.

缺点：直接使用了标签信息会导致标签泄露问题

Holdout TS

这种方式是将数据集切分成两部分，用其中的一部分来计算ts，用另外的一部分来做训练

image

缺点：训练数据集减少

Leave-one-out TS

在计算ts时只把那一个数据样本给去除

image

Ordered TS

catboost提出一种更有效的策略，在计算每个数据的ts时只使用前面的数据，这样既能避免标签泄露又不减少数据集。具体来说，首先随机排序生成数据集，然后使用可观测历史计算ts

image

Ordered Boosting

对于基于梯度提升的树模型来说，过拟合都是一个问题，这个问题来自于逐点地进行梯度估计。算法每一步使用梯度是由与构建这个模型相同的数据进行估计的。(However, all classical boosting algorithms suffer from overfitting caused by the problem of biased pointwise gradient estimates. Gradients used at each step are estimated using the same data points the current model was built on.)。

说人话是，为了得到无偏的梯度估计需要在计算数据i的残差时使用没有用到过这个数据的模型，因此catboost维护了n个中间的支持模型(supporting models)

To make the residual rI−1(xk,yk) unshifted, we need to have FI−1 trained without the example xk. Since we need unbiased residuals for all training examples, no examples may be used for training FI−1, which at first glance makes the training process impossible. However, it is possible to maintain a set of models differing by examples used for their training. Then, for calculating the residual on an example, we use a model trained without it. To illustrate the idea, assume that we take one random permutation σ of the training examples and maintain n different supporting models M1, . . . , Mn such that the model Mi is learned using only the first i examples in the permutation. At each step, in order to obtain the residual for j-th sample, we use the model Mj−1 (see Figure 1).

学习中间支持模型的算法过程:

1. 生成n个随机排序的数据集
2. 对于每个数据使用之前学习到的模型计算残差
3. 再次遍历每个数据i
   1. 使用i之前的数据集学习模型
   2. 更新模型

image

具体示例：第7个样本在第t颗树时残差的计算方法

image

至此只是学习到了一些中间模型，对于最终的I颗树，还是要重新学习的，过程如下：

image

Oblivious Tree

catboost使用oblivious tree(对称树)作为基树模型，这种树的特点是每一层使用相同的分割特征。叶子节点可以被转化为二进制编码，结点的值被存储在一个长度为2的d次方(d为树的深度)的浮点向量中 。这种树的一个优点是预测性能更好，同时这种结构也能一定程度弱化决策树容易拟合的缺点。

普通的树：深度不一定一致

image

对称树：叶子节点的个数是确定的，既2的d次方，

image

叶子对应编号00、01、10、11

catboost训练好模型后将每颗树的叶子节点值存到一个向量中，在预测时只要判断出在哪个叶子节点就可以快速地取出对应的叶子节点值，因此能够提高预测效率。

原文链接