Learning to Tune XGBoost with XGBoost

Learning to Tune XGBoost with XGBoost

(学习用XGBoost调优XGBoost)

概述：

研究了元学习技术是否可以使用连续减半（连续二分法）(SH)更有效地调优机器学习模型的超参数

提出了SH算法的一个新变体MeSH(me是meta-regressors，元回归器)，它使用元回归器来确定在每一轮中应该消除哪些候选配置。

将MeSH应用于梯度提升决策树模型的超参数调优问题。

**！元学习：（automl）元学习是一个专注于学习的正交领域，或从经验中学习。

现状：

利用之前在不同数据集上调优任务的经验，在新的目标数据集上更好地调优给定模型的超参数，现有的实现这一目标的尝试通常涉及尝试使用一组已知在类似数据集上表现良好的配置的热启动超参数优化方法。

识别相似数据集的任务通常是通过计算元特征来实现的，元特征以表达的方式描述每个数据集。

计算一个里程碑式的元特征通常涉及训练一个相对便宜的模型(例如朴素贝叶斯)，并在一些保留数据上评估其性能。

这种元特征在预测算法的性能方面起着重要作用，但计算成本相对较高（特别是使用更复杂的模型生成地标元特性）

本文目标：

在使用SH进行超参数优化的上下文中，这样的元特性基本上是免费的。

SH算法从根本上讲是基于对资源不断增加的配置进行评估，之前的所有评估都可以被视为地标元特性。

让SH从经验中学习

MeSH

**目的：**利用元学习改进连续二分法

包括两个阶段

在线阶段(本质上是对SH算法的一个小修改，根据一组预测元模型的输出来决定应该消除哪些配置。

首先，我们必须为每一轮算法提供一个元模型。

其次，消除配置时，使用相应元模型的输出，而不是使用与当前资源评估的验证损失。

对于每个配置，该元模型将一个元特征向量作为输入，该元特征向量由(a)一些数据集元特征，(b)配置元特征(即，每个超参数的设置)和©在前几轮评估该配置的验证损失组成。

然后，对于每个配置，如果使用最大资源进行评估，元模型输出该配置将如何执行的预测(就验证损失而言)。

随着越来越多的地标特性(用于后期)可用，元模型的预测就越准确。

离线阶段(在离线阶段中，对元模型进行训练和调优)。

使用大量的数据来训练和调优元模型

需要使得元模型确实能够准确预测最后一轮验证损失时

XGBoost的超参数调优

使用随机搜索(RS)， SH和MeSH同时进行训练，对比结果，控制变量法，总资源数相同。

使用逻辑损失作为训练和验证损失函数

训练和调优元模型时候使用了三种候选元回归器:k -最近邻(KNN)、多层感知器(MLP)和XGBoost本身

评估结论：

MeSH能够找到一个明显优于RS和SH的解决方案，

XGBoost是元回归的最佳选择。

XGBoost的MeSH能够优于RS和SH，

MeSH并不比SH差。

能够找到一个明显优于RS和SH的解决方案，

XGBoost是元回归的最佳选择。

XGBoost的MeSH能够优于RS和SH，

MeSH并不比SH差。