提升-GBDT与XGboost

文章目录

  • 提升与GBDT
    • 由决策树和随机森林的关系的思考
    • 提升的概念
    • 提升算法
    • 梯度算法推导
    • 梯度近似
  • 二阶导与XGboost
    • 决策树的描述
    • 正定项的定义
    • 目标函数计算
    • 构建决策树的结构
    • XGboost 小结
  • Adaboost
    • Adaboost 举例
    • Adaboost 总结

提升与GBDT

由决策树和随机森林的关系的思考

提升-GBDT与XGboost_第1张图片
考虑在建立决策树时,如何适当地建立决策树使得建立决策树后可直接得到预测结果(即是否可以不采用投票的方式得到结果呢?)

提升的概念

根据上一部分的思考,引入了提升的概念。在每一步产生一个弱预测模型,并加权累加得到总模型。
提升-GBDT与XGboost_第2张图片

提升算法

提升-GBDT与XGboost_第3张图片
如果Loss函数以MSE值为定义,则MSE最小最优解是均值
如果Loss函数以绝对值最小为定义,则绝对最小的最优解为中位数

梯度算法推导

提升-GBDT与XGboost_第4张图片
整个式子的意思,是已知了m-1个弱分类器得到的最优解,想得到m个弱分类器能得到的最优解。这个解如何求得呢?可以将m-1个弱分类器得到的最优解加一个f,这个f可以使得将m-1个弱分类器得到的最优解预测值与f相加之后与真实值的loss function取最小值(对应的公式形式就是上图黑色框中的公式)。

梯度近似

提升-GBDT与XGboost_第5张图片
提升-GBDT与XGboost_第6张图片

这里使用L对f的梯度做为f(这个f可以使得将m-1个弱分类器得到的最优解预测值与f相加之后与真实值的loss function取最小值)的近似。
f取何值时loss function最小?解决这一问题,直接使用loss function对f求导数,也就是loss function对f求偏导梯度下降。
提升-GBDT与XGboost_第7张图片

二阶导与XGboost

提升-GBDT与XGboost_第8张图片

决策树的描述

提升-GBDT与XGboost_第9张图片

正定项的定义

提升-GBDT与XGboost_第10张图片

目标函数计算

提升-GBDT与XGboost_第11张图片
提升-GBDT与XGboost_第12张图片
提升-GBDT与XGboost_第13张图片
提升-GBDT与XGboost_第14张图片

构建决策树的结构

提升-GBDT与XGboost_第15张图片

XGboost 小结

提升-GBDT与XGboost_第16张图片

Adaboost

在提升的同时,是否可以考虑给样本加权值呢?
给预测错误的样本加上大的权值,给预测正确的样本加小权值
初始情况,预测结果未知,所有样本的权值均相等,为1/N,D1为第一次权值分布
提升-GBDT与XGboost_第17张图片
提升-GBDT与XGboost_第18张图片
正常情况下,选择一个分类器,分类误差率em<0.5,则根据αm的公式,αm>0
提升-GBDT与XGboost_第19张图片
提升-GBDT与XGboost_第20张图片

Adaboost 举例

提升-GBDT与XGboost_第21张图片
提升-GBDT与XGboost_第22张图片
提升-GBDT与XGboost_第23张图片
提升-GBDT与XGboost_第24张图片
提升-GBDT与XGboost_第25张图片
提升-GBDT与XGboost_第26张图片
提升-GBDT与XGboost_第27张图片
提升-GBDT与XGboost_第28张图片
提升-GBDT与XGboost_第29张图片
提升-GBDT与XGboost_第30张图片
提升-GBDT与XGboost_第31张图片

Adaboost 总结

提升-GBDT与XGboost_第32张图片

你可能感兴趣的:(提升-GBDT与XGboost)