一杯敬朝阳一杯敬月光
一杯敬朝阳一杯敬月光

XGBoost

目录

1. XGBoost原理

1.1 提升方法（Boosting）

1.2 提升决策树 （BDT，Boosting Decision Tree）

1.3 梯度提升决策树 （GBDT，Gradient Boosting Decision Tree）

1.4 极限梯度提升（XGBoost，eXtreme Gradient Boosting）

附一篇很赞的博客：https://www.pianshen.com/article/30521719325/

XGBoost_第1张图片

\begin{aligned} XGBoost &= eXtreme + GBDT \\ &=eXtreme + (Gradient + BDT) \\ &= eXtreme + Gradient + (Boosting + DecisionTree) \\ &Boosting \rightarrow BDT \rightarrow GBDT \rightarrow XGBoost \end{aligned}

BDT（集成决策树）：在决策树的基础上用boosting方法集成

GBDT（梯度提升决策树）：在BDT的基础上使用一阶梯度进行残差拟合

XGB：GBDT做一系列优化改进

1. XGBoost原理

1.1 提升方法（Boosting）

提升方法使用加法模型和前向分步算法

加法模型

 f(x) = \sum_{m=1}^M\beta_m b(x;\gamma _m) \ \ \ \ \ \ \ \ \ \ (1.1)

其中，b(x;\gamma _m)为基函数，\gamma_m为基函数的参数，\beta_m为基函数的系数。

在给定训练数据\{(x_i, y_i)\}_{i=1}^N及损失函数L(y,f(x))的条件下，学习加法模型f(x)成为经验风险极小化问题：

 min_{\beta_m,\gamma_m} \sum_{i=1}^N L(y_i, \sum_{m=1}^M \beta_m b(x_i;\gamma_m)) \ \ \ \ \ \ \ \ \ \ \ \ \ (1.2)

前向分步算法求解这⼀优化问题的思路：因为学习的是加法模型，可以从前向后，每⼀步只学习⼀个基函数及其系数，逐步

逼近优化⽬标函数式（ 1.2 ），则可以简化优化复杂度。具体地，每步只需优化如下损失函数：
min_{\beta,\gamma} \sum_{i=1}^N L(y_i, \beta b(x_i;\gamma)) \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (1.3)
算法 1.1 前向分步算法
输⼊：训练数据集T = \{(x_1, y_1), (x_2, y_2), \cdots , (x_N, y_N)\}； 损失函数L(y, f(x))；基函数集合 \{b(x;\gamma )\}；
输出：加法模型f(x)
（ 1）初始化f_0(x)=0
（ 2 ）对m=1, 2, \cdots, M
（ a ）极⼩化损失函数
(\beta_m, \gamma_m) = argmin_{\beta, \gamma} \sum_{i=1}^N L(y_i, f_{m-1}(x_i) + \beta b(x_i;\gamma)) \ \ \ \ \ \ \ \ \ \ \ \ (1.4)
得到参数 \beta_m, \gamma_m
(b) 更新
f_m(x) = f_{m-1}(x) + \eta_m b(x;\gamma_m) \ \ \ \ \ \ \ \ \ \ \ \ \ (1.5)
（ 3 ）得到加法模型
f(x) = f_M(x) = \sum_{m=1}^M \beta_m b(x;\gamma_m) \ \ \ \ \ \ \ \ \ \ \ \ \ \ (1.6)
前向分步算法将同时求解从 = 1 到 所有参数 \beta_m, \gamma_m 的优化问题简化为逐次求解各个 \beta_m, \gamma_m 的优化问题

1.2 提升决策树 （BDT，Boosting Decision Tree）

将Boosting中的基模型约束为决策树，将\beta_m约束为1，即为BDT。
以决策树为基函数的提升⽅法为提升决策树。
提升决策树模型可以表示为决策树的加法模型：

f_M = \sum_{m=1}^M T(x; \Theta_m) \ \ \ \ \ \ \ \ \ \ \ \ (2.1)

其中，T(x; \Theta_m)表示决策树；\Theta_m为决策树的参数；M为树的个数。

提升决策树采⽤前向分步算法。⾸先确定初始提升决策树 f_0(x)=0，第m步的模型是

f_m(x) = f_{m-1}(x) + T(x; \Theta_m)

其中，f_{m-1}(x)为当前模型，通过经验风险极小化确定下一颗决策树的参数\Theta_m，

\hat{\Theta}_m = argmin_{\Theta_m} \sum_{i=1}^N L(y_i, f_{m-1}(x_i) + T(x_i; \Theta_m)) \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (2.3)

已知训练数据集T = \{(x_1, y_1), (x_2, y_2), \cdots , (x_N, y_N)\} ，x_i \in \chi \subseteq \mathbb{R}^n ， \chi为输⼊空间，y_i \in \gamma \subseteq \mathbb{R} ， \gamma为输出空间。

如果将输⼊空间 \chi划分为J个互不相交的区域R_1, R_2, \cdots, R_J ，并且在每个区域上确定输出的常量c_j ，那么决策树可表示为

T(x; \Theta) = \sum_{j=1}^J c_j I(x \in R_j) \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (2.4)

其中，参数 \Theta = \{(R_1, c_1 ) ,(R_2, c_2 ), \cdots, (R_J, c_J ) \}表示决策树的区域划分和各区域上的常量值。J 是决策树的复杂度即叶⼦
结点个数。

提升决策树使⽤以下前向分步算法：

XGBoost_第2张图片

在前向分步算法的第m步，给定当前模型f_{m-1}(x)，需要求解

\hat{\Theta}_m = argmin_{\Theta_m} \sum_{i=1}^N L(y_i, f_{m-1}(x_i) + T(x_i; \Theta_m))

得到\hat{\Theta}_m，即第m棵树的参数。

当采⽤平⽅误差损失函数时，

L(y, f(x)) = (y - f(x))^2

其损失变为

\begin{aligned} L(y, f_{m-1}(x) + T(x; \Theta_m)) &= [y - f_{m-1}(x) - T(x; \Theta_m)]^2 \\ &= [r - T(x; \Theta_m)]^2 \end{aligned}

其中，

r = y - f_{m-1}(x) \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (2.5)

是当前模型拟合数据的残差（residual）。对回归问题的提升决策树，只需要简单地拟合当前模型的残差。
算法 2.1 回归问题的提升决策树算法
输⼊：训练数据集 T = \{(x_1, y_1), (x_2, y_2), \cdots , (x_N, y_N)\}；
输出：提升决策树f_M(x)
（ 1 ）初始化f_0(x) = 0
（ 2 ）对m = 1, 2, \cdots , M
（ a ）按照式（ 2.5 ）计算残差

r_{mi} = y_i - f_{m-1}(x_i), i = 1, 2, \cdots, N

（ b) 拟合残差 学习⼀个回归树，得到T(x; \Theta_m)
（ c ）更新f_m(x) = f_{m-1}(x) + T(x;\Theta_m)
（ 3 ）得到回归提升决策树

f_M(x) = \sum_{m=1}^M T(x; \Theta_m)

1.3 梯度提升决策树 （GBDT，Gradient Boosting Decision Tree）

GBDT VS BDT： BDT学习的是当前模型拟合数据的残差；GBDT学习的是损失函数关于梯度的负值。

梯度提升算法使⽤损失函数的负梯度在当前模型的值

\left.\begin{matrix} -[\frac{\partial L(y, f(x_i))}{\partial f(x_i)}] \end{matrix}\right| _{f(x)=f_{m-1}(x)} \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (3.1)

作为回归问题提升决策树算法中残差的近似值，拟合⼀个回归树。

算法3.1 梯度提升算法

输⼊：训练数据集T = \{(x_1, y_1), (x_2, y_2), \cdots , (x_N, y_N)\} ； 损失函数L(y, f(x))
输出：梯度提升决策树\hat{f}(x)
（ 1 ）初始化

f_0(x) = argmin_c \sum_{i=1}^N L(y_i, c)

（2）对m = 1, 2, \cdots, M

（ a）对i = 1, 2, \cdots, N ，计算

r_{mi} = \left.\begin{matrix} -[\frac{\partial L(y, f(x_i))}{\partial f(x_i)}] \end{matrix}\right| _{f(x)=f_{m-1}(x)}

（b)对 拟合⼀个回归树，得到第 棵树的叶结点区域R_{mj}, j=1, 2, \cdots, J

（ c ）对j = 1, 2, \cdots, J ，计算

c_{mj} = argmin_c \sum_{x_i \in R_{mj}} L(y_i, f_{m-1}(x_i) + c)

（ d ）更新f_m(x) = f_{m-1}(x) + \sum_{j=1}^J c_{mj}I(x \in R_{mj})
（ 3 ）得到回归梯度提升决策树
\hat{f}(x) = f_M(x) = \sum_{m=1}^M \sum_{j=1}^J c_{mj}I (x \in R_{mj})

1.4 极限梯度提升（XGBoost，eXtreme Gradient Boosting）

GBDT VS XGB

  • GBDT仅使用了一阶梯度拟合，XGB用到了二阶梯度拟合，自然阶数越高，拟合的精度越高。
  • GBDT是经验风险最小化，容易过拟合，XGB引入了正则化项
训练数据集D = \{ (x_i, y_j ) \}，其中x_i \in \mathbb{R}^m, y_i\in\mathbb{R}, |D|=n。
决策树模型
f(x) = w_{q(x) }\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (4.1)   
其中q: \mathbb{R}^m \rightarrow \{1, \cdots, T\}， 是由输⼊x向叶⼦结点编号的映射， w \in \mathbb{R}^T是叶⼦结点向量， T为决策树叶⼦节点数。
提升决策树模型预测输出
\hat{y}_i = \phi(x_i) = \sum_{k=1}^K f_k(x_i) \ \ \ \ \ \ \ \ \ \ \ \ \ \ (4.2)
其中， f_k(x)为第k棵决策树。
正则化⽬标函数，我们期待当前的树的叶子结点不要太多\gamma T；我们还期待每颗叶子结点的输出值不要太大\frac{1}{2}\lambda || w || ^2，这个是从稳定性考虑的？
\pounds (\phi) = \sum_i l(\hat{y}_i, y_i) + \sum_{k} \Omega(f_k) \ \ \ \ \ \ \ \ \ \ \ \ \ \ (4.3)
其中，\Omega(f) = \gamma T + \frac{1}{2} \lambda || w||^2 = \gamma T + \frac{1}{2}\lambda \sum_{j=1}^T w_j^2 。
第 轮⽬标函数
\pounds^t = \sum_{i=1}^n l(y_i, \hat{y}_i^{t-1} + f_t(x_i)) + \Omega(f_t) \ \ \ \ \ \ \ \ \ \ \ \ \ \ (4.4)
第t轮⽬标函数\pounds ^{t}在\hat{y}^{(t-1)}处的⼆阶泰勒展开
\begin{aligned} \pounds ^{(t)} &\simeq \sum_{i=1}^n [l(y_i, \hat{y}^{(t -1)}) + \partial _{\hat{y}^{(t-1)}} l(y_i, \hat{y}^{(t -1)})f_t(x_i) + \frac{1}{2} \partial^2 _{\hat{y}^{(t-1)}} l(y_i, \hat{y}^{(t -1)})f_t^2(x_i) ] + \Omega(f_t) \\ &= \sum_{i=1}^n [l(y_i, \hat{y}^{(t -1)}) + g_if_t(x_i) + \frac{1}{2}h_i f_t^2(x_i)] + \Omega(f_t) \end{aligned} \ \ \ \ \ \ \ \ \ \ \ \ \ (4.5)
其中， g_i =\partial _{\hat{y}^{(t-1)}} l (y_i, \hat{y}^{(t-1)}), h_i = \partial^2 _{\hat{y}^{(t-1)}} l (y_i, \hat{y}^{(t-1)})。
第t轮⽬标函数\pounds ^{(t)} 的⼆阶泰勒展开，并移除关于f_t(x_i) 常数项
\begin{aligned} \hat{\pounds}^{(t)} &=\sum_{i=1}^n [g_if_t(x_i) + \frac{1}{2}h_i f_t^2(x_i)] + \Omega(f_t) \\ &=\sum_{i=1}^n [g_if_t(x_i) + \frac{1}{2}h_i f_t^2(x_i)] + \gamma T + \frac{1}{2} \lambda \sum_{j=1}^T w^2_j \end{aligned} \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (4.6)
我们可以看到两个累加项，但是前一个是对整个数据集的累加（遍历数据集），后一个是对叶子的累加（遍历叶节点），暂时没法统一。但是我们想想，所有的数据集中的数据必然应该落到叶子上，所以对数据集的遍历可以转换为对叶子结点的遍历，遍历完一个叶子结点里面的数据，我们再遍历下一个叶子节点。即我们遍历叶子结点再遍历叶子结点所有的数据。公式表达如下：
 
定义叶结点 j上的样本的下标集合I_j =\ {i| q(x_j) = j\} ，则⽬标函数可表示为按叶结点累加的形式
\hat{\pounds}^{(t)} = \sum_{j=1}^T [(\sum_{i\in I_j}g_i)w_j + \frac{1}{2}(\sum_{i\in I_j}h_i + \lambda)w_j^2 ] + \gamma T \ \ \ \ \ \ \ \ \ \ \ \ \ (4.7)
由于
w^*_j = argmin_{w_j} \hat{\pounds}^{(t)}
可令
\frac{\partial \hat{\pounds ^{(t)}}}{\partial w_j} = 0
得到每个叶结点 的最优分数为
w_j^* = -\frac{\sum_{i \in I_j}g_i}{\sum_{i \in I_j}h_i + \lambda} \ \ \ \ \ \ \ \ \ \ (4.8)
代⼊每个叶结点 的最优分数，得到最优化⽬标函数值
\hat{\pounds}^{(t)} (q) = -\frac{1}{2} \sum_{j=1}^T\frac{(\sum_{i\in I_j }g_i)^2}{\sum_{i \in I_j}h_i + \lambda} + \gamma T \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (4.9)
假设I_L和I_R分别为分裂后左右结点的实例集，令I = I_L \cup I_R，则分裂后损失减少量由下式得出
\pounds_{split} = \frac{1}{2}[\frac{\sum_{i \in I_L g_i}^2}{\sum_{i \in I_L}h_i + \lambda} + \frac{\sum_{i \in I_R g_i}^2}{\sum_{i \in I_R }h_i + \lambda} - \frac{\sum_{i \in I g_i}^2}{\sum_{i \in I}h_i + \lambda} - \gamma ] \ \ \ \ \ \ \ \ (4.10)
⽤以评估待分裂结点。
算法 4.1 分裂查找的精确贪婪算法
输⼊：当前结点实例集I ; 特征维度d
输出：根据最⼤分值分裂
（ 1 ）gain \leftarrow 0
（ 2 ）G \leftarrow \sum_{i \in I}g_i, H \leftarrow \sum_{i \in I} h_i 
（ 3 ） for k=1 to d do
（ 3.1 ）G_L \leftarrow 0, H_L \leftarrow 0 
（ 3.2 ） for j in sorted( I, by x_{jk} ) do
（ 3.2.1） G_L \leftarrow G_L+g_i, H_L \leftarrow H_L + h_j 
（ 3.2.2） G_R \leftarrow G - G_L H_L \leftarrow H - H_L
（3.2.3）score \leftarrow max(score, \frac{G_L^2}{H_L + \lambda} + \frac{G_R^2}{H_R + \lambda} - \frac{G^2}{H + \lambda} )）
（ 3.3 ） end
（ 4 ） end

你可能感兴趣的:(机器学习,机器学习,决策树,XGBoost)

  • 如何使用Python对Excel、CSV文件完成数据清洗与预处理？ Python 集中营 python数据分析应用pythonexcel开发语言
    在数据分析和机器学习项目中，数据清洗与预处理是不可或缺的重要环节。现实世界中的数据往往是不完整、不一致且含有噪声的，这些问题会严重影响数据分析的质量和机器学习模型的性能。Python作为一门强大的编程语言，提供了多种库和工具来帮助我们高效地完成数据清洗与预处理任务，其中最常用的库包括Pandas、NumPy、SciPy等。本文将详细介绍如何使用Python对Excel和CSV格式的数据文件进行清洗
  • 理解深度学习1-简介 shangjg3 PyTorch深度学习实战深度学习人工智能
    人工智能（AI）旨在打造模仿智能行为的系统。它覆盖了众多方法，涵盖了基于逻辑、搜索和概率推理的技术。机器学习是AI的一个分支，它通过对观测数据进行数学模型拟合来学习决策制定。这个领域近年来迅猛发展，现在几乎（虽不完全准确）与AI同义。深度神经网络是一类机器学习模型，将其应用到数据上的过程称为深度学习。目前，深度网络是最强大和最实用的机器学习模型之一，常见于日常生活中。我们常常用自然语言处理（Nat
  • 【Java】已解决：`java.sql.SQLSyntaxErrorException: SQL` 屿小夏 javasql开发语言
    个人简介：某不知名博主，致力于全栈领域的优质博客分享|用最优质的内容带来最舒适的阅读体验！文末获取免费IT学习资料！文末获取更多信息精彩专栏推荐订阅收藏专栏系列直达链接相关介绍书籍分享点我跳转书籍作为获取知识的重要途径，对于IT从业者来说更是不可或缺的资源。不定期更新IT图书，并在评论区抽取随机粉丝，书籍免费包邮到家AI前沿点我跳转探讨人工智能技术领域的最新发展和创新，涵盖机器学习、深度学习、自然
  • AIGC带来数据革命：R语言如何成为数据科学家的秘密武器？ 程序边界 AIGCr语言开发语言
    文章目录一、R语言的基础特性1.1R语言的起源与发展1.2R语言的核心优势二、R语言在AIGC中的应用场景2.1数据预处理与清洗2.2文本分析与生成2.3机器学习与模型构建2.4数据可视化与报告生成三、R语言在AIGC中的具体案例3.1金融数据分析与预测3.2医疗数据分析与建模3.3社交媒体数据分析与情感分析四、R语言在AIGC中的未来展望4.1与深度学习框架的集成4.2与云计算平台的集成4.3与
  • 运维Tips | Ubuntu 24.04 安装配置 samba 文件共享 全栈工程师修炼指南 企业IT运维实践运维ubuntulinux服务器
    [知识是人生的灯塔，只有不断学习，才能照亮前行的道路]Ubuntu24.04安装配置samba文件共享描述：我们将Ubuntu24.04作为机器学习的工作站，往往需要将Ubuntu24.04中的数据或者代码共享给我们其他使用Windows系统的小伙伴，此时我们可以使用SAMBA，开辟出一个文件共享目录供大家进行数据交换使用。SAMBA是什么?在Linux中，SAMBA是一个开源的软件套件，它提供了
  • 人工智能与机器学习入门：基尼系数（Gini Index）和基于熵（Entropy） 基尼系数基于熵机器学习入门
    在决策树应用一文中，在构建决策分类树应用决策算法时，介绍了基尼系数（GiniIndex）和基于熵（Entropy）两种算法。本文通过实例来更加深入的介绍一下这两个算法。仍然以简单的数据为例：id喜欢颜色是否有喉结身高性别1绿否165女2蓝是170男3粉否172女4绿是175男基尼系数分别对喜欢颜色是否有喉结求基尼系数如下：喜欢的颜色id喜欢颜色性别1绿女2蓝男3粉女4绿男对于姓别女分类而言，数据如
  • 构建未来智能：在Mojo模型中自定义模型架构的艺术 2401_85761003 mojo架构
    构建未来智能：在Mojo模型中自定义模型架构的艺术在深度学习的世界里，模型架构的设计往往决定了算法的性能和适用性。Mojo模型，作为一个假想中的高级机器学习框架，允许用户实现自定义的模型架构来解决特定的问题。本文将深入探讨如何在Mojo模型中实现自定义模型架构，并提供详细的步骤和代码示例，以帮助读者掌握这一强大的技术。自定义模型架构的重要性灵活性自定义模型架构提供了设计适合特定问题需求的模型的灵活
  • 最新计算机专业毕设论文选题大全基于BeautifulSoup的毕业设计详细题目100套优质毕设项目分享(源码+论文)✅ 会写代码的羊 毕设选题课程设计beautifulsoup毕业设计毕业设计题目毕设题目python网络爬虫
    文章目录前言最新毕设选题（建议收藏起来）基于BeautifulSoup的毕业设计选题毕设作品推荐前言2025全新毕业设计项目博主介绍：✌全网粉丝10W+,CSDN全栈领域优质创作者，博客之星、掘金/华为云/阿里云等平台优质作者。技术范围：SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、大数据、机器学习等设计与开发。主要内容：免费
  • 如果我想成为一名大数据和算法工程师，我需要学会哪些技能，获取大厂的offer 红豆和绿豆 杂谈大数据算法
    成为一名大数据和算法工程师并获取大厂Offer，需要掌握一系列核心技能，并具备丰富的项目经验与扎实的理论基础。以下是详细的技能要求和建议：---###**1.数学与理论基础**-**数学知识**：掌握线性代数、微积分、概率论和统计学，这些是设计和理解算法的基础。-**机器学习理论**：深入理解常见机器学习算法（如线性回归、逻辑回归、决策树、随机森林、SVM、K-means等），了解其原理、优缺点及
  • 关于非线性优化小记 文弱_书生 乱七八糟算法
    非线性优化（NonlinearOptimization）1.什么是非线性优化？非线性优化是指目标函数或约束条件中至少有一个是非线性的优化问题。它广泛应用于工程、经济、人工智能、机器学习等领域，用于求解最优解的问题。非线性优化通常可以表示为以下数学形式：min⁡xf(x)或max⁡xf(x)\min_{x}f(x)\quad\text{或}\quad\max_{x}f(x)xminf(x)或xmax
  • 麦萌短剧技术解构《我跑江湖那些年》：从“仇恨驱动型算法”到“多方安全计算的自我救赎” 短剧萌 算法安全
    《我跑江湖那些年》以慕青青的复仇与蜕变为主线，展现了分布式系统中的信任崩塌与对抗性博弈的模型优化。本文将从机器学习视角拆解这场“江湖算法”的技术隐喻，探讨如何在数据污染的困境中实现参数净化。1.初始训练集：暴力采样与特征空间坍缩慕青青（Agent_M）的成长环境可视为一个高偏差训练集：数据污染事件：村主任（Node_V）通过恶意共识算法（如嫉妒驱动的PoW机制），煽动村民（Sub_Nodes）对果
  • 学习pytorch 阿什么名字不会重复呢 学习pytorch人工智能
    学习PyTorch是一个很好的选择，尤其是如果你对深度学习和机器学习感兴趣。以下是一个详细的学习计划，可以帮助你系统地掌握PyTorch的基本概念和应用。学习计划概览学习周期：8周（每周约4-5小时）目标：掌握PyTorch基础，能够实现简单的深度学习模型。第1周：基础知识目标：了解深度学习的基础知识，掌握Python和NumPy基础。任务：学习Python基础（数据类型、控制流、函数、类）。资源
  • 【机器学习-基础知识】统计和贝叶斯推断 人类发明了工具 ML&DL学习分享机器学习概率论人工智能
    1.概率论基本概念回顾1.概率分布定义：概率分布（ProbabilityDistribution）指的是随机变量所有可能取值及其对应概率的集合。它描述了一个随机变量可能取的所有值以及每个值被取到的概率。对于离散型随机变量，使用概率质量函数来描述。对于连续型随机变量，使用概率密度函数来描述。举例说明：投掷一颗六面骰子，每个面上的数字（1到6）都有相同的概率（1/6）出现，这就是一个简单的概率分布例子
  • AI驱动的代码重构与优化技术 AI天才研究院 DeepSeekR1&大数据AI人工智能大模型ChatGPTjavapythonjavascriptkotlingolang架构人工智能大厂程序员硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLM系统架构设计软件哲学Agent程序员实现财富自由
    AI驱动的代码重构与优化技术概述什么是AI驱动的代码重构与优化？AI驱动的代码重构与优化技术，是指利用人工智能，特别是机器学习和深度学习的算法，对软件代码进行自动分析和改进的技术。这种技术能够通过学习大量的代码样本，识别出代码中的模式、问题和改进点，从而自动完成代码的重构和优化。重构的定义重构（Refactoring）是改进代码内部结构而不改变外部行为的过程。其目的通常是为了提高代码的可读性、可维
  • XGBoost算法的相关知识 VariableX 机器学习基础算法机器学习
    文章目录背景定义损失函数（1）原始目标函数Obj（2）原始目标函数Obj的泰勒展开（3）具体化目标函数的泰勒展开细节（4）求解目标函数中的wjw_jwj最优切分点算法基于分桶的划分策略正则化模型复杂度Shrinkage特征采样和样本采样EarlyStopping缺失值处理优缺点总结背景讲XGBoost之前，先引入一个实际问题，即预测一家人每个人玩游戏的意愿值：如果我们用XGBoost解决这个问题，
  • 机器学习Pandas_learn3 XW-ABAP 机器学习pandas
    frompandasimportDataFrameimportnumpypaints={"车名":["奥迪Q5L","哈弗H6","奔驰GLC"],"最低报价":[numpy.nan,9.80,numpy.nan],"最高报价":[49.80,23.10,58.78]}goods_in=DataFrame(paints,index=[1,2,3])print(goods_in)goods_in_n
  • 机器学习中输入输出Tokens的概念详解 爱吃土豆的程序员 机器学习基础机器学习人工智能Tokens
    随着深度学习技术的快速发展，大语言模型（LargeLanguageModels,LLMs）已经成为自然语言处理（NLP）领域的一个热点研究方向。这些模型不仅能够生成高质量的文本，还能在多种任务中展现出卓越的表现，比如机器翻译、问答系统、文本摘要等。在大语言模型的工作流程中，Tokens的概念扮演着至关重要的角色。本文将详细介绍大语言模型如何使用Tokens，以及如何计算Tokens的数量。什么是T
  • 【sklearn 01】人工智能概述 @金色海岸 人工智能sklearnpython
    一、人工智能，机器学习，深度学习人工智能指由人类制造出的具有智能的机器。这是一个非常大的范围，长远目标是让机器实现人工智能，但目前我们仍处在非常初始的阶段，甚至不能称为智能机器学习是指通过数据训练出能完成一定功能的模型，是实现人工智能的手段之一，也是目前最主流的人工智能实现方法深度学习则是机器学习的分支，超过8层的神经网络模型就叫深度学习，深度即层数。深度学习目前在语音、图像等领域取得很好的效果
  • 【人工智能】【Python】在Scikit-Learn中使用决策树算法（ID3和CART） SmallBambooCode 机器学习人工智能python算法scikit-learn决策树机器学习ai
    importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.treeimportDecisionTreeClassifier,plot_tree#加载数据集iris=load_iri
  • 【sklearn 03】逻辑回归、决策树、支持向量机 @金色海岸 sklearn逻辑回归决策树
    逻辑回归、决策树、支持向量机-逻辑回归logisticsregression（逻辑回归）算法是经典的分类算法，基本思想是构造一个概率的拟合函数。决策树决策树的基本思想是根据样例去推断其背后的树形知识表征支持向量机支持向量机SVM(supportvectormachine)的基本思想是寻找最大的间隔的分割超平面。离分割超平面最近的这些样本点称为支持向量机
  • 【AI】使用Python实现机器学习小项目教程 丶2136 AI人工智能python机器学习
    引言在本教程中，我们将带领您使用Python编程语言实现一个经典的机器学习项目——鸢尾花（Iris）分类。通过这个项目，您将掌握机器学习的基本流程，包括数据加载、预处理、模型训练、评估和优化等步骤。论文AIGC检测，降AIGC检测，AI降重，三连私信免费获取：ReduceAIGC9折券！DetectAIGC立减2元券！AI降重9折券！目录引言一、项目背景与目标二、开发环境准备2.1所需工具2.2环
  • AI人工智能中的概率论与统计学原理与Python实战：Python实现概率模型 AI天才研究院 AI实战AI大模型企业级应用开发实战大数据人工智能语言模型AILLMJavaPython架构设计AgentRPA
    1.背景介绍随着人工智能技术的不断发展，概率论与统计学在人工智能领域的应用越来越广泛。概率论与统计学是人工智能中的基础知识之一，它们在机器学习、深度学习、自然语言处理等领域都有着重要的作用。本文将介绍概率论与统计学的核心概念、算法原理、具体操作步骤以及Python实现方法，并通过具体代码实例进行详细解释。2.核心概念与联系2.1概率论与统计学的区别概率论是一门数学学科，它研究随机事件发生的可能性。
  • 技术解析麦萌短剧《月光下的你》：从「时间序列的对抗扰动」到「加密身份的收敛证明」 萌萌短剧 重构
    《月光下的你》以十六年的时间跨度展开一场关于「数据污染」与「身份验证」的深度博弈，本文将用机器学习视角拆解这场跨越时空的模型纠偏实验。1.数据污染事件：十六年前的对抗攻击许芳菲（Agent_Xu）的遭遇可视为时间序列上的对抗样本注入：标签篡改攻击：许清清（Adversary_XuQing）通过伪造标签（Label_Tampering）将Agent_Xu与傅临州（Node_Fu）强行关联，触发道德约
  • 机器学习 [白板推导]（三）[线性分类] 神齐的小马 机器学习分类人工智能
    4.线性分类4.1.线性分类的典型模型硬分类：输出结果只有0或1这种离散结果；感知机线性判别分析Fisher软分类：会输出0-1之间的值作为各个类别的概率；概率生成模型：高斯判别分析GDA、朴素贝叶斯，主要建模的是p(x⃗,y)p(\vec{x},y)p(x,y)概率判别模型：逻辑回归，主要建模的是p(y∣x⃗)p(y|\vec{x})p(y∣x)4.2.感知机4.2.1.基本模型  模型：f(x
  • Ollama 基本概念 Mr_One_Zhang 学习Ollamaai
    Ollama是一个本地化的、支持多种自然语言处理（NLP）任务的机器学习框架，专注于模型加载、推理和生成任务。通过Ollama，用户能够方便地与本地部署的大型预训练模型进行交互。1.模型（Model）在Ollama中，模型是核心组成部分。它们是经过预训练的机器学习模型，能够执行不同的任务，例如文本生成、文本摘要、情感分析、对话生成等。Ollama支持多种流行的预训练模型，常见的模型有：deepse
  • 人工智能直通车系列24【机器学习基础】（机器学习模型评估指标（回归）） 浪九天 人工智能直通车开发语言python机器学习深度学习神经网络人工智能
    目录机器学习模型评估指标（回归）1.均方误差（MeanSquaredError,MSE）2.均方根误差（RootMeanSquaredError,RMSE）3.平均绝对误差（MeanAbsoluteError,MAE）4.决定系数（CoefficientofDetermination,R2）机器学习模型评估指标（回归）1.均方误差（MeanSquaredError,MSE）详细解释均方误差是回归问
  • 从零开始学机器学习——构建一个推荐web应用 努力的小雨 机器学习机器学习前端人工智能
    首先给大家介绍一个很好用的学习地址：https://cloudstudio.net/columns今天，我们终于将分类器这一章节学习完活了，和回归一样，最后一章节用来构建web应用程序，我们会回顾之前所学的知识点，并新增一个web应用用来让模型和用户交互。所以今天的主题是美食推荐。美食推荐Web应用程序首先，请不要担心，本章节并不会涉及过多的前端知识点。我们此次的学习重点在于机器学习本身，因此我们
  • Python自动化炒股：利用XGBoost和LightGBM进行股票市场预测的实战案例 云策量化 Python自动化炒股量化投资量化软件python量化交易QMTPTrade量化炒股量化投资deepseek
    推荐阅读：《程序化炒股：如何申请官方交易接口权限？个人账户可以申请吗？》Python自动化炒股：利用XGBoost和LightGBM进行股票市场预测的实战案例在当今快节奏的金融市场中，自动化交易和预测模型成为了投资者和交易者的重要工具。Python以其强大的数据处理能力和丰富的机器学习库，成为了实现这些模型的首选语言。本文将带你了解如何使用XGBoost和LightGBM这两个流行的机器学习算法来
  • 【sklearn 04】DNN、CNN、RNN @金色海岸 sklearndnncnn
    DNNDNN（DeepNeuralNetworks，深度神经网络）是一种相对浅层机器学习模型具有更多参数，需要更多数据进行训练的机器学习算法CNNCNN（convolutionalNeuralNetworks，卷积神经网络）是一种从局部特征开始学习并逐渐整合的神经网络。卷积神经网络通过卷积层来进行特征提取，通过池化层进行降维，相比较全连接的神经网络，卷积神经网络降低了模型复杂度，减少了模型的参数，
  • 【sklearn 02】监督学习、非监督下学习、强化学习 @金色海岸 sklearn学习人工智能
    监督学习、非监督学习、强化学习**机器学习通常分为无监督学习、监督学习和强化学习三类。-第一类：无监督学习（unsupervisedlearning），指的是从信息出发自动寻找规律，分析数据的结构，常见的无监督学习任务有聚类、降维、密度估计、关联分析等。-第二类：监督学习（supervisedlearning），监督学习指的是使用带标签的数据去训练模型，并预测未知数据的标签。监督学习有两种，当预测
  • ASM系列六 利用TreeApi 添加和移除类成员 lijingyao8206 jvm动态代理ASM字节码技术TreeAPI
        同生成的做法一样，添加和移除类成员只要去修改fields和methods中的元素即可。这里我们拿一个简单的类做例子，下面这个Task类，我们来移除isNeedRemove方法，并且添加一个int 类型的addedField属性。   package asm.core; /** * Created by yunshen.ljy on 2015/6/
  • Springmvc-权限设计 bee1314 springWebjsp
    万丈高楼平地起。 权限管理对于管理系统而言已经是标配中的标配了吧，对于我等俗人更是不能免俗。同时就目前的项目状况而言，我们还不需要那么高大上的开源的解决方案，如Spring Security，Shiro。小伙伴一致决定我们还是从基本的功能迭代起来吧。 目标： 1.实现权限的管理（CRUD） 2.实现部门管理 （CRUD) 3.实现人员的管理 （CRUD） 4.实现部门和权限
  • 算法竞赛入门经典（第二版）第2章习题 CrazyMizzz c算法
    2.4.1 输出技巧 #include <stdio.h> int main() { int i, n; scanf("%d", &n); for (i = 1; i <= n; i++) printf("%d\n", i); return 0; } 习题2-2 水仙花数(daffodil
  • struts2中jsp自动跳转到Action 麦田的设计者 jspwebxmlstruts2自动跳转
    1、在struts2的开发中，经常需要用户点击网页后就直接跳转到一个Action，执行Action里面的方法，利用mvc分层思想执行相应操作在界面上得到动态数据。毕竟用户不可能在地址栏里输入一个Action（不是专业人士）   2、＜jsp:forward page="xxx.action" /＞ ，这个标签可以实现跳转，page的路径是相对地址,不同与jsp和j
  • php 操作webservice实例 IT独行者 PHPwebservice
    首先大家要简单了解了何谓webservice，接下来就做两个非常简单的例子，webservice还是逃不开server端与client端。我测试的环境为：apache2.2.11 php5.2.10做这个测试之前，要确认你的php配置文件中已经将soap扩展打开，即extension=php_soap.dll; OK 现在我们来体验webservice //server端 serve
  • Windows下使用Vagrant安装linux系统 _wy_ windowsvagrant
    准备工作： 下载安装 VirtualBox ：https://www.virtualbox.org/ 下载安装 Vagrant ：http://www.vagrantup.com/ 下载需要使用的 box ： 官方提供的范例：http://files.vagrantup.com/precise32.box 还可以在 http://www.vagrantbox.es/ 
  • 更改linux的文件拥有者及用户组(chown和chgrp) 无量 clinuxchgrpchown
    本文（转） http://blog.163.com/yanenshun@126/blog/static/128388169201203011157308/ http://ydlmlh.iteye.com/blog/1435157 一、基本使用： 使用chown命令可以修改文件或目录所属的用户：        命令
  • linux下抓包工具 矮蛋蛋 linux
    原文地址： http://blog.chinaunix.net/uid-23670869-id-2610683.html tcpdump -nn -vv -X udp port 8888 上面命令是抓取udp包、端口为8888 netstat -tln 命令是用来查看linux的端口使用情况 13 . 列出所有的网络连接 lsof -i 14. 列出所有tcp 网络连接信息 l
  • 我觉得mybatis是垃圾！：“每一个用mybatis的男纸，你伤不起” alafqq mybatis
    最近看了  每一个用mybatis的男纸，你伤不起 原文地址 ：http://www.iteye.com/topic/1073938 发表一下个人看法。欢迎大神拍砖； 个人一直使用的是Ibatis框架，公司对其进行过小小的改良； 最近换了公司，要使用新的框架。听说mybatis不错；就对其进行了部分的研究； 发现多了一个mapper层；个人感觉就是个dao；
  • 解决java数据交换之谜 百合不是茶 数据交换
    交换两个数字的方法有以下三种 ，其中第一种最常用   /* 输出最小的一个数 */ public class jiaohuan1 { public static void main(String[] args) { int a =4; int b = 3; if(a<b){ // 第一种交换方式 int tmep =
  • 渐变显示 bijian1013 JavaScript
    <style type="text/css"> #wxf { FILTER: progid:DXImageTransform.Microsoft.Gradient(GradientType=0, StartColorStr=#ffffff, EndColorStr=#97FF98); height: 25px; } </style>
  • 探索JUnit4扩展：断言语法assertThat bijian1013 java单元测试assertThat
    一.概述         JUnit 设计的目的就是有效地抓住编程人员写代码的意图，然后快速检查他们的代码是否与他们的意图相匹配。 JUnit 发展至今，版本不停的翻新，但是所有版本都一致致力于解决一个问题，那就是如何发现编程人员的代码意图，并且如何使得编程人员更加容易地表达他们的代码意图。JUnit 4.4 也是为了如何能够
  • 【Gson三】Gson解析{"data":{"IM":["MSN","QQ","Gtalk"]}} bit1129 gson
      如何把如下简单的JSON字符串反序列化为Java的POJO对象? {"data":{"IM":["MSN","QQ","Gtalk"]}}   下面的POJO类Model无法完成正确的解析：   import com.google.gson.Gson;
  • 【Kafka九】Kafka High Level API vs. Low Level API bit1129 kafka
    1. Kafka提供了两种Consumer API High Level Consumer API Low Level Consumer API(Kafka诡异的称之为Simple Consumer API，实际上非常复杂) 在选用哪种Consumer API时，首先要弄清楚这两种API的工作原理，能做什么不能做什么，能做的话怎么做的以及用的时候，有哪些可能的问题  
  • 在nginx中集成lua脚本：添加自定义Http头，封IP等 ronin47 nginx lua
    Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。 强制搜索引擎只索引mixlr.com Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 location /{
  • java-归并排序 bylijinnan java
    import java.util.Arrays; public class MergeSort { public static void main(String[] args) { int[] a={20,1,3,8,5,9,4,25}; mergeSort(a,0,a.length-1); System.out.println(Arrays.to
  • Netty源码学习-CompositeChannelBuffer bylijinnan javanetty
    CompositeChannelBuffer体现了Netty的“Transparent Zero Copy” 查看API（ http://docs.jboss.org/netty/3.2/api/org/jboss/netty/buffer/package-summary.html#package_description） 可以看到，所谓“Transparent Zero Copy”是通
  • Android中给Activity添加返回键 hotsunshine Activity
    // this need android:minSdkVersion="11" getActionBar().setDisplayHomeAsUpEnabled(true); @Override public boolean onOptionsItemSelected(MenuItem item) {
  • 静态页面传参 ctrain 静态
    $(document).ready(function () { var request = { QueryString : function (val) { var uri = window.location.search; var re = new RegExp("" + val + "=([^&?]*)", &
  • Windows中查找某个目录下的所有文件中包含某个字符串的命令 daizj windows查找某个目录下的所有文件包含某个字符串
    findstr可以完成这个工作。   [html]  view plain copy   >findstr /s /i "string" *.*   上面的命令表示，当前目录以及当前目录的所有子目录下的所有文件中查找"string&qu
  • 改善程序代码质量的一些技巧 dcj3sjt126com 编程PHP重构
    有很多理由都能说明为什么我们应该写出清晰、可读性好的程序。最重要的一点，程序你只写一次，但以后会无数次的阅读。当你第二天回头来看你的代码 时，你就要开始阅读它了。当你把代码拿给其他人看时，他必须阅读你的代码。因此，在编写时多花一点时间，你会在阅读它时节省大量的时间。让我们看一些基本的编程技巧：    尽量保持方法简短    尽管很多人都遵
  • SharedPreferences对数据的存储 dcj3sjt126com
    SharedPreferences简介：                                                   &nbs
  • linux复习笔记之bash shell (2) bash基础 eksliang bashbash shell
    转载请出自出处： http://eksliang.iteye.com/blog/2104329 1.影响显示结果的语系变量（locale）  1.1locale这个命令就是查看当前系统支持多少种语系，命令使用如下： [root@localhost shell]# locale LANG=en_US.UTF-8 LC_CTYPE="en_US.UTF-8"
  • Android零碎知识总结 gqdy365 android
    1、CopyOnWriteArrayList add(E) 和remove(int index)都是对新的数组进行修改和新增。所以在多线程操作时不会出现java.util.ConcurrentModificationException错误。 所以最后得出结论：CopyOnWriteArrayList适合使用在读操作远远大于写操作的场景里，比如缓存。发生修改时候做copy，新老版本分离，保证读的高
  • HoverTree.Model.ArticleSelect类的作用 hvt Web.netC#hovertreeasp.net
    ArticleSelect类在命名空间HoverTree.Model中可以认为是文章查询条件类，用于存放查询文章时的条件，例如HvtId就是文章的id。HvtIsShow就是文章的显示属性，当为-1是，该条件不产生作用，当为0时，查询不公开显示的文章，当为1时查询公开显示的文章。HvtIsHome则为是否在首页显示。HoverTree系统源码完全开放，开发环境为Visual Studio 2013
  • PHP 判断是否使用代理 PHP Proxy Detector 天梯梦 proxy
    1. php 类 I found this class looking for something else actually but I remembered I needed some while ago something similar and I never found one. I'm sure it will help a lot of developers who try to
  • apache的math库中的回归——regression（翻译） lvdccyb Mathapache
    这个Math库，虽然不向weka那样专业的ML库，但是用户友好，易用。 多元线性回归，协方差和相关性（皮尔逊和斯皮尔曼），分布测试（假设检验，t，卡方，G），统计。   数学库中还包含，Cholesky，LU，SVD，QR，特征根分解，真不错。   基本覆盖了：线代，统计，矩阵， 最优化理论 曲线拟合 常微分方程 遗传算法（GA）， 还有3维的运算。。。
  • 基础数据结构和算法十三：Undirected Graphs (2) sunwinner Algorithm
      Design pattern for graph processing. Since we consider a large number of graph-processing algorithms, our initial design goal is to decouple our implementations from the graph representation
  • 云计算平台最重要的五项技术 sumapp 云计算云平台智城云
    云计算平台最重要的五项技术 1、云服务器 云服务器提供简单高效，处理能力可弹性伸缩的计算服务，支持国内领先的云计算技术和大规模分布存储技术，使您的系统更稳定、数据更安全、传输更快速、部署更灵活。 特性 机型丰富 通过高性能服务器虚拟化为云服务器，提供丰富配置类型虚拟机，极大简化数据存储、数据库搭建、web服务器搭建等工作； 仅需要几分钟，根据CP
  • 《京东技术解密》有奖试读获奖名单公布 ITeye管理员 活动
    ITeye携手博文视点举办的12月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。  12月试读活动回顾： http://webmaster.iteye.com/blog/2164754 本次技术图书试读活动获奖名单及相应作品如下： 一等奖（两名） Microhardest：http://microhardest.ite
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他