我是疯子喽

机器学习--分类算法--集成学习算法理论（RF/AdaBoost/GBDT/XGBoost算法）

一集成学习背景

1 集成学习概念

2 集成学习优势

1）弱分类器之间存在差异性的问题

2）对于数据集过大或者过小的问题

3）对于数据集的划分边界过于复杂，线性模型很难描述的问题

4）对于多个异构数据集而言，数据集很难合并的问题

3 集成学习三种思想

1）Bagging思想（Bootstrap Aggregating,自主汇聚法）

2）Boosting思想（存在弱学习器，可通过提升技术变成强学习器）

3）Stacking思想

二 Bagging

1 随机森林算法（Random Forest）

1）算法原理

2）优点

3）缺点

2 随机森林的推广算法

1）Extra Tree算法原理（一般不推荐使用）

2）Totally Random Trees Embedding算法原理（TRTE，一种无监督的特征转换）

3）Isolation Forest算法原理（IForest，一种异常点检测算法）

三 Boosting思想

1 AdaBoost算法

1）概念（关注提升过程）

2）算法原理

3）算法流程

4）算法优缺点

2 GBDT（Gradient Boosting Dicision Tree）

1）算法概念

2）算法流程（以回归问题为例）

3）算法处理分类问题，损失函数采用对数损失函数（交叉熵损失函数）

4）算法优缺点

3 XGBOOST（GBDT的变种算法）

1）算法概念

2）算法原理

3）算法学习策略（树生成策略）

4）XGBoost特性（优点）

四 Stacking思想

一集成学习背景

1 集成学习概念

指将若干个学习器进行组合而得到一个新的学习器

2 集成学习优势

1）弱分类器之间存在差异性的问题

导致分类边界的不同（换言之存在错误），那么将多个弱分类器合并之后，会得到更加合理的分类边界

2）对于数据集过大或者过小的问题

我们可以采用划分或者有放回操作，得到不同的数据子集，分别训练不同的学习器，在组合成一个新的学习器

3）对于数据集的划分边界过于复杂，线性模型很难描述的问题

可以训练多个学习器，再组合成一个新的学习器

4）对于多个异构数据集而言，数据集很难合并的问题

可以对每个数据集训练一个学习器，在组合成一个新的学习器

3 集成学习三种思想

1）Bagging思想（Bootstrap Aggregating,自主汇聚法）

在原始数据集上 $\left \{ X_{i} \right \}_{i=1}^{m}$ 通过bootstap有放回抽样方式，抽取出S个新的数据集 $\left \{ X_{i}^{{}'} \right \}_{i=1}^{m}$ （存在重复数据，实际训练时需去重），分别训练S个学习器，并进行组合成新的学习器（并行训练）

2）Boosting思想（存在弱学习器，可通过提升技术变成强学习器）

每一步产生弱学习器，并加权累计到总学习器上，且每一步的弱学习器生成都是依据损失函数的梯度方式（串行训练）

3）Stacking思想（堆叠+分阶段）

训练多个学习器产生多个输出，并作下个学习器的输入，并重复多个阶段进行（类似于深度学习中的神经网络）

注意：Bagging与Boosting区别

第一点：样本角度

Bagging每一轮样本是从原始数据中有放回随机抽取的

Boosting每一轮样本为原始数据，但是样本权重或者目标属性由上一轮损失函数调整

第二点：计算方式角度

Bagging采用并行计算

Boosting采用串行计算

第三点：泛化误差角度

Bagging降低的是模型的方差（ $var=E[(f(x)-\bar{f}(x))^2]$ ）

Boosting降低的是模型的偏差（ $bias=E[(y-\bar{f}(x))^{2}]$ ）

二 Bagging

1 随机森林算法（Random Forest）

1）算法原理

在原始数据集中采用自助法（Bootstrap）抽取出新数据集
从所有属性中随机抽取K个特征属性，再进行选择特征属性和分裂特征属性（纯度损失的度量）创建决策树
重复上述步骤S次，创建S个决策树
将S个决策树形成森林，通过平均值法或者多数表决法进行预测样本

2）优点

第一点：无需进行交叉验证或者使用一个独立测试集来获取误差的无偏估计（换言之它可以在内部进行误差的无偏估计）

oob样本（袋外样本）

数据集足够大，采用bootstrap抽样，对于第K棵树而言，约有1/3总样本未参与第K棵树的生成，它们被称为第K棵树的袋外样本

oob错误率（袋外错误率）

第一步：每个袋外样本，计算它作为袋外样本的树（约有1/3棵树），对其分类情况

第二步：多数表决法预测分类情况

第三步：使用误分类样本个数占总袋外样本的比率作为袋外错误率

第二点：可以得到特征重要度，进行特征选择

随机森林中一个特征被分割的次数越多，那么该特征重要度越高
特征重要度 = #随机森林中具有该特征的内部节点总数 / #随机森林中具有该特征决策树的所有内部节点总数

第三点：可以并行训练，对于大规模数据集具有训练优势

3）缺点

第一点：对于特别的异常样本，使得RF容易陷入过拟合

第二点：对于取值较多的特征，使得RF决策受到影响

2 随机森林的推广算法

1）Extra Tree算法原理（一般不推荐使用）

原始数据集不采用抽样方式，直接使用原始数据集
从所有特征属性中随机选择K个属性，再从K个属性随机选择特征属性以及分裂特征属性，创建树
重复上述步骤S次，创建S个树
S个树形成森林，采用平均值法或者多数表决发，预测样本

注意：在某些特别情况下，可能优于RF算法

2）Totally Random Trees Embedding算法原理（TRTE，一种无监督的特征转换）

在原始数据集中采用自助法（Bootstrap）抽取出新数据集
计算所有特征属性的方差，从中选择方差最大的特征 $n_{k}$ ，使用最大特征的方差中位数 $n_{kv}$ ，划分为两个分支，创建树
重复上述步骤S次，创建S个树
S个树形成森林，从而每个样本在每棵树上的叶子节点位置确定下来，将位置信息转换成向量即可

注意：是一种非监督的特征转换方式（RF+KD-Tree），可以将数据从低维度映射到高维度

3）Isolation Forest算法原理（IForest，一种异常点检测算法）

从原始数据集中，随机抽取少量样本数据形成新的数据集
从所有特征属性中随机选择K个属性，再从K个属性中随机选择特征属性以及分裂特征属性，创建树（深度一般不深）
重复上述步骤T次，形成T个树
将T个树形成森林，再将测试点拟合到T棵树上，进行异常点检测

第一步：计算该样本在T棵决策树上的叶子节点深度 $h_{_t}(x)$ ，求得平均深度

第二步：m为样本个数， $\xi$ 为欧拉常数：

$c(m)=2ln(m)+\xi -2*\frac{m-1}{m}$

第三步：从而测试点作为异常点概率： $p(x,m)=2^{-\frac{h(x))}{c(m)}}$

注意：异常点检测不需要太多样本以及太多决策树

三 Boosting思想

1 AdaBoost算法

1）概念（关注提升过程）

算法在每一轮迭代过程中，会给每个样本赋予权重，预测越正确的样本降低其权重，反之提高权重

2）算法原理

第一点：将基分类器的线性组合作为强分类器，给分类误差小的基分类器以较大的权重，给分类误差大的基分类器以较小的权重 $\alpha _{m}$

$f(x)=\sum_{m=1}^{M}\alpha_{m}G_{m}(x) \Rightarrow G(x)=sign(f(x))=sign(\sum_{m=1}^{M}\alpha_{m}G_{m}(x))$

第二点：损失函数（总分类器角度的错误率）

$loss=\frac{1}{n}\sum_{i=1}^{n}I(G(x^{(i)})\neq y^{(i)})\Rightarrow loss\leqslant \frac{1}{n}\sum_{i=1}^{n}e^{-y^{(i)}f(x^{(i)})}$

$\Rightarrow loss= \frac{1}{n}\sum_{i=1}^{n}e^{-y^{(i)}f(x^{(i)})}$

第三点：第k-1轮总学习器，第k轮总学习器，m轮总学习器损失函数

k-1轮学习器 $f_{k-1}(x)$

$f_{k-1}(x)=\sum_{m=1}^{k-1}\alpha _{m}G_{m}(x)$

k轮学习器 $f_{k}(x)$

$f_{k}(x)=\sum_{m=1}^{k}\alpha _{m}G_{m}(x)=\sum_{m=1}^{k-1}\alpha _{m}G_{m}(x)+\alpha _{k}G_{k}(x)=f_{k-1}+\alpha _{k}G_{k}(x)$

m轮学习器损失函数 $loss(\alpha_{(m)},G_{(m)}(x))$

$loss(\alpha_{(m)},G_{(m)}(x))=\frac{1}{n}\sum_{i=1}^{n}e^{-y^{(i)}f_{(m)}(x^{(i)})}=\frac{1}{n}\sum_{i=1}^{n}e^{-y^{(i)}(f_{(m-1)}(x^{(i)})+\alpha_{(m)} G_{(m)}(x^{(i)}))}$

$\Rightarrow loss(\alpha_{(m)},G_{(m)}(x))=\frac{1}{n}\sum_{i=1}^{n}e^{-y^{(i)}(f_{(m-1)}(x^{(i)}))}e^{-y^{(i)}\alpha_{(m)} G_{(m)}(x^{(i)})}=\frac{1}{n}\sum_{i=1}^{n}\bar{w}_{mi}e^{-y^{(i)}\alpha_{(m)} G_{(m)}(x^{(i)})}$

$\Rightarrow loss(\alpha_{(m)},G_{(m)}(x))=\frac{1}{n}\sum_{i=1}^{n}\bar{w}_{mi}e^{-y^{(i)}\alpha_{(m)} G_{(m)}(x^{(i)})},\bar{w}_{mi}=e^{-y^{(i)}(f_{(m-1)}(x^{(i)}))}$

第四点：使m轮损失函数达到最小值时的 $\alpha _{m},G_{m}(x)$ ，是Adaboost的最终求解

$loss(\alpha_{(m)},G_{(m)}(x))=\frac{1}{n}\sum_{n=1}^{n}\bar{w}_{mi}e^{-y^{(i)}\alpha_{(m)} G_{(m)}(x^{(i)})},\bar{w}_{mi}=e^{-y^{(i)}(f_{(m-1)}(x^{(i)}))}$

每一轮G分类器在训练过程中，是使得误差率（基分类器角度）越小越好

$G_{m}^{*}=\underset{G_{m}}{\arg min}\frac{1}{n}\sum_{n=1}^{n}\bar{w}_{mi}I(G_{m}(x^{(i)})\neq y^{(i)})$

$\Rightarrow \varepsilon _{m}=p(G_{m}(x^{(i)})\neq y^{(i)})=\frac{1}{n}\sum_{i=1}^{n}\bar{w}_{mi}I(G_{m}(x^{(i)})\neq y^{(i)})$

每一轮中对损失函数 $loss(\alpha_{(m)},G_{(m)}(x))$ 求 $\alpha _{m}$ 偏导

$\frac{\partial loss}{\partial \alpha _{m}}=0\Rightarrow \alpha _{m}=\frac{1}{2}ln\frac{1-\varepsilon _{m}}{\varepsilon _{m}}$

注意：求解 $\alpha _{m}$ 偏导过程

$loss(\alpha_{m},G_{m}(x))=\frac{1}{n}\sum_{i=1}^{n}\bar{w}_{mi}e^{-y^{(i)}\alpha_{m}G_{m}(x^{(i)})}$

$=\frac{1}{n}\sum_{G_{m}(x^{(i)})= y^{(i)} }\bar{w}_{mi}e^{-y^{(i)}\alpha_{m}G_{m}(x^{(i)})}+\frac{1}{n}\sum_{G_{m}(x^{(i)})\neq y^{(i)} }\bar{w}_{mi}e^{-y^{(i)}\alpha_{m}G_{m}(x^{(i)})}$

$+\frac{1}{n}\sum_{G_{m}(x^{(i)})\neq y^{(i)} }\bar{w}_{mi}e^{y^{(i)}\alpha_{m}G_{m}(x^{(i)})}-\frac{1}{n}\sum_{G_{m}(x^{(i)})\neq y^{(i)} }\bar{w}_{mi}e^{y^{(i)}\alpha_{m}G_{m}(x^{(i)})}$

$=\frac{1}{n}\sum_{G_{m}(x^{(i)})= y^{(i)} }\bar{w}_{mi}e^{-\alpha_{m}}+\frac{1}{n}\sum_{G_{m}(x^{(i)})\neq y^{(i)} }\bar{w}_{mi}e^{\alpha_{m}}$ $+\frac{1}{n}\sum_{G_{m}(x^{(i)})\neq y^{(i)} }\bar{w}_{mi}e^{-\alpha_{m}}-\frac{1}{n}\sum_{G_{m}(x^{(i)})\neq y^{(i)} }\bar{w}_{mi}e^{-\alpha_{m}}$

$=\frac{1}{n}\sum_{G_{m}(x^{(i)})= y^{(i)} }\bar{w}_{mi}e^{-\alpha_{m}}+\frac{1}{n}\sum_{G_{m}(x^{(i)})\neq y^{(i)} }\bar{w}_{mi}e^{-\alpha_{m}}$ $+\frac{1}{n}\sum_{G_{m}(x^{(i)})\neq y^{(i)} }\bar{w}_{mi}e^{\alpha_{m}}-\frac{1}{n}\sum_{G_{m}(x^{(i)})\neq y^{(i)} }\bar{w}_{mi}e^{-\alpha_{m}}$

$=\frac{1}{n}\sum_{i=1}^{n}\bar{w}_{mi}e^{-\alpha_{m}}+\frac{1}{n}\sum_{G_{m}(x^{(i)})\neq y^{(i)} }\bar{w}_{mi}e^{\alpha_{m}}-\frac{1}{n}\sum_{G_{m}(x^{(i)})\neq y^{(i)} }\bar{w}_{mi}e^{-\alpha_{m}}$

$\Rightarrow \epsilon _{m}=\frac{1}{n}\sum_{i=1}^{n}\bar{w}_{mi}I(G_{m}(x^{(i)})\neq y^{(i)})=\frac{1}{n}\sum_{G_{m}(x^{(i)})\neq y^{(i)}}\bar{w}_{mi}$

$\Rightarrow \frac{1}{n}\sum_{i=1}^{n}\bar{w}_{mi}e^{-\alpha_{m}}=k$

$=ke^{-\alpha_{m}}+\epsilon _{m}e^{\alpha_{m}}-\epsilon _{m}e^{-\alpha_{m}}$

$\therefore loss(\alpha_{m},G_{m}(x))=\sum_{i=1}^{n}\bar{w}_{mi}e^{-y^{(i)}\alpha_{m}G_{m}(x^{(i)})}=ke^{-\alpha_{m}}+\epsilon _{m}e^{\alpha_{m}}-\epsilon _{m}e^{-\alpha_{m}}$

$\frac{\partial loss}{\partial \alpha _{m}}=-ke^{-\alpha _{m}}+\epsilon _{m}e^{\alpha _{m}}+\epsilon _{m}e^{-\alpha _{m}}=0$

$\Rightarrow \epsilon _{m}e^{\alpha _{m}}=ke^{-\alpha _{m}}-\epsilon _{m}e^{-\alpha _{m}}=(k-\epsilon _{m})e^{-\alpha _{m}}$

$\Rightarrow \epsilon _{m}e^{2\alpha _{m}}=(k-\epsilon _{m})$

$\Rightarrow e^{2\alpha _{m}}=\frac{k-\epsilon _{m}}{ \epsilon _{m}}$

$\Rightarrow\alpha _{m}=\frac{1}{2}log(\frac{k-\epsilon _{m}}{ \epsilon _{m}})$

保证 $\frac{k-\epsilon _{m}}{ \epsilon _{m}}>0$ ，即

$\Rightarrow\alpha _{m}=\frac{1}{2}log(\frac{1-\epsilon _{m}}{ \epsilon _{m}})$

3）算法流程

第一步：假定数据集

$\left \{ (x^{(i)},y^{(i)})\right \}_{i=1}^{n}$

第二步：初始化训练集样本分布权重

$D_{1}=\left \{ \bar{w}_{11}, \bar{w}_{12},...,\bar{w}_{1n}\right \},\bar{w}_{1i}=\frac{1}{n}$

第三步：使用具有权值分布 $D_{m}$ 的训练集学习，得到基学习器 $G_{m}(x)$

$G_{m}(x)\rightarrow \left \{ -1,1 \right \}$

第四步：计算 $G_{m}(x)$ 在训练集上的分类误差 $\varepsilon _{m}$

$\varepsilon _{m}=p(G_{m}(x^{(i)})\neq y^{(i)})=\sum_{i=1}^{n}\bar{w}_{mi}I(G_{m}(x^{(i)})\neq y^{(i)})$

第五步：计算 $G_{m}(x)$ 的权重系数 $\alpha _{m}$ （针对基分类器）

$\alpha _{m}=\frac{1}{2}log_{2}\frac{1-\varepsilon _{m}}{\varepsilon _{m}}$

注意：误差 $\epsilon _{m}$ 越大，权重系数 $\alpha _{m}$ 越小

第六步：更新具有权值分布 $D_{m+1}$ 的训练集（使用归一化因子 $Z_{m}$ ）

$D_{m+1}=\left \{ \bar{w}_{m+1,1},\bar{w}_{m+1,2},...,\bar{w}_{m+1,n} \right \}$

$\bar{w}_{m+1,i}=\frac{\bar{w}_{mi}e^{-y^{(i)}\alpha _{m}G_{m}(x^{(i)})}}{Z_{m}}$

$Z_{m}=\sum_{i=1}^{n}\bar{w}_{mi}e^{-y^{(i)}\alpha _{m}G_{m}(x^{(i)})}$

第七步：构建基本学习器的线性组合

$f(x)=\sum_{m=1}^{M}\alpha _{m}G_{m}(x)$

第八步：最终分类器

$G(x)=sign(f(x))=sign(\sum_{m=1}^{M}\alpha _{m}G_{m}(x))\rightarrow \left \{ -1,1 \right \}$

注意：可以指定每个弱学习器的缩减系数

$G(x)=sign(f(x))=sign(\sum_{m=1}^{M}v*\alpha _{m}G_{m}(x))\rightarrow \left \{ -1,1 \right \}$

4）算法优缺点

第一点：优点

可以处理连续值或者离散值的目标属性
可以将不同的分类算法作为弱学习器
解释性强，结构简单

第二点：缺点

对异常样本敏感，即异常样本在迭代过程中获得比较高的权值，影响模型的效果
迭代次数（弱分类器个数）不好确定
弱分类器之间存在关联，无法并行训练模型，只能串行训练模型

2 GBDT（Gradient Boosting Dicision Tree）

1）算法概念

算法在每一轮迭代过程中，使用残差更新目标属性，预测越正确的样本残差越小，反之越大

注意：GBDT由三部分构成，回归树、梯度提升、缩减系数

2）算法流程（以回归问题为例）

第一步：假定数据集

$\left \{x^{(i)},y^{(i)} \right \}_{i=1}^{n}$

第二步：基学习器采用回归树，使用平方和损失或者绝对值损失函数（推荐平方和损失函数）

设定由一组基回归树 $h_{i}(x)$ 组成

$F(x)=F_{_{0}}(x)+\sum_{i=1}^{M}h_{i}(x)\overset{v}{\rightarrow} F(x)=F_{_{0}}(x)+v\sum_{i=1}^{M}h_{i}(x)$

注意：为防止基回归树过拟合，添加缩放系数

平方和损失函数（推荐使用）

$loss(y,F(x))=\frac{1}{2}\sum_{i=1}^{n}(y^{(i)}-F(x^{(i)}))^{2}$

绝对值损失函数（不推荐使用）

$loss(y,F(x))=\sum_{i=1}^{n}\left |y^{(i)}-F(x^{(i)}) \right |$

最优解

$F^{*}(x)=\underset{F}{\arg min}(loss(y,F(x)))$

第三步：初始化初始函数 $F_{0}(x)=C$ （常数函数）

$F_{0}(x)=\underset{C}{\arg min}(loss(y,C))$

注意：实际算法中C一般按照均值方法初始化常数函数 $F_{0}(x)=C$

第四步：第m轮迭代中构建回归树

第m轮迭代中（考虑单个样本损失），使用梯度下降方法计算学习率（残差） $\alpha _{mi}$

$\alpha _{mi}=-[\frac{\partial loss(y^{(i)},F(x^{(i)}))}{\partial F(x^{(i)})}|_{F(x^{(i)})=F_{m-1}(x^{(i)})}]=y^{(i)}-F_{m-1}(x^{(i)})$

第m轮迭代中，使用数据集 $\left \{ x^{(i)}, \alpha _{mi}\right \}_{i=1}^{n}$ 拟合CART回归树，得到第m棵树

第一点：第m棵树第j个叶子节点的预测值 $c_{mj}$

$c_{mj}=\underset{c}{\arg min}(\sum_{x \subset leaf_{j}}loss(y,F_{m-1}(x)+c))$

第二点：样本在第m棵树的预测值 $h_{m}(x)$

$h_{m}(x)=\sum_{j}^{|leaf^{m}|}c_{mj}I(x\subset leaf_{j}^{m})$

第m轮迭代中，样本的预测值

$F_{m}(x)=F_{m-1}(x)+h_{m}(x)=F_{m-1}(x)+\sum_{j}^{|leaf^{m}|}c_{mj}I(x\subset leaf_{j}^{m})$

第五步：总模型

$F(x)=F_{0}(x)+\sum_{m=1}^{M}\sum_{j}^{|leaf^{m}|}c_{mj}I(x \subset leaf_{j}^{m})$

添加缩放系数：

$F(x)=F_{0}(x)+v\sum_{m=1}^{M}\sum_{j}^{|leaf^{m}|}c_{mj}I(x\subset leaf_{j}^{m})$

3）算法处理分类问题，损失函数采用对数损失函数（交叉熵损失函数）

第一点：二分类

损失函数

$loss(y,F(x))=-\sum_{i=1}^{n}[y^{(i)}logp(x^{(i)})+(1-y^{(i)})log(1-p(x^{(i)}))]$ $,p(x^{(i)})=\frac{1}{1+e^{-F(x^{(i)})}}$

学习率 $\alpha _{mi}$

$\alpha _{mi}=-[\frac{\partial loss(y^{(i)},F(x^{(i)}))}{\partial F(x^{(i)})}|_{F(x^{(i)})=F_{m-1}(x^{(i)})}]=y^{(i)}-p_{m-1}(x^{(i)})$

初始值 $F_{0}(x)$

$F_{0}(x)=log(\frac{|+|}{|-|})$

注意：表示总样本中正负样本的比率的对数

第二点：多分类（目标属性采用多标签）

损失函数：

$loss(y,F(x))=-\sum_{i=1}^{n}\sum_{k=1}^{K}y^{(i)}_{k}logp_{k},p_{k}=\frac{e^{F_{k}(x^{(i)})}}{\sum_{l=1}^{K}e^{F_{l}(x)}}$

学习率 $\alpha _{mli}$

$\alpha _{mli}=-[\frac{\partial loss(y^{(i)}_{l},F_{l}(x^{(i)}))}{\partial F_{l}(x^{(i)})}|_{F_{l}(x^{(i)})=F_{m-1,l}(x^{(i)})}]=y^{(i)}_{l}-p_{m-1,l}(x^{(i)})$

初始值 $F_{0}(x)$

$F_{0,l}(x)=0$

4）算法优缺点

第一点：优点

可以处理连续值和离散值的目标属性
在相对较少的调参情况下，模型效果也不错

第二点：缺点

弱分类器之间存在关联，无法并行训练模型，只能串行训练

3 XGBOOST（GBDT的变种算法）

1）算法概念

算法在每一轮迭代过程中，使用残差更新目标属性，预测越正确，残差越小，反之亦然

2）算法原理

第一点：损失函数 = GBDT损失函数 + 正则化项（L2正则）

$loss(y,F(x))=\sum_{i=1}^{n}l(y^{(i)},F(x^{(i)}))+\sum_{m=1}^{M} \Omega (f_{m})$

$f_{m}(x)$ 表示在第m棵树上的第个节点预测值（表示节点数）

$f_{m}(x)=w_{q(x)}$

$\Omega (f_{m})$ 正则化项展开式（ $\gamma ,\lambda$ 属于超参，为m棵树上叶子节点个数）

$\Omega (f_{m})=\gamma T+\frac{1}{2}\lambda \sum_{j=1}^{T}w_{j}^{2}$

第二点：第m轮迭代后，损失函数

$loss(y,F(x))=\sum_{i=1}^{n}loss(y^{(i)},F_{m-1}(x^{(i)})+f_{m}(x^{(i)}))+\sum_{i=1}^{m-1} \Omega (f_{i}) + \Omega (f_{m})$

泰勒公式

$f(x)=\sum _{n=0}^{\infty }\frac{f^{n}(x_{0})}{n!}(x-x_{0})^{n}+R_{n}(x)$

损失函数 $loss(y,F(x))=loss(y,F_{m-1}(x)+f_{m}(x))$ 在 $F_{m-1}(x^{(i)})$ 处展开二阶泰勒公式

$g_{i}=\frac{\partial l(y,F_{m}(x^{(i)}))}{\partial F_{m}(x^{(i)})}|_{F_{m}(x^{(i)})=F_{m-1}(x^{(i)})}$

$h_{i}= \frac{\partial^2 l(y,F_{m}(x^{(i)}))}{\partial^2 F_{m}(x^{(i)})}|_{F_{m}(x^{(i)})=F_{m-1}(x^{(i)})}$

$loss(y,F(x))\approx$

$\sum_{i=1}^{n}(l(y^{(i)},F_{m-1}(x^{(i)}))+g_{i}f_{m}(x^{(i)})+\frac{1}{2}h_{i}f^{2}_{m}(x^{(i)}))+\sum_{i=1}^{m-1} \Omega (f_{i})+ \Omega (f_{m})$

不考虑常数项的损失函数

$loss = \sum_{i=1}^{n}(g_{i}f_{m}(x^{(i)})+\frac{1}{2}h_{i}f^{2}_{m}(x^{(i)}))+\Omega (f_{m})$

$\Rightarrow loss=\sum_{i=1}^{n}(g_{i}w_{q(x^{(i)})}+\frac{1}{2}h_{i}w^{2}_{q(x^{(i)})})+\gamma T+\frac{1}{2}\lambda \sum_{j=1}^{T}w_{j}^{2}$

定义第m棵树上的叶子节点上所有样本集合 $I_{j}$

$I_{j}=\left \{ i|q(x^{(i)}) ==j\right \}$

$\Rightarrow loss=\sum_{j=1}^{T}((\sum_{i\subset I_{j}}g_{i})w_{j}+\frac{1}{2}(\sum_{i\subset I_{j}}h_{i})w^{2}_{j})+\gamma T+\frac{1}{2}\lambda \sum_{j=1}^{T}w_{j}^{2}$

第三步：损失函数最小时的 $w_{j}$

$loss=\sum_{j=1}^{T}((\sum_{i\subset I_{j}}g_{i})w_{j}+\frac{1}{2}(\sum_{i\subset I_{j}}h_{i})w^{2}_{j})+\gamma T+\frac{1}{2}\lambda \sum_{j=1}^{T}w_{j}^{2}$

$\Rightarrow loss=\sum_{j=1}^{T}((\sum_{i\subset I_{j}}g_{i})w_{j}+\frac{1}{2}((\sum_{i\subset I_{j}}h_{i})+\lambda )w^{2}_{j})+\gamma T$

$\Rightarrow G_{j}=\sum_{i\subset I_{j}}g_{i},H_{j}=\sum_{i\subset I_{j}}h_{i}$

$\Rightarrow loss=\sum_{j=1}^{T}(G_{j}w_{j}+\frac{1}{2}(H_{j}+\lambda )w^{2}_{j})+\gamma T$

$\Rightarrow \frac{\partial loss }{\partial w_{j}}=\sum_{j=1}^{T}(G_{j}+(H_{j}+\lambda )w_{j})=0$

$\Rightarrow w_{j}^{*}=-\frac{G_{j}}{H_{j}+\lambda}$

第四步：将 $w_{j}^{*}$ 带入损失函数

$loss^{*}=\sum_{j=1}^{T}(-\frac{G_{j}^2}{H_{j}+\lambda }+\frac{1}{2}(H_{j}+\lambda )\frac{G_{j}^2}{(H_{j}+\lambda)^2})+\gamma T$

$\Rightarrow loss^{*}=-\frac{1}{2}\sum_{j=1}^{T}(\frac{G_{j}^2}{H_{j}+\lambda })+\gamma T$

第五步：XGBoost损失函数

$loss^{*}=-\frac{1}{2}\sum_{j=1}^{T}(\frac{G_{j}^2}{H_{j}+\lambda })+\gamma T$

3）算法学习策略（树生成策略）

第一步：XGBoost算法原理所确定的损失函数，可以使得我们确定节点分裂的信息损失

$loss^{*}=-\frac{1}{2}\sum_{j=1}^{T}(\frac{G_{j}^2}{H_{j}+\lambda })+\gamma T$

第二步：选择特征属性以及分裂特征属性依据信息损失（不同于决策树的信息损失纯度度量）

对于任意叶子节点而言

第一点：分裂左节点（L）、右节点（R)之前的损失函数

$loss=-\frac{1}{2}\frac{G^2}{H+\lambda }+\gamma =-\frac{1}{2}\frac{G_{L}^2+G_{R}^2}{(H_{L}+H_{R})+\lambda }+\gamma$

第二点：分裂左节点（L）、右节点（R)之后的损失函数

$loss =-\frac{1}{2}\frac{G_{L}^2}{H_{L}+\lambda}+\gamma-\frac{1}{2}\frac{G_{R}^2}{H_{R}+\lambda}+\gamma =-\frac{1}{2}(\frac{G_{L}^2}{H_{L}+\lambda}+\frac{G_{R}^2}{H_{R}+\lambda})+2\gamma$

$\Rightarrow loss =-\frac{1}{2}(\frac{G_{L}^2}{H_{L}+\lambda}+\frac{G_{R}^2}{H_{R}+\lambda})+2\gamma$

叶子节点分裂前后信息损失

$Gain=-\frac{1}{2}\frac{G_{L}^2+G_{R}^2}{(H_{L}+H_{R})+\lambda }+\gamma -(-\frac{1}{2}(\frac{G_{L}^2}{H_{L}+\lambda}+\frac{G_{R}^2}{H_{R}+\lambda})+2\gamma)$

$\Rightarrow Gain=\frac{1}{2}(\frac{G_{L}^2}{H_{L}+\lambda}+\frac{G_{R}^2}{H_{R}+\lambda}-\frac{G_{L}^2+G_{R}^2}{(H_{L}+H_{R})+\lambda })-\gamma$

$\therefore Gain=\frac{1}{2}(\frac{G_{L}^2}{H_{L}+\lambda}+\frac{G_{R}^2}{H_{R}+\lambda}-\frac{G_{L}^2+G_{R}^2}{(H_{L}+H_{R})+\lambda })-\gamma$

选择信息信息损失程度最大的方式进行叶子节点分裂

越大，分裂节点之后的信息损失越大

第三步：节点分裂是采用近似计算（分位数）

选择以及分裂特征属性，不是遍历每一个特征进行各种可能的分裂属性，而是依据二阶导数 $g_{i}$ 作为权重的分位数进行分裂属性

第一点：定义集合 $D_{k}$

$D_{k}=\left \{ (x_{1k},h_{1}),(x_{2k},h_{2}) ,...,(x_{ik},h_{i}),...,(x_{nk},h_{n})\right \}$

$x_{ik}$ ：表示第个样本第个特征属性值
$h_{i}$ ：表示第个样本损失函数的二阶导数

第二点：确定分位数位置

确定分位数集合，比如三分位数： $quantile=\left \{ 1/3,2/3 \right \}$
计算分位数位置

$location=(\sum_{i=1}^{n}h_{i}) *quantile$

第三点：在第个特征的分位数位置进行分裂属性，计算信息损失程度大小

4）XGBoost特性（优点）

第一点：列采样方式，借鉴随机森林做法（即随机抽取k个特征构建树），有效降低过拟合
第二点：自动处理（填充）缺失值
第三点：并行计算，在特征粒度上计算Gain值采用并行计算，但是树的构建依然是串行，有效提升计算效率
第四点：正则项，降低模型复杂度，有效降低过拟合
第五点：基学习器不仅支持CART，也可以是线性回归，Logistic回归
第六点：支持自定义损失函数，但是要求二阶可导

四 Stacking思想

目前几乎不使用，深度学习神经网络比其更加具有优势

你可能感兴趣的:(python,机器学习,数据挖掘,adaboost算法,算法)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ 江湖偌大 python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Goolge earth studio 进阶4——路径修改与平滑陟彼高冈yu Google earth studio 进阶教程旅游
如果我们希望在大约中途时获得更多的城市鸟瞰视角。可以将相机拖动到这里并创建一个新的关键帧。camera_target_clip_7EarthStudio会自动平滑我们的路径，所以当我们通过这个关键帧时，不是一个生硬的角度，而是一个平滑的曲线。camera_target_clip_8路径上有贝塞尔控制手柄，允许我们调整路径的形状。右键单击，我们可以选择“平滑路径”，这是默认的自动平滑算法，或者我们可
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
基于社交网络算法优化的二维最大熵图像分割智能算法研学社（Jack旭）智能优化算法应用图像分割算法 php 开发语言
智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码文章目录智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码1.前言2.二维最大熵阈值分割原理3.基于社交网络优化的多阈值分割4.算法结果：5.参考文献：6.Matlab代码摘要：本文介绍基于最大熵的图像分割，并且应用社交网络算法进行阈值寻优。1.前言阅读此文章前，请阅读《图像分割：直方图区域划分及信息统计介绍》htt
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1) Shawn________ python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
121. 买卖股票的最佳时机薄荷糖的味道_fb40
给定一个数组，它的第i个元素是一支给定股票第i天的价格。如果你最多只允许完成一笔交易（即买入和卖出一支股票），设计一个算法来计算你所能获取的最大利润。注意你不能在买入股票前卖出股票。示例1:输入:[7,1,5,3,6,4]输出:5解释:在第2天（股票价格=1）的时候买入，在第5天（股票价格=6）的时候卖出，最大利润=6-1=5。注意利润不能是7-1=6,因为卖出价格需要大于买入价格。示例2:输入:
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
回溯算法-重新安排行程 chirou_ 算法数据结构图论 c++图搜索
leetcode332.重新安排行程这题我还没自己ac过，只能现在凭着刚学完的热乎劲把我对题解的理解记下来。本题我认为对数据结构的考察比较多，用什么数据结构去存数据，去读取数据，都是很重要的。classSolution{private:unordered_map>targets;boolbacktracking(intticketNum,vector&result){//1.确定参数和返回值//2
Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
Faiss：高效相似性搜索与聚类的利器网络·魚大数据 faiss
Faiss是一个针对大规模向量集合的相似性搜索库，由FacebookAIResearch开发。它提供了一系列高效的算法和数据结构，用于加速向量之间的相似性搜索，特别是在大规模数据集上。本文将介绍Faiss的原理、核心功能以及如何在实际项目中使用它。Faiss原理：近似最近邻搜索：Faiss的核心功能之一是近似最近邻搜索，它能够高效地在大规模数据集中找到与给定查询向量最相似的向量。这种搜索是近似的，
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
insert into select 主键自增_mybatis拦截器实现主键自动生成 weixin_39521651 insert into select 主键自增 mybatis delete返回值 mybatis insert返回主键 mybatis insert返回对象 mybatis plus insert返回主键 mybatis plus 插入生成id
前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
Python中深拷贝与浅拷贝的区别 yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
Algorithm 香水浓 java Algorithm
冒泡排序 public static void sort(Integer[] param) { for (int i = param.length - 1; i > 0; i--) { for (int j = 0; j < i; j++) { int current = param[j]; int next = param[j + 1];
mongoDB 复杂查询表达式开窍的石头 mongodb
1:count Pg: db.user.find().count(); 统计多少条数据 2:不等于$ne Pg: db.user.find({_id:{$ne:3}},{name:1,sex:1,_id:0}); 查询id不等于3的数据。 3：大于$gt $gte(大于等于) &n
Jboss Java heap space异常解决方法, jboss OutOfMemoryError : PermGen space 0624chenhong jvm jboss
转自 http://blog.csdn.net/zou274/article/details/5552630 解决办法： window->preferences->java->installed jres->edit jre 把default vm arguments 的参数设为-Xms64m -Xmx512m ----------------
文件上传下载解析相对路径不懂事的小屁孩文件上传
有点坑吧，弄这么一个简单的东西弄了一天多，身边还有大神指导着，网上各种百度着。下面总结一下遇到的问题：文件上传，在页面上传的时候，不要想着去操作绝对路径，浏览器会对客户端的信息进行保护，避免用户信息收到攻击。在上传图片，或者文件时，使用form表单来操作。前台通过form表单传输一个流到后台，而不是ajax传递参数到后台，代码如下: <form action=&
怎么实现qq空间批量点赞换个号韩国红果果 qq
纯粹为了好玩！！逻辑很简单 1 打开浏览器console；输入以下代码。先上添加赞的代码 var tools={}; //添加所有赞 function init(){ document.body.scrollTop=10000; setTimeout(function(){document.body.scrollTop=0;},2000);//加
判断是否为中文灵静志远中文
方法一： public class Zhidao { public static void main(String args[]) { String s = "sdf灭礌 kjl d{';\fdsjlk是"; int n=0; for(int i=0; i<s.length(); i++) { n = (int)s.charAt(i); if((
一个电话面试后总结 a-john 面试
今天，接了一个电话面试，对于还是初学者的我来说，紧张了半天。面试的问题分了层次，对于一类问题，由简到难。自己觉得回答不好的地方作了一下总结：在谈到集合类的时候，举几个常用的集合类，想都没想，直接说了list,map。然后对list和map分别举几个类型： list方面：ArrayList,LinkedList。在谈到他们的区别时，愣住了
MSSQL中Escape转义的使用 aijuans MSSQL
IF OBJECT_ID('tempdb..#ABC') is not null drop table tempdb..#ABC create table #ABC ( PATHNAME NVARCHAR(50) ) insert into #ABC SELECT N'/ABCDEFGHI' UNION ALL SELECT N'/ABCDGAFGASASSDFA' UNION ALL
一个简单的存储过程 asialee mysql 存储过程构造数据批量插入
今天要批量的生成一批测试数据，其中中间有部分数据是变化的，本来想写个程序来生成的，后来想到存储过程就可以搞定，所以随手写了一个，记录在此： DELIMITER $$ DROP PROCEDURE IF EXISTS inse
annot convert from HomeFragment_1 to Fragment 百合不是茶 android 导包错误
创建了几个类继承Fragment, 需要将创建的类存储在ArrayList<Fragment>中; 出现不能将new 出来的对象放到队列中,原因很简单; 创建类时引入包是:import android.app.Fragment; 创建队列和对象时使用的包是:import android.support.v4.ap
Weblogic10两种修改端口的方法 bijian1013 weblogic 端口号配置管理 config.xml
一.进入控制台进行修改 1.进入控制台: http://127.0.0.1:7001/console 2.展开左边树菜单域结构->环境->服务器-->点击AdminServer(管理) &
mysql 操作指令征客丶 mysql
一、连接mysql 进入 mysql 的安装目录； $ bin/mysql -p [host IP 如果是登录本地的mysql 可以不写 -p 直接 -u] -u [userName] -p 输入密码，回车，接连；二、权限操作［如果你很了解mysql数据库后，你可以直接去修改系统表，然后用 mysql> flush privileges; 指令让权限生效］ 1、赋权 mys
【Hive一】Hive入门 bit1129 hive
Hive安装与配置 Hive的运行需要依赖于Hadoop，因此需要首先安装Hadoop2.5.2，并且Hive的启动前需要首先启动Hadoop。 Hive安装和配置的步骤 1. 从如下地址下载Hive0.14.0 http://mirror.bit.edu.cn/apache/hive/ 2.解压hive，在系统变
ajax 三种提交请求的方法 BlueSkator Ajax jqery
1、ajax 提交请求 $.ajax({ type:"post", url : "${ctx}/front/Hotel/getAllHotelByAjax.do", dataType : "json", success : function(result) { try { for(v
mongodb开发环境下的搭建入门 braveCS 运维
linux下安装mongodb 1）官网下载mongodb-linux-x86_64-rhel62-3.0.4.gz 2）linux 解压 gzip -d mongodb-linux-x86_64-rhel62-3.0.4.gz; mv mongodb-linux-x86_64-rhel62-3.0.4 mongodb-linux-x86_64-rhel62-
编程之美-最短摘要的生成 bylijinnan java 数据结构算法编程之美
import java.util.HashMap; import java.util.Map; import java.util.Map.Entry; public class ShortestAbstract { /** * 编程之美最短摘要的生成 * 扫描过程始终保持一个[pBegin,pEnd]的range,初始化确保[pBegin,pEnd]的ran
json数据解析及typeof chengxuyuancsdn js typeof json解析
// json格式 var people='{"authors": [{"firstName": "AAA","lastName": "BBB"},' +' {"firstName": "CCC&
流程系统设计的层次和目标 comsci 设计模式数据结构 sql 框架脚本
流程系统设计的层次和目标
RMAN List和report 命令 daizj oracle list report rman
LIST 命令使用RMAN LIST 命令显示有关资料档案库中记录的备份集、代理副本和映像副本的信息。使用此命令可列出： • RMAN 资料档案库中状态不是AVAILABLE 的备份和副本 • 可用的且可以用于还原操作的数据文件备份和副本 • 备份集和副本，其中包含指定数据文件列表或指定表空间的备份 • 包含指定名称或范围的所有归档日志备份的备份集和副本 • 由标记、完成时间、可
二叉树:红黑树 dieslrae 二叉树
红黑树是一种自平衡的二叉树,它的查找,插入,删除操作时间复杂度皆为O(logN),不会出现普通二叉搜索树在最差情况时时间复杂度会变为O(N)的问题. 红黑树必须遵循红黑规则,规则如下 1、每个节点不是红就是黑。 2、根总是黑的 &
C语言homework3，7个小题目的代码 dcj3sjt126com c
1、打印100以内的所有奇数。 # include <stdio.h> int main(void) { int i; for (i=1; i<=100; i++) { if (i%2 != 0) printf("%d ", i); } return 0; } 2、从键盘上输入10个整数，
自定义按钮, 图片在上, 文字在下, 居中显示 dcj3sjt126com 自定义
#import <UIKit/UIKit.h> @interface MyButton : UIButton -(void)setFrame:(CGRect)frame ImageName:(NSString*)imageName Target:(id)target Action:(SEL)action Title:(NSString*)title Font:(CGFloa
MySQL查询语句练习题，测试足够用了 flyvszhb sql mysql
http://blog.sina.com.cn/s/blog_767d65530101861c.html 1.创建student和score表 CREATE TABLE student ( id INT(10) NOT NULL UNIQUE PRIMARY KEY , name VARCHAR
转：MyBatis Generator 详解 happyqing mybatis
MyBatis Generator 详解 http://blog.csdn.net/isea533/article/details/42102297 MyBatis Generator详解 http://git.oschina.net/free/Mybatis_Utils/blob/master/MybatisGeneator/MybatisGeneator.
让程序员少走弯路的14个忠告 jingjing0907 工作计划学习
无论是谁，在刚进入某个领域之时，有再大的雄心壮志也敌不过眼前的迷茫：不知道应该怎么做，不知道应该做什么。下面是一名软件开发人员所学到的经验，希望能对大家有所帮助 1.不要害怕在工作中学习。只要有电脑，就可以通过电子阅读器阅读报纸和大多数书籍。如果你只是做好自己的本职工作以及分配的任务，那是学不到很多东西的。如果你盲目地要求更多的工作，也是不可能提升自己的。放
nginx和NetScaler区别流浪鱼 nginx
NetScaler是一个完整的包含操作系统和应用交付功能的产品，Nginx并不包含操作系统，在处理连接方面，需要依赖于操作系统，所以在并发连接数方面和防DoS攻击方面，Nginx不具备优势。 2.易用性方面差别也比较大。Nginx对管理员的水平要求比较高，参数比较多，不确定性给运营带来隐患。在NetScaler常见的配置如健康检查，HA等，在Nginx上的配置的实现相对复杂。 3.策略灵活度方
第11章动画效果（下） onestopweb 动画
index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
FAQ - SAP BW BO roadmap blueoxygen BO BW
http://www.sdn.sap.com/irj/boc/business-objects-for-sap-faq Besides, I care that how to integrate tightly. By the way, for BW consultants, please just focus on Query Designer which i
关于java堆内存溢出的几种情况 tomcat_oracle java jvm jdk thread
【情况一】：　　 java.lang.OutOfMemoryError: Java heap space：这种是java堆内存不够，一个原因是真不够，另一个原因是程序中有死循环；　　如果是java堆内存不够的话，可以通过调整JVM下面的配置来解决：　　<jvm-arg>-Xms3062m</jvm-arg> 　　<jvm-arg>-Xmx
Manifest.permission_group权限组阿尔萨斯 Permission
结构继承关系 public static final class Manifest.permission_group extends Object java.lang.Object android. Manifest.permission_group 常量 ACCOUNTS 直接通过统计管理器访问管理的统计 COST_MONEY可以用来让用户花钱但不需要通过与他们直接牵涉的权限 D

机器学习--分类算法--集成学习算法理论（RF/AdaBoost/GBDT/XGBoost算法）

一 集成学习背景

1 集成学习概念

2 集成学习优势

1）弱分类器之间存在差异性的问题

2）对于数据集过大或者过小的问题

3）对于数据集的划分边界过于复杂，线性模型很难描述的问题

4）对于多个异构数据集而言，数据集很难合并的问题

3 集成学习三种思想

1）Bagging思想（Bootstrap Aggregating,自主汇聚法）

2）Boosting思想（存在弱学习器，可通过提升技术变成强学习器）

3）Stacking思想（堆叠+分阶段）

二 Bagging

1 随机森林算法（Random Forest）

1）算法原理

2）优点

3）缺点

2 随机森林的推广算法

1）Extra Tree算法原理（一般不推荐使用）

2）Totally Random Trees Embedding算法原理（TRTE，一种无监督的特征转换）

3）Isolation Forest算法原理（IForest，一种异常点检测算法）

三 Boosting思想

1 AdaBoost算法

1）概念（关注提升过程）

2）算法原理

3）算法流程

4）算法优缺点

2 GBDT（Gradient Boosting Dicision Tree）

1）算法概念

2）算法流程（以回归问题为例）

3）算法处理分类问题，损失函数采用对数损失函数（交叉熵损失函数）

4）算法优缺点

3 XGBOOST（GBDT的变种算法）

1）算法概念

2）算法原理

3）算法学习策略（树生成策略）

4）XGBoost特性（优点）

四 Stacking思想

你可能感兴趣的:(python,机器学习,数据挖掘,adaboost算法,算法)

一集成学习背景