mengjizhiyou

集成算法学习（1）-Bagging、Boosting(AdaBoost)原理与公式推导

1、决策树与集成学习的关系

根据python3 决策树（ID3、C4.5、CART）原理详细说明与公式推导可知：

决策树容易解释，可以处理离散和连续值，对输入变量的单调转换不敏感（因为分割点是基于数据点的排序），执行自动变量选择，对异常值相对稳定，可以很好地扩展到大型数据集，并且可以修正输入的缺失值。

但是决策树与其他类型的模型相比，预测不是很准确。这部分是由于树构造算法的贪心本性。一个相关的问题是树是不稳定的:由于树生长过程的层次性，对输入数据的微小更改可能对树的结构产生很大的影响，导致树的顶部错误影响树的其他部分。

在频率学术语中，说树是高方差估计量。首先了解一下方差和偏差。

1.1 偏差-方差权衡

偏差-方差权衡是与机器学习监督算法尤其是预测建模相关的。这是一种通过分解预测误差来诊断算法性能的方法。

在机器学习中，算法只是一个可重复的过程，用于从给定的一组训练数据训练模型。对于给定训练数据，不同算法不同情境下训练效果不一样，一个关键的区别是它们产生了多少偏差和方差。

预测误差有三种类型:偏差、方差和不可减少误差（irreducible error）。

不可减少误差也被称为“噪声”，它不能由你选择的算法来减少。它通常来自固有的随机性、错误框架问题或不完整的特征集。

偏差（Bias）是模型的预测值与真实值之间的差异。比如用线性回归对曲线趋势的数据点进行建模，无论如何都不能很好的拟合曲线，这就是欠拟合（under-fitting）.

方差（Variance）是指算法对特定训练数据集的敏感性或者可以描述为是预测值作为随机变量的离散程度。高方差算法会根据训练集产生截然不同的模型。能够拟合训练集的每个样本包括样本噪声，这就是过拟合。

算法不是一次性训练单个模型的方法，而是可重复的过程。假设已经为同一个问题收集了5个不同的训练集。使用一种算法来训练5个模型，每个模型对应一个训练集。偏差和方差是指算法训练的模型的准确性和一致性。

如下图所示（将左图中的每个点看做一个模型训练效果）：

低方差高偏差算法往往不那么复杂，具有简单或严格的底层结构。他们训练的模型是一致的，但平均来说是不准确的。这些包括线性或参数算法，如回归和朴素贝叶斯。另一方面，低偏差高方差算法往往更复杂，具有灵活的底层结构。他们训练的模型平均来说是准确的，但不一致。这包括非线性或非参数算法，如决策树和最近邻。这种复杂性的权衡就是为什么会有偏差和方差的权衡——一个算法不能同时变得更复杂和更简单。*注意:对于某些问题，某些算法的这两个错误可能比其他算法少。例如，集成方法(即随机森林)在实践中往往比其他算法表现得更好。建议始终尝试多个合理的算法来解决每个问题。

要想偏差表现的好，就需要复杂化模型，增加模型的参数，但这样容易过拟合，过拟合对应上图（左）的 High Variance，点会很分散。低偏差对应的点都打在靶心附近，所以喵的很准，但不一定很稳；

要想方差表现的好，需要简化模型，减少模型的复杂度，但这样容易欠拟合，欠拟合对应上图（左） High Bias，点偏离中心。低方差对应就是点都打的很集中，但不一定是靶心附近，手很稳，但不一定瞄的准。

为了建立一个良好的预测模型，需要在偏差和方差之间找到一个平衡点，使总误差最小化，如上图（右）所示。

通过上面的介绍，大概知道偏差和方差的基本概念，下面介绍集成学习算法。

1.2 集成学习

集成学习是改进已有学习器的方法，并不是创建新的算法，而是将多个不同的算法和模型集成起来，创建一个集成学习器。集成学习的框架主要有bagging、boosting和stacking。

将多个决策树集成是集成学习的一种，除了使用多个一样的模型，集成学习也可将不同的模型集成。

集成学习中的基模型是弱模型，通常来说弱模型是偏差高（在训练集上准确度低）方差小（防止过拟合能力强）的模型。但是，并不是所有集成学习框架中的基模型都是弱模型。Bagging 和 Stacking 中的基模型为强模型（偏差低方差高），Boosting 中的基模型为弱模型。

集成学习（ensemble learning) 通过构建并结合多个学习器来完成学习任务，有时称多分类器系统（multi-classifier system）、基于委员会的学习（committee-based learning）等。

为什么集成学习会好于单个学习器呢？

训练样本可能无法选择出最好的单个学习器，由于没法选择出最好的学习器，所以干脆结合起来一起用；
假设能找到最好的学习器，但由于算法运算的限制无法找到最优解，只能找到次优解，采用集成学习可以弥补算法的不足；
可能算法无法得到最优解，而集成学习能够得到近似解。比如说最优解是一条对角线，而单个决策树得到的结果只能是平行于坐标轴的，但是集成学习可以去拟合这条对角线。

2、Bagging(Breiman, 1996)

减少估计的方差的一种方法是将多个估计平均起来，对得到的函数求平均值时，方差项的贡献趋于抵消，从而改进了预测。例如可以在数据的不同子集上训练M个不同的树，用替换随机选择（有放回重采样），然后计算集成：

$y_{COM}(x) = \frac{1}{M}\sum_{ m =1}^M y_m(x)$

这个过程被称为自助采样法或装袋 (bootstrap aggregation or bagging)。

因为 bagging 是有放回的随机采样，会有部分数据不会被抽取，未被抽取的概率在1/3，这部分数据叫 out of bag samples，因此可以用这部分数据对模型进行检验。

下面用回归函数说明 bagging比单个模型好。

假设要预测的回归函数是，则每个模型的输出都可以写成真值加上误差： $y_m(x)=h(x)+\epsilon_m(x)$

单个模型的平均误差平方和为： $E_x\left [ \left \{ y_m(x) - h(x) \right \}^2 \right ] =E_x\left [ \epsilon _m(x)^2 \right ]$

则所有模型的平均误差误差平方和为: $E_{AV}=\frac{1}{M}\sum_{m=1}^M E_x\left [ \epsilon_m (x)^2 \right ]$

委员会的期望误差误差平方和为： $E_{COM}= E_x(y_{COM}(x) -h(x))^2$

$=E_x( \frac{1}{M}\sum_{ m =1}^M y_m(x) -h(x))^2$

$=E_x( \frac{1}{M}\sum_{ m =1}^M(h(x)+\epsilon_m (x)) -h(x))^2$

$=E_x( \frac{1}{M}\sum_{ m =1}^M \epsilon_m (x) + h(x)-h(x))^2$

$=E_x( \frac{1}{M}\sum_{ m =1}^M \epsilon_m (x) )^2$

$=\frac{1}{M}\sum_{m=1}^M E_{AV}$

上述结果表明：一个模型的平均误差可以通过简单地对模型的M个版本进行平均来减少M个因素，即bagging降低了偏差。不幸的是，这取决于一个关键的假设，即由各个模型引起的误差是不相关的。在实践中，错误通常是高度相关的，总体错误的减少通常很小。但是，可以表明，期望的委员会误差不会超过组成模型的预期误差，因此 $E_{COM}\leq E_{AV}$ 。为了实现更显著的改进，使用更复杂的技术建立委员会，称为boosting。

如果假设误差的均值为0且不相关，则有：

$E_x(\epsilon_m (x) )=0$

$E_x(\epsilon_m (x) \epsilon_l (x))=0,m\neq l$

随机森林（Random forests，Breiman 2001）是 Bagging 的扩展变体，它在以决策树为基学习器构建 Bagging 集成的基础上，进一步在决策树的训练过程中引入了随机特征选择，因此可以概括 RF 包括四个部分：

随机选择样本（放回抽样）；
随机选择特征；
构建决策树；
随机森林投票（平均）。

随机选择样本和 Bagging 相同，采用的是 Bootstrap 自助采样法；随机选择特征是指在每个结点在分裂过程中都是随机选择特征的（区别与每棵树随机选择一批特征）。

这种随机性导致随机森林的偏差会有稍微的增加（相比于单棵不随机树），但是由于随机森林的“平均”特性，会使得它的方差减小，而且方差的减小补偿了偏差的增大，因此总体而言是更好的模型。

随机采样由于引入了两种采样方法保证了随机性，所以每棵树都是最大可能的进行生长就算不剪枝也不会出现过拟合。

随机森林优点：

在数据集上表现良好，相对于其他算法有较大的优势
易于并行化，在大数据集上有很大的优势；
能够处理高维度数据，不用做特征选择。

总的来说就是bagging只是对样本有放回的随机抽取（采样），而随机森林是对样本和特征都进行有放回的随机抽取。

3、Boosting(Schapire and Freund 2012)

boosting 是bagging的一种增强版，通过改善模型表现不佳的地方提高学习器的效果。

boosting将多个基分类器（base classifiers）组合在一起，生成一个性能优于任何基分类器的委员会。

基分类器的性能只比随机分类器稍好一点，但Boosting(增强)也可以产生好的结果，因此有时基分类器被称为弱学习器（weak learners）。

最初设计用于解决分类问题（投票法），boosting也可以扩展到回归(Friedman, 2001)。

boosting 是可将弱学习器提升为强学习器的算法，其增强算法代表是 AdaBoost (adaptive boosting, Freund and Schapire,1996)。

补充：对于决策树来说，其在AdaBoost中的弱学习器是指决策树桩，即一个结点（根结点）和两个叶节点（只含有一个属性）。

3.1 AdaBoost(Freund and Schapire,1996)

AdaBoost是对基分类器按顺序进行训练，每个基分类器使用数据集的加权形式进行训练，其中每个数据点的加权系数取决于前一个分类器的性能。特别地，被一个基分类器错误分类的点在用于训练序列中的下一个分类器时被赋予更大的权重。一旦所有的分类器都经过了训练，它们的预测就会通过加权多数投票组合起来，如下图所示。

上图是Adaboost的框架示意图。每个基分类器都在训练集（蓝色箭头）的加权形式上进行训练，其中 $w_n^{(m)}$ 的权值取决于前一个基分类器 $y_{m-1}(x)$ （绿色箭头）的性能。一旦所有基分类器都被训练好了，它们就会被组合成最终分类器 $Y_{M}(x)$ (红色箭头）。

理解：首先构建一个bagging，随机从训练集中抽取一部分数据（有放回的抽样，bootsrap），接着训练模型得到模型，然后用这个模型对训练数据进行判别，会有一些样本判别错误；再一次构建bagging，随机抽取部分数据（可能含判断错误的数据），这时对判断错误的样本数据加大权重，然后训练模型得到，一直持续下去，直到训练了M个模型。最后对所得到的的M个模型分配不同的权重相加，取符号即可。（注意：除了有放回抽样，也可以将所有训练样本用来训练模型）

对于AdaBoost主要考虑二分类问题。假设训练数据包含输入向量及其相应目标变量 $t_1,...,t_N(t_n\in \left \{ -1,1\right \})$ ，则 $y(x)\in\left \{ -1,1 \right \}$ 。每个数据点都有一个相关的加权参数，该参数最初为1/N (N代表样本数）。在算法的每个阶段，AdaBoost使用一个数据集来训练一个新的分类器，其中的加权系数根据之前训练的分类器的性能进行调整，从而使错误分类的数据点获得更大的权重。最后，当训练了一定数量的基分类器时，赋予基分类器不同的权重并将它们组合起来组成一个委员会。

AdaBoost算法的精确形式如下所示：

1) 初始化数据权重 $\left \{ w_n \right \}$ ，设置 $w_n^{(1)}=1/N,(n=1,...,N)$

2) for ：

a) 将分类器与训练数据进行拟合，并最小化加权误差函数：

$J_m = \sum_{n=1}^N w_n^{(m)}I(y_m(x_n)\neq t_n)$

$I(y_m(x_n)\neq t_n)$ 是指示函数（indicator function）。当 $y_m(x_n)\neq t_n$ 时， $I(y_m(x_n)\neq t_n)=1$ ，否则为0。

b) 评估数量：

$\epsilon _{m}=\frac{ \sum_{n=1}^N w_n^{(m)}I(y_m(x_n)\neq t_n)}{\sum_{n=1}^N w_n^{(m)}}$

$\epsilon_m$ 表示数据集上每个基分类器的错误率的加权度量。

最好的树桩 $\sum_{n=1}^N w_n=0$ ，最差的树桩 $\sum_{n=1}^N w_n=1$ 。

c) 计算 $\alpha_m$ ：

$\alpha_m=In \frac{1-\epsilon_m}{\epsilon_m}$

$\alpha_m$ 的大小由树桩的误差分类率 $\epsilon_m$ 决定。 $\alpha_m$ 越小表示决策树桩效果越差。

d) 更新权重系数：

$w_n^{(m+1)} = w_n^{(m)} \exp \left \{ \alpha_m I(y_m(x_n)\neq t_n) \right \}$

在随后的迭代中，对于误分类的数据点，加权系数 $w_n^{(m)}$ 增大，对于正确分类的数据点，加权系数 $w_n^{(m)}$ 减小。因此，连续的分类器被迫更加强调那些被以前的分类器错误分类的点，而那些继续被连续的分类器错误分类的数据点将获得更大的权重。

3) 更新最终的模型并用最终的模型进行预测：

$Y_{M}(x)=sign(Y_{M-1}(x)+ \alpha_my_m(x))=sign(\sum_{m=1}^M \alpha_my_m(x))$

计算的整体输出时， $\alpha_m$ 提供更大的权重给更准确的基分类器。

4) 当最终模型的误分率低于一定阈值或迭代次数达到一定值，停止迭代；否则，回到步骤 2)

下面对上面步骤中的公式进行说明和推导：

AdaBoost采用指数误差函数，其定义为： $E =\sum_{n=1}^N exp(-t_nf_m(x_n)),t_n\in \left \{ -1,1 \right \}$

是基分类器的线性组合： $f_m(x) = \frac{1}{2}\sum_{l=1}^m \alpha_ly_l(x)$

$f_m(x) = f_{m-1}(x)+ \nu \alpha_ly_l(x)$ ， $0<\nu<1$

$\nu$ 是步长参数（learning rate），通常为 0.1 ，也叫伸缩因子（shrinkage），是为了防止 Adaboost 过拟合。对于同样的训练集学习效果，较小的 v 意味着我们需要更多的弱学习器的迭代次数。通常我们用步长和迭代最大次数一起来决定算法的拟合效果。

算法的关键是不会回头去调整之前的参数，因此被称为前向阶段加性建模（forward stagewise additive modeling）。

目标是相对权重系数 $\alpha_l$ 和基分类器参数最小化。假设 $y_1(x),...,y_{m-1}(x)$ 是固定的，其对应系数为 $\alpha_1,...,\alpha_{m-1}$ ，所以最小化只需相对 $\alpha_m$ 和。将基分类器的贡献分离出来，因此误差函数可以写为：

$E =\sum_{n=1}^N exp(-t_nf_{m-1}(x_n)-\frac{1}{2}t_n \alpha_my_m(x_n))$

$=\sum_{n=1}^N \left \{ exp(-t_nf_{m-1}(x_n))*exp(-\frac{1}{2}t_n \alpha_my_m(x_n)) \right \}$

$=\sum_{n=1}^N w_n^{(m)}exp(-\frac{1}{2}t_n \alpha_my_m(x_n))$ （式1）

将上式中的 $w_n^{(m)}$ 可以看做常数，因此只需优化 $\alpha_m$ 和。用 $\tau _m$ 表示基分类器分类正确的点，表示被分类错误的点，则误差函数可以写为：

分类正确：

分类错误：

$E=\sum_{n\in \tau_m}w_n^{(m)}exp(-\frac{1}{2}\alpha_m) +\sum_{n\in M_m}w_n^{(m)}exp(\frac{1}{2}\alpha_m)$

$=exp(-\frac{1}{2}\alpha_m)\sum_{n\in \tau_m}w_n^{(m)} +exp(\frac{1}{2}\alpha_m)\sum_{n\in M_m}w_n^{(m)}$

$=exp(-\frac{1}{2}\alpha_m)\sum_{n\in \tau_m}w_n^{(m)} +exp(\frac{1}{2}\alpha_m)\sum_{n\in M_m}w_n^{(m)}$ $+[exp(-\frac{1}{2}\alpha_m)\sum_{n\in M_m}w_n^{(m)}-exp(-\frac{1}{2}\alpha_m)\sum_{n\in M_m}w_n^{(m)}]$

$-exp(-\frac{1}{2}\alpha_m)\sum_{n\in M_m}w_n^{(m)}]$

$=exp(-\frac{1}{2}\alpha_m)[\sum_{n\in \tau_m}w_n^{(m)} +\sum_{n\in M_m}w_n^{(m)}]$ $+[exp(\frac{1}{2}\alpha_m)-exp(-\frac{1}{2}\alpha_m)]\sum_{n\in M_m}w_n^{(m)}$

$=exp(-\frac{1}{2}\alpha_m)\sum_{n=1}^N w_n^{(m)}$ $+[exp(\frac{1}{2}\alpha_m)-exp(-\frac{1}{2}\alpha_m)]\sum_{n=1}^N w_n^{(m)} I(y_m(x_n)\neq t_n)$

上式相对求最小值，第一项为常数，因此相当于对第二项求最小值，与 AdaBoost算法步骤2) 的 a 步骤求的最小值是一样的。因为求和前的整体乘性因子不影响最小值的位置。

类似的，相对 $\alpha_m$ 求最小值，可以得到 $\alpha_m$ ，与 AdaBoost算法步骤2) 的 c 步骤的公式一致，下面是推导过程：

$\frac{\partial E}{\partial \alpha_m}=-1/2exp(-\frac{1}{2}\alpha_m)\sum_{n=1}^N w_n^{(m)}$ $+[1/2exp(\frac{1}{2}\alpha_m)+1/2exp(-\frac{1}{2}\alpha_m)]\sum_{n=1}^N w_n^{(m)} I(y_m(x_n)\neq t_n)=0$

↓↓↓↓↓

$-1/2exp(-\frac{1}{2}\alpha_m)\sum_{n=1}^N w_n^{(m)}$ $=-[1/2exp(\frac{1}{2}\alpha_m)+1/2exp(-\frac{1}{2}\alpha_m)]\sum_{n=1}^N w_n^{(m)} I(y_m(x_n)\neq t_n)$

$exp(-\frac{1}{2}\alpha_m)/[exp(\frac{1}{2}\alpha_m)+exp(-\frac{1}{2}\alpha_m)]=\frac{ \sum_{n=1}^N w_n^{(m)}I(y_m(x_n)\neq t_n)}{\sum_{n=1}^N w_n^{(m)}}$

$exp(-\frac{1}{2}\alpha_m)/[exp(\frac{1}{2}\alpha_m)+exp(-\frac{1}{2}\alpha_m)]=\epsilon_m$

$exp(-\frac{1}{2}\alpha_m)=\epsilon_m \times[exp(\frac{1}{2}\alpha_m)+exp(-\frac{1}{2}\alpha_m)]$

$(1-\epsilon_m)exp(-\frac{1}{2}\alpha_m)=\epsilon_m exp(\frac{1}{2}\alpha_m)$

$\frac{1-\epsilon_m}{\epsilon_m}= exp(\frac{1}{2}\alpha_m)/exp(-\frac{1}{2}\alpha_m)=exp(\frac{1}{2}\alpha_m+\frac{1}{2}\alpha_m)=exp(\alpha_m)$

$\alpha_m=In \frac{1-\epsilon_m}{\epsilon_m}$

由式1 可得： $w_n^{(m+1)} = w_n^{(m)}exp(-\frac{1}{2}t_n \alpha_my_m(x_n))$

结合事实： $t_n y_m(x_n)=1-2I(y_m(x_n)\neq t_n)$ ，可得 $w_n^{(m)}$ 在下一次迭代中更新可用下式：

$w_n^{(m+1)} = w_n^{(m)}exp[-\frac{1}{2} \alpha_m(1-2I(y_m(x_n)\neq t_n))]$

$= w_n^{(m)}exp[-\frac{1}{2} \alpha_m+\alpha_m I(y_m(x_n)\neq t_n))]$

$= w_n^{(m)}exp(-\frac{1}{2} \alpha_m)exp[\alpha_m I(y_m(x_n)\neq t_n)]$

上式中独立于，对所有的点取一样权重或相同的因子，因此可以被丢弃，得到AdaBoost算法步骤2) 的 d 步骤的公式。

注：上述只适应于二分类问题（discrete AdaBoost），因为其假设返回的是二分类标签。如果返回的是概率，则不可丢弃，这是修正后的算法，又叫 real AdaBoost。

补充： $t_n y_m(x_n)=1-2I(y_m(x_n)\neq t_n)$ 证明：

$\sum_{n=1}^Nt_ny_m(x_n) =\sum_{n \in \tau_m}^N1+\sum_{n \in M_m}^N(-1)$

$=\sum_{n \in \tau_m}^N1+\sum_{n \in M_m}^N(-1)-\sum_{n \in M_m}^N(-1)+\sum_{n \in M_m}^N(-1)$

$=\sum_{n \in \tau_m}^N1+\sum_{n \in M_m}^N1-2\sum_{n \in M_m}^N1$

$=\sum_{n =1}^N1-2\sum_{n =1}^N I(y_m(x_n)\neq t_n)$

$=\sum_{n =1}^N(1-2I(y_m(x_n)\neq t_n))$

最后所有基分类器都被训练完，用 $f_m(x) = \frac{1}{2}\sum_{l=1}^m \alpha_ly_l(x)$ 对新的数据点进行预测。因为前面的对取符号没有影响，因此可以省略，得到 AdaBoost算法步骤 3) 的公式。

上述指数损失函数给错分类点过多的权重，如下图所示(红线，左侧）。这使得该方法对异常值（错分的点）非常敏感。此外，不是 $t_n\in \left \{ -1,1 \right \}$ 的概率分布的对数，因此无法从 f(x) 中重新获得概率估计。

一种替代方法是使用 logloss，这只会线性地惩罚错误 (如下图所示) 并能够从最终的学习函数中提取概率。

AdaBoost：

优点：分类精度高；可以用各种回归分类模型来构建弱学习器，非常灵活；不容易发生过拟合；只能用于二分类,但可扩展到多分类和回归。
缺点：对异常点敏感，异常点会获得较高权重。

补充：随机森林与AdaBoost的比较：

决策树属性和深度的选取：随机森林的每个模型采用随机样本选取和随机特征选取，对树的深度不做要求；AdaBoost构建的每棵树（决策树桩）只有一个属性和两个叶节点。
单个模型的准确度：随机森林的单个模型可以选取所有样本和所有特征构建决策树，模型的准确率高（偏差低），因此随机森林（Bagging）的模型是强学习器；AdaBoost的单个模型是决策树桩，只有一个属性，所以准确率低（偏差高），因此决策树桩（Boosting）是弱学习器。
模型的有序性：随机森林从训练数据中有放回的随机抽取样本和特征，然后构建决策树模型，各个模型之间是无序的，即模型之间是独立的，无需注意哪个模型是先建立的还是后建立的。AdaBoost是有序的，第一个树桩的误差会影响第二个树桩，第二个树桩的误差会影响第三个误差等等。
随机森林的每棵树在分类中都有相同权重；AdaBoost的每个树桩有不同的权重，一些树桩权重大，在最终函数中占比大。

3.2 Gradient boosting(Friedman 2001; Mason et al. 2000)

Gradient Boost与传统的Boost的区别是，每一次的计算是为了减少上一次的残差(residual)梯度提升方法在迭代的每一步构建一个能够沿着梯度最陡的方向降低损失（steepest-descent）的学习器来弥补已有模型的不足。

经典的AdaBoost算法只能处理采用指数损失函数的二分类学习任务，而梯度提升方法通过设置不同的可微损失函数可以处理各类学习任务（多分类、回归、Ranking等），应用范围大大扩展。

另一方面，AdaBoost算法对异常点（outlier）比较敏感，而梯度提升算法通过引入bagging思想、加入正则项等方法能够有效地抵御训练数据中的噪音，具有更好的健壮性。

GBDT 的核心在于累加所有树的结果作为最终结果，GBDT 的每一棵树都是以之前树得到的残差来更新目标值，这样每一棵树的值加起来即为 GBDT 的预测值。

具体见：Boosting(GBDT回归)（举例说明，通俗易懂）

Boosting(GBDT分类)（举例说明，通俗易懂）

GBDT：

优点：可以自动进行特征组合，拟合非线性数据；适用于线性非线性回归，二分类和多分类。
缺点：对异常点敏感。

Gradient boosting与 Adaboost 的对比

相同：

都是 Boosting 家族成员，使用弱分类器；
都使用前向分布算法；

不同：

迭代思路不同：Adaboost 是通过提升错分数据点的权重来弥补模型的不足（利用错分样本），而 GBDT 是通过算梯度来弥补模型的不足（利用残差）；
损失函数不同：AdaBoost 采用的是指数损失，GBDT 使用的是绝对损失或者 Huber 损失函数；

4、Stacking(Wolpert 1992)

Stacking 是先用全部数据训练好基模型，然后每个基模型都对每个训练样本进行的预测，其预测值将作为训练样本的特征值，最终会得到新的训练样本，然后基于新的训练样本进行训练得到模型，然后得到最终预测结果。

5、Python3

参考：Boosting(AdaBoost) 算法实现

你可能感兴趣的:(算法,python)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ 江湖偌大 python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Goolge earth studio 进阶4——路径修改与平滑陟彼高冈yu Google earth studio 进阶教程旅游
如果我们希望在大约中途时获得更多的城市鸟瞰视角。可以将相机拖动到这里并创建一个新的关键帧。camera_target_clip_7EarthStudio会自动平滑我们的路径，所以当我们通过这个关键帧时，不是一个生硬的角度，而是一个平滑的曲线。camera_target_clip_8路径上有贝塞尔控制手柄，允许我们调整路径的形状。右键单击，我们可以选择“平滑路径”，这是默认的自动平滑算法，或者我们可
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
基于社交网络算法优化的二维最大熵图像分割智能算法研学社（Jack旭）智能优化算法应用图像分割算法 php 开发语言
智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码文章目录智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码1.前言2.二维最大熵阈值分割原理3.基于社交网络优化的多阈值分割4.算法结果：5.参考文献：6.Matlab代码摘要：本文介绍基于最大熵的图像分割，并且应用社交网络算法进行阈值寻优。1.前言阅读此文章前，请阅读《图像分割：直方图区域划分及信息统计介绍》htt
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1) Shawn________ python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
121. 买卖股票的最佳时机薄荷糖的味道_fb40
给定一个数组，它的第i个元素是一支给定股票第i天的价格。如果你最多只允许完成一笔交易（即买入和卖出一支股票），设计一个算法来计算你所能获取的最大利润。注意你不能在买入股票前卖出股票。示例1:输入:[7,1,5,3,6,4]输出:5解释:在第2天（股票价格=1）的时候买入，在第5天（股票价格=6）的时候卖出，最大利润=6-1=5。注意利润不能是7-1=6,因为卖出价格需要大于买入价格。示例2:输入:
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
回溯算法-重新安排行程 chirou_ 算法数据结构图论 c++图搜索
leetcode332.重新安排行程这题我还没自己ac过，只能现在凭着刚学完的热乎劲把我对题解的理解记下来。本题我认为对数据结构的考察比较多，用什么数据结构去存数据，去读取数据，都是很重要的。classSolution{private:unordered_map>targets;boolbacktracking(intticketNum,vector&result){//1.确定参数和返回值//2
Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
Faiss：高效相似性搜索与聚类的利器网络·魚大数据 faiss
Faiss是一个针对大规模向量集合的相似性搜索库，由FacebookAIResearch开发。它提供了一系列高效的算法和数据结构，用于加速向量之间的相似性搜索，特别是在大规模数据集上。本文将介绍Faiss的原理、核心功能以及如何在实际项目中使用它。Faiss原理：近似最近邻搜索：Faiss的核心功能之一是近似最近邻搜索，它能够高效地在大规模数据集中找到与给定查询向量最相似的向量。这种搜索是近似的，
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
insert into select 主键自增_mybatis拦截器实现主键自动生成 weixin_39521651 insert into select 主键自增 mybatis delete返回值 mybatis insert返回主键 mybatis insert返回对象 mybatis plus insert返回主键 mybatis plus 插入生成id
前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
Python中深拷贝与浅拷贝的区别 yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
k均值聚类算法考试例题_k均值算法(k均值聚类算法计算题) 寻找你83497 k均值聚类算法考试例题
?算法：第一步：选K个初始聚类中心，z1(1),z2(1)，…，zK(1)，其中括号内的序号为寻找聚类中心的迭代运算的次序号。聚类中心的向量值可任意设定，例如可选开始的K个.k均值聚类：---------一种硬聚类算法，隶属度只有两个取值0或1，提出的基本根据是“类内误差平方和最小化”准则；模糊的c均值聚类算法：--------一种模糊聚类算法，是.K均值聚类算法是先随机选取K个对象作为初始的聚类
java Illegal overloaded getter method with ambiguous type for propert的解决 zwllxs java jdk
好久不来iteye,今天又来看看，哈哈,今天碰到在编码时，反射中会抛出 Illegal overloaded getter method with ambiguous type for propert这么个东东，从字面意思看，是反射在获取getter时迷惑了，然后回想起java在boolean值在生成getter时，分别有is和getter，也许我们的反射对象中就有is开头的方法迷惑了jdk，
IT人应当知道的10个行业小内幕 beijingjava 工作互联网
10. 虽然IT业的薪酬比其他很多行业要好，但有公司因此视你为其“佣人”。　　尽管IT人士的薪水没有互联网泡沫之前要好，但和其他行业人士比较，IT人的薪资还算好点。在接下的几十年中，科技在商业和社会发展中所占分量会一直增加，所以我们完全有理由相信，IT专业人才的需求量也不会减少。　　然而，正因为IT人士的薪水普遍较高，所以有些公司认为给了你这么多钱，就把你看成是公司的“佣人”，拥有你的支配
java 实现自定义链表 CrazyMizzz java 数据结构
1.链表结构链表是链式的结构 2.链表的组成链表是由头节点，中间节点和尾节点组成节点是由两个部分组成： 1.数据域 2.引用域 3.链表的实现 &nbs
web项目发布到服务器后图片过一会儿消失麦田的设计者 struts2 上传图片永久保存
作为一名学习了android和j2ee的程序员，我们必须要意识到，客服端和服务器端的交互是很有必要的，比如你用eclipse写了一个web工程，并且发布到了服务器（tomcat）上，这时你在webapps目录下看到了你发布的web工程，你可以打开电脑的浏览器输入http://localhost:8080/工程/路径访问里面的资源。但是，有时你会突然的发现之前用struts2上传的图片
CodeIgniter框架Cart类 name 不能设置中文的解决方法 IT独行者 CodeIgniter Cart 框架　
今天试用了一下CodeIgniter的Cart类时遇到了个小问题，发现当name的值为中文时，就写入不了session。在这里特别提醒一下。在CI手册里也有说明，如下： $data = array( 'id' => 'sku_123ABC', 'qty' => 1, '
linux回收站 _wy_ linux 回收站
今天一不小心在ubuntu下把一个文件移动到了回收站，我并不想删，手误了。我急忙到Nautilus下的回收站中准备恢复它，但是里面居然什么都没有。后来我发现这是由于我删文件的地方不在HOME所在的分区，而是在另一个独立的Linux分区下，这是我专门用于开发的分区。而我删除的东东在分区根目录下的.Trash-1000/file目录下，相关的删除信息（删除时间和文件所在
jquery回到页面顶端知了ing html jquery css
html代码： <h1 id="anchor">页面标题</h1> <div id="container">页面内容</div> <p><a href="#anchor" class="topLink">回到顶端</a><
B树、B-树、B+树、B*树矮蛋蛋 B树
原文地址： http://www.cnblogs.com/oldhorse/archive/2009/11/16/1604009.html B树即二叉搜索树： 1.所有非叶子结点至多拥有两个儿子（Left和Right）； &nb
数据库连接池 alafqq 数据库连接池
http://www.cnblogs.com/xdp-gacl/p/4002804.html @Anthor:孤傲苍狼数据库连接池用MySQLv5版本的数据库驱动没有问题，使用MySQLv6和Oracle的数据库驱动时候报如下错误： java.lang.ClassCastException: $Proxy0 cannot be cast to java.sql.Connec
java泛型百合不是茶 java泛型
泛型在Java SE 1.5之前，没有泛型的情况的下，通过对类型Object的引用来实现参数的“任意化”，任意化的缺点就是要实行强制转换，这种强制转换可能会带来不安全的隐患泛型的特点：消除强制转换确保类型安全向后兼容简单泛型的定义：泛型：就是在类中将其模糊化，在创建对象的时候再具体定义 class fan
javascript闭包[两个小测试例子] bijian1013 JavaScript JavaScript
一.程序一 <script> var name = "The Window"; var Object_a = { 　　name : "My Object", 　　getNameFunc : function(){ var that = this; 　　　　return function(){ 　　　　
探索JUnit4扩展：假设机制（Assumption） bijian1013 java Assumption JUnit 单元测试
一.假设机制（Assumption）概述理想情况下，写测试用例的开发人员可以明确的知道所有导致他们所写的测试用例不通过的地方，但是有的时候，这些导致测试用例不通过的地方并不是很容易的被发现，可能隐藏得很深，从而导致开发人员在写测试用例时很难预测到这些因素，而且往往这些因素并不是开发人员当初设计测试用例时真正目的，
【Gson四】范型POJO的反序列化 bit1129 POJO
在下面这个例子中，POJO(Data类)是一个范型类，在Tests中，指定范型类为PieceData，POJO初始化完成后，通过 String str = new Gson().toJson(data); 得到范型化的POJO序列化得到的JSON串，然后将这个JSON串反序列化为POJO import com.google.gson.Gson; import java.
【Spark八十五】Spark Streaming分析结果落地到MySQL bit1129 Stream
几点总结： 1. DStream.foreachRDD是一个Output Operation，类似于RDD的action，会触发Job的提交。DStream.foreachRDD是数据落地很常用的方法 2. 获取MySQL Connection的操作应该放在foreachRDD的参数（是一个RDD[T]=>Unit的函数类型)，这样，当foreachRDD方法在每个Worker上执行时，
NGINX + LUA实现复杂的控制 ronin47 nginx lua
安装lua_nginx_module 模块 lua_nginx_module 可以一步步的安装，也可以直接用淘宝的OpenResty Centos和debian的安装就简单了。。这里说下freebsd的安装： fetch http://www.lua.org/ftp/lua-5.1.4.tar.gz tar zxvf lua-5.1.4.tar.gz cd lua-5.1.4 ma
java-递归判断数组是否升序 bylijinnan java
public class IsAccendListRecursive { /*递归判断数组是否升序 * if a Integer array is ascending,return true * use recursion */ public static void main(String[] args){ IsAccendListRecursiv
Netty源码学习-DefaultChannelPipeline2 bylijinnan java netty
Netty3的API http://docs.jboss.org/netty/3.2/api/org/jboss/netty/channel/ChannelPipeline.html 里面提到ChannelPipeline的一个“pitfall”：如果ChannelPipeline只有一个handler（假设为handlerA）且希望用另一handler（假设为handlerB）来
Java工具之JPS chinrui java
JPS使用熟悉Linux的朋友们都知道，Linux下有一个常用的命令叫做ps（Process Status)，是用来查看Linux环境下进程信息的。同样的，在Java Virtual Machine里面也提供了类似的工具供广大Java开发人员使用，它就是jps（Java Process Status)，它可以用来
window.print分页打印 ctrain window
function init() { var tt = document.getElementById("tt"); var childNodes = tt.childNodes[0].childNodes; var level = 0; for (var i = 0; i < childNodes.length; i++) {
安装hadoop时执行jps命令Error occurred during initialization of VM daizj jdk hadoop jps
在安装hadoop时，执行JPS出现下面错误 [slave16][email protected]:/tmp/hsperfdata_hdfs# jps Error occurred during initialization of VM java.lang.Error: Properties init: Could not determine current working
PHP开发大型项目的一点经验 dcj3sjt126com PHP 重构
一、变量最好是把所有的变量存储在一个数组中，这样在程序的开发中可以带来很多的方便，特别是当程序很大的时候。变量的命名就当适合自己的习惯，不管是用拼音还是英语，至少应当有一定的意义，以便适合记忆。变量的命名尽量规范化，不要与PHP中的关键字相冲突。二、函数 PHP自带了很多函数，这给我们程序的编写带来了很多的方便。当然，在大型程序中我们往往自己要定义许多个函数，几十
android笔记之--向网络发送GET/POST请求参数 dcj3sjt126com android
使用GET方法发送请求 private static boolean sendGETRequest (String path, Map<String, String> params) throws Exception{ //发送地http://192.168.100.91:8080/videoServi
linux复习笔记之bash shell (3) 通配符 eksliang linux 通配符 linux通配符
转载请出自出处： http://eksliang.iteye.com/blog/2104387 在bash的操作环境中有一个非常有用的功能，那就是通配符。下面列出一些常用的通配符，如下表所示符号意义 * 万用字符，代表0个到无穷个任意字符 ? 万用字符，代表一定有一个任意字符 [] 代表一定有一个在中括号内的字符。例如：[abcd]代表一定有一个字符，可能是a、b、c
Android关于短信加密 gqdy365 android
关于Android短信加密功能，我初步了解的如下（只在Android应用层试验）： 1、因为Android有短信收发接口，可以调用接口完成短信收发；发送过程：APP（基于短信应用修改）接受用户输入号码、内容——>APP对短信内容加密——>调用短信发送方法Sm
asp.net在网站根目录下创建文件夹 hvt .net C#hovertree asp.net Web Forms
假设要在asp.net网站的根目录下建立文件夹hovertree,C#代码如下： string m_keleyiFolderName = Server.MapPath("/hovertree"); if (Directory.Exists(m_keleyiFolderName)) { //文件夹已经存在 return; } else { try { D
一个合格的程序员应该读过哪些书 justjavac 程序员书籍
编者按：2008年8月4日，StackOverflow 网友 Bert F 发帖提问：哪本最具影响力的书，是每个程序员都应该读的？ “如果能时光倒流，回到过去，作为一个开发人员，你可以告诉自己在职业生涯初期应该读一本，你会选择哪本书呢？我希望这个书单列表内容丰富，可以涵盖很多东西。” 很多程序员响应，他们在推荐时也写下自己的评语。以前就有国内网友介绍这个程序员书单，不过都是推荐数
单实例实践跑龙套_az 单例
1、内部类 public class Singleton { private static class SingletonHolder { public static Singleton singleton = new Singleton(); } public Singleton getRes
PO VO BEAN 理解 q137681467 VO DTO po
PO：全称是 persistant object持久对象最形象的理解就是一个PO就是数据库中的一条记录。好处是可以把一条记录作为一个对象处理，可以方便的转为其它对象。 BO：全称是 business object:业务对象主要作用是把业务逻辑封装为一个对象。这个对
战胜惰性，暗自努力金笛子努力
偶然看到一句很贴近生活的话：“别人都在你看不到的地方暗自努力，在你看得到的地方，他们也和你一样显得吊儿郎当，和你一样会抱怨，而只有你自己相信这些都是真的，最后也只有你一人继续不思进取。”很多句子总在不经意中就会戳中一部分人的软肋，我想我们每个人的周围总是有那么些表现得“吊儿郎当”的存在，是否你就真的相信他们如此不思进取，而开始放松了对自己的要求随波逐流呢？我有个朋友是搞技术的，平时嘻嘻哈哈，以
NDK/JNI二维数组多维数组传递 wenzongliang 二维数组 jni NDK
多维数组和对象数组一样处理，例如二维数组里的每个元素还是一个数组用jArray表示，直到数组变为一维的，且里面元素为基本类型，去获得一维数组指针。给大家提供个例子。已经测试通过。 Java_cn_wzl_FiveChessView_checkWin( JNIEnv* env,jobject thiz,jobjectArray qizidata) { jint i,j; int s