机器学习基础模型

朴素贝叶斯——概率模型

朴素贝叶斯分类原理

朴素贝叶斯是贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入$x$，利用贝叶斯定理求出后验概率最大的输出$y$。

• 首先利用极大似然估计计算类别的先验概率和特征条件关于类别条件概率。 ps:其中可能会出现估计的概率值为0的情况，可以使用贝叶斯估计解决，当$\lambda =1$时为拉普拉斯平滑
• 利用特征条件独立和贝叶斯定理计算后验概率
• 最大化后验概率确定特征的类别 ps: 最大化后验概率等价于期望风险最小化，在《统计学习方法》中有过程的推导P49页，不过该推导过程使用的是0-1损失。 朴素贝叶斯是一种多分类的算法，损失函数通常选用对数损失。最大概率中有连乘，使用对数损失可以将其变为加法（个人理解）

朴素贝叶斯是基于统计概率的，因此不需要使用归一化

贝叶斯定理的公式

（1）先验概率和条件概率：
$$p(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,\cdot \cdot \cdot ,K$$
$$p(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)},j=1,2,\cdot \cdot \cdot ,n;l=1,2,\cdot \cdot \cdot ,S_j;k=1,2,\cdot \cdot \cdot ,K$$
（2）对于给定实例$x=(x^{(1)},x^{(2)},\cdot \cdot \cdot ,x^{(n)})$，计算
$$P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k),k=1,2,\cdot \cdot \cdot ,K$$
（3）确定实例x的类
$$y=argma{x}_{c_k}P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k),k=1,2,\cdot \cdot \cdot ,K$$

朴素贝叶斯的公式可表示为：
$$y=\frac{P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)},k=1,2,\cdot \cdot \cdot ,K$$

朴素贝叶斯的优缺点以及优化

优点：

• 条件独立性假设使朴素贝叶斯高效并且易于实现
• 源于古典数学理论，有着坚实的数学基础以及稳定的分类效率
• 对于小规模的数据表现较好，能够处理多分类任务，适合增量式训练
• 对缺失数据不太敏感，算法比较简单

缺点：

• 条件独立性假设是较强的假设，致使其分类性能不太一定很高
• 需要计算先验概率，而且分类决策存在错误率

优化：
① 将计算先验概率时使用的极大似然估计替换为贝叶斯估计，其中典型的是分子上加1的拉普拉斯概率， 减少0出现的概率
② （选答，不追问就不答出来吧）在做文本分类时可以进行 关键字的提取（TF-IDF， 建立词库等）、进行词语组合

决策树——不需要进行归一化

决策树基本模型介绍？决策树的特性？

决策树可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。它是一种对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点。内部结点表示一个特征或属性，叶结点表示一个类。 学习室，利用训练数据，根据损失函数最小化的原则建立决策树模型；预测时，对新的数据，利用决策树模型进行分类。 它主要包括3个步骤：特征选择、决策树的生成和决策树的修减。
优点：模型具有可读性、分类速度快

信息增益和信息增益比？有什么不同（信息增益作为分类指标有什么问题）？

信息增益： 表示得知特征X的信息而使得类Y的信息的不确定性减少程度。决策树学习中的信息增益等价于训练数据集中类与特征的互信息。
以信息增益作为划分训练数据集的特征，存在偏向于选择取值较多的特征。（举个栗子：极端情况时，当某一个特征的取值情况等于样本个数时，此时该特征便可以将数据集完全划分，而当某一特征取值只有一种情况时，此时便对分类没有任何帮助。数学语言描述的话就是取值较多的特征的熵值较大）
信息增益比： 特征$A$对训练数据集$D$的信息增益比$g_R(D,A)$定义为其信息增益$g(D,A)$与训练数据集$D$关于特征$A$的值的熵$H_A(D)$之比，即$$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$$其中，$H_A(D)=-{\sum }_{i=1}^n\frac{|D_i|}{|D|}lo{g}_2\frac{|D_i|}{|D|}$，$n$是特征$A$取值的个数。

需要注意的是，信息增益比对可取值数目较少的属性有所偏好，因此，$C4.5$算法并不是直接选择信息增益比最大的候选划分属性，而是使用一个启发式：先从候选划分属性中选出信息增益高于平均水平的属性，再从中选择信息增益比最高的。

在信息论与概率统计中，熵是表示随机变量不确定性的度量。设X是一个取有限个值的离散随机变量，其概率分布为： $P(X=x_i)=p_i,i=1,2,...,n$，则随机变量X的熵定义为$H(X)=-{\sum }_{i=1}^n{p}_{i}log{p}_i$。熵只依赖于X的分布，而与X的取值无关，所以也可将X的熵记作H§，即$H(p)=-{\sum }_{i=1}^n{p}_{i}log{p}_i$。熵越大，随机变量的不确定性就越大。
条件熵$H(Y|X)$表示在已知随机变量$X$的条件下随机变量$Y$的不确定性。随机变量$X$给定的条件随机变量$Y$的条件熵$H(Y|X)$定义为$X$给定条件下$Y$的条件概率分布的熵对$X$的数学期望。$H(Y|X)={\sum }_{i=1}^n{p}_{i}H(Y|X=x_i)=-{\sum }_{x,y}p(x,y)logp(y|x)$

决策树如何进行分类？特征是如何选的？

特征选择的目的在于选取对训练数据能够正确分类的特征。特征选择的关键是其准则。常用的准则如下：

• （1）样本集合的信息增益(ID3)
  $$\{\begin{array}{c}g(D,A)=H(D)-H(D|A)\\ H(D)=-{\sum }_{k=1}^K\frac{|C_k|}{|D|}lo{g}_2\frac{|C_k|}{|D|}\\ H(D|A)={\sum }_{i=1}^n\frac{|D_i|}{|D|}H(D_i)\end{array}$$
  其中$H(D)$是数据集D的熵，$H(D_i)$是数据集$D_i$的熵，$H(D|A)$是数据集D对特征A的条件熵. $D_i$是$D$中特征A取第$i$个值的样本子集，$C_k$是$D$中属于第$k$类的样本子集。$n$是特征$A$取值的个数，$K$是类的个数

• (2) 样本集合D对特征A的信息增益比(C4.5)
  $$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$$
  $$H_A(D)=-\sum _{i=1}^n\frac{|D_i|}{|D|}\log \frac{|D_i|}{|D|}$$
  其中$g(D,A)$是信息增益，$H_A(D)$是$D$关于特征A的值的熵
• (3) 样本集合D的基尼指数(CART)
  $$Gini(D)=1-\sum _{k=1}^K{\left(\frac{|C_k|}{|D|}\right)}^2$$
  特征A条件下集合D的基尼指数：
  $$Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)$$

决策树的生成通常使用信息增益最大、信息增益比最大或基尼指数最小作为特征选择的准则。决策树的生成往往通过计算每个特征的信息增益或者其他指标，从根结点开始，递归产生决策树。决策树的生成往往产生一个局部最优的树。

CART树

CART分类树使用的是基尼指数（见上一题）
CART回归树使用的是平方误差最小化准则
构建回归树选择最优切分变量j和切分点s，求解
$$mi{n}_{j,s}[mi{n}_{c_1}\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+mi{n}_{c_2}\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2]\text{\hspace{1em}(1)}$$ 遍历变量$j$，对固定的切分变量$j$扫描切分点$s$，选择使得式(1)达到最小值的对$(j,s)$
$$\begin{gathered} \widehat{c_1}=avg(y_i|x_i\in R_1(j,s)) \\ \widehat{c_2}=avg(y_i|x_i\in R_2(j,s)) \end{gathered}$$

决策树分类停止条件是什么？

• 没有特征可以选择了
• 所有特征的信息增益均很小（小于某个阈值）或者样本集的基尼指数小于预定阈值（样本基本属于同一类），或所有样例都具有相同的目标属性值（即训练数据子集被正确分类了）
• 结点中的样本个数小于预定阈值

决策树如何进行剪枝？

《机器学习》： 决策树的剪枝策略有“预剪枝”和“后剪枝”。预剪枝是指在决策树生成过程中，对每个结点在划分前先进行评估，若当前节点的划分不会带来决策树泛化性能提升，则停止划分并将当前结点标记为叶结点；后剪枝则是先从训练集生成一颗完整的决策树然后自底向上地对非叶结点进行考察，若将该节点对应的子树替换为叶结点能带来泛化性能提升，则将该子树替换为叶结点。
预剪枝使得决策树的很多分支都没有展开，这不仅降低了过拟合的风险，也显著减少了决策树的训练时间开销和测试时间开销。但另一方面，有些分支虽不能提升泛化性能、甚至可能导致泛化性能暂时下降，但在其基础上进行的后续划分却有可能导致性能显著提高；预剪枝基于“贪心”本质禁止这些分支展开，给预剪枝决策树带来了欠拟合的风险。
后剪枝决策树通常比预剪枝决策树保留了很多的分支。一般情形下，后剪枝决策树的欠拟合风险很小，泛化性能往往优于预剪枝决策树。但后剪枝过程是在生成完全决策树之后进行的，并且要自底向上地对树中的所有非叶结点进行逐一考察，因此其训练时间开销比未剪枝决策树和预剪枝决策树都要大很多。
《统计学习方法》则是从损失函数的角度进行了回答。决策树的剪枝往往通过极小化决策树整体的损失函数或代价函数来实现。设树$T$的叶结点个数为$|T|$，$t$是树$T$的叶结点，该叶结点有$N_t$个样本点，其中$k$类的样本点有$N_{tk}$个，$k=1,2,...,k$，$H_t(T)$位叶结点$t$上的经验熵，$\alpha \ge 0$为参数，则决策树学习的损失函数可以定义为$$C_{\alpha }(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)+\alpha |T|$$
其中经验熵为$$H_t(T)=-\sum _k\frac{N_{tk}}{N_t}log\frac{N_{tk}}{N_t}$$
在损失函数中，将第一项记作：$$C(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)=-\sum _{t=1}^{|T|}\sum _{k=1}^K{N}_{tk}log\frac{N_{tk}}{N_t}$$
这是有：
$$C_{\alpha }(T)=C(T)+\alpha |T|$$
$C(T)$表示模型对训练数据的预测误差，即模型与训练数据的拟合程度，$|T|$表示模型复杂度，参数$\alpha \ge 0$控制两者之间的影响。较大的$\alpha$促使选择较简单的模型，较小的$\alpha$促使选择较复杂的模型。当$\alpha$确定，选择损失函数最小的模型。损失函数用来平衡模型复杂度和与训练数据拟合程度。
损失函数的极小化等价于正则化的极大似然估计，所以，利用损失函数最小原则进行剪枝就是用正则化极大似然估计进行模型选择。

CART树的剪枝
CART剪枝算法：1. 从生成算法产生的决策树$T_0$底端开始不断剪枝，直到$T_0$的根结点，形成一个子树序列$\{T_0,T_1,\cdots ,T_n\}$; 2. 通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树。

损失函数: $C_{\alpha }(T)=C(T)+\alpha |T|$, $\alpha$权衡训练数据的拟合程度与模型的复杂度。

1. 剪枝，形成子树序列
   证明：可以使用递归的方法对树进行剪枝。

从整体树$T_0$开始剪枝。对$T_0$的任意内部结点$t$，以$t$为单结点树的损失函数是$$C_{\alpha }=C(t)+\alpha$$
以$t$为根结点的子树$T_t$的损失函数是$$C_{\alpha }(T_t)=C(T_t)+\alpha |T_t|$$
当$\alpha =0$及$\alpha$充分小时，有不等式$$C_{\alpha }(T_t)<C_{\alpha }(t)\text{\hspace{1em}(1)}$$
当$\alpha$增大时，在某一$\alpha$有$$C_{\alpha }(T_t)=C_{\alpha }(t)$$
当$\alpha$再增大时，不等式（1）反向。只要$\alpha =\frac{C(t)-C(T_t)}{|T_t|-1}$，$T_t$与$t$有相同的损失函数值，而$t$的节点少，因此$t$比$T_t$更可取，对$T_t$进行剪枝。（损失函数相同时，偏向于选择结点少的树【奥姆剃刀原理】）
为此，对$T_0$中每一内部结点$t$，计算$$g(t)=\frac{C(t)-C(T_t)}{|T_t|-1}$$它表示剪枝后整体损失函数减少的程度。在$T_0$中减去$g(t)$最小的$T_t$，将得到的子树作为$T_1$，同时将最小的$g(t)$设为${\alpha }_1$.$T_1$为区间$[{\alpha }_1,{\alpha }_2)$的最优子树。
如此剪枝下去，直至得到根结点。在这个过程中，不断增加$\alpha$的值，产生新的区间。

2. 在剪枝得到的子树序列$T_0,T_1,...,T_n$中通过交叉验证选取最优子树$T_{\alpha }$

决策树处理连续值的方法？

连续属性的可取值不再有限，不能像处理离散属性那样进行枚举来对结点进行划分，需要将连续属性离散化。常用的离散化策略是二分法。虽然本质上属性的取值是连续的，但对于有限的采样数据它是离散的。

• 首先对特征的取值进行排序。选取其中的一个点t作为划分点，左子树满足该属性值小于等于t，右子树满足该属性值大于t。
• 两个特征取值之间的中位点作为可能的分裂点，将数据集分成两部分，计算每个可能的分裂点的信息增益或者信息增益比或者Gini指数。
• 如同处理离散属性值那样考虑这个划分点，选择最优的划分点对样本集合的划分

【注意：与离散属性不同的是，若当前结点划分属性为连续属性，该属性还可以作为其后代结点的划分属性。

决策树处理缺失值的方法？（看不懂可以查看周志华《机器学习》P86页的例子）

1. 抛弃缺失值： 如果样本数量很多，包含缺失值的样本数量较少的情况下可以考虑直接将哪些含有缺失值的样本直接丢弃，当然这种情况很少发生。

2. 概率化缺失值。

• 特征的选择（如何计算信息增益或者信息增益比）。 在选择分裂属性的时候，训练样本存在缺失值，如何处理？（计算分裂损失减少值时，忽略特征缺失的样本，最终计算的增益值乘以没有缺失值样例占总样例的比例（实际参与计算的样本数除以总的样本数））
  假如你使用ID3算法，那么选择分类属性时，就要计算所有属性的熵增(信息增益，Gain)。假设10个样本，属性是a,b,c。在计算a属性熵时发现，第10个样本的a属性缺失，那么就把第10个样本去掉，前9个样本组成新的样本集，在新样本集上按正常方法计算a属性的熵增。然后结果乘0.9（新样本占raw样本的比例），就是a属性最终的熵。
• 对于缺失值样本的处理。 分类属性选择完成，对训练样本分类，发现样本属性缺失怎么办？（将该样本分配到所有子节点中，权重由1变为具有属性a的样本被划分成的子集样本个数的相对比率，计算错误率的时候，需要考虑到样本权重）
  比如该节点是根据a属性划分，但是待分类样本a属性缺失，怎么办呢？假设a属性离散，有1,2两种取值，那么就把该样本分配到两个子节点中去，但是权重由1变为相应离散值个数占样本的比例。然后计算错误率的时候，注意，不是每个样本都是权重为1，存在分数。
• 测试样本属性也有缺失值。 训练完成，给测试集样本分类，有缺失值怎么办？（分类时，如果待分类样本有缺失变量，而决策树决策过程中没有用到这些变量，则决策过程和没有缺失的数据一样；否则，如果决策要用到缺失变量，决策树也可以在当前节点做多数投票来决定（选择样本数最多的特征值方向）。）

• (1)如果有单独的缺失分支，使用此分支。
• (2)把待分类的样本的属性a值分配一个最常出现的a的属性值，然后进行分支预测。
• (3)根据其他属性为该待分类样本填充一个属性a值，然后进行分支处理。
• (4)在决策树中属性a节点的分支上，遍历属性a节点的所有分支，探索可能所有的分类结果，然后把这些分类结果结合起来一起考虑，按照概率决定一个分类。
• (5)待分类样本在到达属性a节点时就终止分类，然后根据此时a节点所覆盖的叶子节点类别状况为其分配一个发生概率最高的类。

信息熵与基尼指数的关系（一阶泰勒展开）

信息熵： $H(p)=-{\sum }_{i=1}^K{p}_i\log p_i$
泰勒一阶展开: $f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+o(x_0)$
$f(x)=-\log x$在$x=1$处的泰勒一阶展开为:$-\log x=-(0+1\ast （x-1）+o(1))=1-x$将该式代入信息熵中：
$H(p)=-{\sum }_{i=1}^K{p}_i\log p_i={\sum }_{i=1}^K{p}_i(-\log p_i)=-{\sum }_{i=1}^K{p}_i(1-p_i)$

基尼指数：$Gini(p)={\sum }_{k=1}^K{p}_k(1-p_k)=1-{\sum }_{k=1}^K{p}_k^2=1-{\sum }_{k=1}^K(\frac{|C_k|}{|D|}{)}^2$
基尼指数是信息熵在$x=1$处的一阶泰勒展开

集成学习

简单介绍bagging、boosting与stacking

bagging方法是一种在原始数据集上采用自助采样法（其实就是有放回的采用，这种方式大约会有$（1-\frac{1}{m}{）}^m=\frac{1}{e}$的数据不被采样到）训练基学习器，在将基学习器进行结合。分类任务使用投票的方式集成，而回归任务通过平均的方式集成。常见的bagging算法有RF

Boosting是一种可将弱学习器提升为强学习器的算法。它是一种高度自适应的方法顺序地学习这些弱学习器（每个基础模型都依赖于前面的模型），并且按照某种确定性的侧率将它们组合起来。关于Boosting的两个核心问题：
1. 在每一轮如何改变训练数据的权值或概率分布？
通过提高那些在前一轮被弱分类器分错样本的权值，减小前一轮分对样本的权值，而误分的样本在后续收到更多的关注。
2. 通过什么方式来组合弱分类器？
通过加法模型将弱分类器进行线性组合，比如AdaBoost通过加权多数表决的方式，即增大错误率小的分类器的权值，同时减小错误率较大的分类器的权值。而提升树通过拟合残差的方式逐步减小残差，将每一步生成的模型叠加得到最终模型。
常见的boosting算法有AdaBoost，梯度提升决策树GBDT，XGBoost以及LightGBM

Stacking是一种结合策略，它不是对弱学习器的结果做简单的投票或者平均处理，而是再加上一层学习器，是将训练集弱学习器的学习结果作为输入，将训练集的输出作为输出，重新训练一个学习器来得到最终的结果。
基于串行策略：初级学习器与次级学习器之间存在依赖关系，初学习器的输出作为次级学习器的输入。
基本思路：

先从初始训练集训练T个不同的初级学习器
利用每个初级学习器的输出构建一个次级数据集，该数据集依然使用初始数据集的标签
根据新的数据集训练次级学习器
多级学习器的构建过程类似

approach	优点
Bagging	1.训练一个Bagging集成与直接使用基分类器算法训练一个学习器的复杂度同阶，说明bagging是一个高效的集成学习算法 2. Bagging能不经过修改直接用于多分类、回归等任务 3. 每个基学习器只使用63.2%的数据，所以剩下的36.8%的数据可以用来做验证集来对泛化性能进行“包外估计”
Boosting	1. boosting往往具有更高的准确性

从偏差——方差的角度来说，boosting主要关注减小偏差，而Bagging主要关注降低方差

bagging和boosting的区别

树集成模型主要有两种实现方式，分别是Bagging和Boosting。二者的区别主要有以下四点：
1）样本选择上：
Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的.
Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化.而权值是根据上一轮的分类结果进行调整.
2）样例权重：
Bagging：使用均匀取样，每个样例的权重相等
Boosting：根据错误率不断调整样例的权值，错误率越大则权重越大.
3）预测函数：
Bagging：所有预测函数的权重相等.
Boosting：每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重.
4）并行计算：
Bagging：各个预测函数可以并行生成
Boosting：各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果.

Bagging与方差

方差的定义： $Var(X)=E[(X-E[X]{)}^2]$，表示X与平均值$E[X]$之间差异的平方的期望值，用于刻画$X$取值的散布程度
方差的两个重要的性质：

1. c为常数，则
   $$\mathrm{Var}(cX)=E\left[(cX-E[cX]{)}^2\right]=c^{2}E\left[(X-E[X]{)}^2\right]=c^2\mathrm{Var}(X)$$
2. 独立随机变量之和的方差等于各变量的方差之和：
   $$\mathrm{Var}\left(X_1+\cdots +X_n\right)=\mathrm{Var}\left(X_1\right)+\cdots +\mathrm{Var}\left(X_n\right)$$

通常降低模型方差的方法之一是将多个模型平均起来。假设有n个独立同分布的模型，每个模型的方差均为${\sigma }^2$，则利用方差的两个性质可得：
$$\mathrm{Var}\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)=\frac{1}{n^2}\mathrm{Var}\left(\sum _{i=1}^n{X}_i\right)=\frac{{\sigma }^2}{n}$$
这样模型均值的方差仅为单模型方差的$\frac{1}{n}$。然而在只有一个数据集的情况下只能训练出一个模型，没有办法取平均。所以为了缓解这个问题，可以采用有放回抽样来模拟生成多个数据集，将每个数据集训练得到的模型平均来降低方差，这就是Bagging的思想。

Bagging
设单模型的期望为 $\mu$ ，则Bagging的期望预测为
$$E\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)=\frac{1}{n}E\left(\sum _{i=1}^n{X}_i\right)=E\left(X_i\right)\approx \mu$$
说明Bagging整体模型的期望近似于单模型的期望，这意味整体模型的偏差也与单模型的偏差近似，所以Bagging通常选用偏差低的强学习器。

Bagging的抽样是有放回抽样，这样数据集之间会有重复的样本，因为违反了独立性的假设。在这种情况下设但模型之间具有相关系数$0<\rho <1$，则模型均值的方差为：
$$\mathrm{Var}\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)=\frac{{\sigma }^2}{n}+\frac{n-1}{n}\rho {\sigma }^2=\frac{1+(n-1)\rho }{n}{\sigma }^2<{\sigma }^2$$
上式中随着n增大，第一项趋于0，第二项趋向于$\rho {\sigma }^2$，所以Bagging能够降低整体的方差。而Bagging的拓展算法——随机森林，则在通过在树内部结点分类过程中，随机选取固定数量的特征纳入分裂的候选项，这样就进一步降低了单模型之间相关性，总体模型的方差也比Bagging更低。

GBDT

强烈推荐： https://www.cnblogs.com/massquantity/p/9174746.html

GBDT中梯度提升其实是去预估残差值的
GBDT: 利用损失函数的负梯度在当前模型的值作为回归问题提升树算法中的残差的近似值

GBDT基本原理

GBDT基本原理是通过多轮迭代，每轮迭代产生一个弱学习器（利用CART回归树构建），每个学习器在上一轮的分类器的残差基础上进行训练。
GBDT利用损失函数的负梯度在当前模型的值作为回归问题提升树算法中的残差的近似值，拟合一个回归树
$$L(y,f_t(x))=L(y,f_{t-1}(x)+h_t(x))$$
$$r_{ti}=-[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}{]}_{f(x)=f_{t-1}(x)}$$

为什么通过拟合负梯度就能纠正上一轮的错误？

因为函数空间的梯度下降。

函数空间的梯度下降
首先回顾一下梯度下降，机器学习的一大主要步骤是通过优化方法最小化损失函数$L(\theta )$，进而求出对应的参数$\theta$。梯度下降的景点的数值优化方法，其参数更新公式：
$$\theta =\theta -\alpha \cdot \frac{\partial }{\partial \theta }L(\theta )$$
Gradient Boosting 采用和AdaBoost同样的加法模型，在第m次迭代中，前m-1个基学习器都是固定的，即
$$f_m(x)=f_{m-1}(x)+{\rho }_m{h}_m(x)$$
因而在第m步我们的目标是最小化损失函数$L(f)={\sum }_{i=1}^{N}L\left(y_i,f_m\left(x_i\right)\right)$,进而求得相应的基学习器。若将$f(x)$当成参数，则同样可以使用梯度下降法：
$$f_m(x)=f_{m-1}(x)-{\rho }_m\cdot \frac{\partial }{\partial f_{m-1}(x)}L\left(y,f_{m-1}(x)\right)$$
将$h_m(x)\approx -\frac{\partial L\left(y,f_{m-1}(x)\right)}{\partial f_{m-1}^{(x)}}$，即用基学习器$h_m(x)$拟合前一轮模型损失函数的负梯度，就是通过梯度下降法最小化$L(f)$。由于$f(x)$实际为函数，所以该方法被认为是函数空间的梯度下降。
负梯度也被称为“响应”或“伪残差”，从名字可以看出是一个与残差接近的概念。直觉上来看，残差$r=y-f(x)$越大，表明前一轮学习器$f(x)$的结果与真实值$y$相差较大，那么下一轮学习器通过拟合残差或负梯度，就能纠正之前学习器犯错较大的地方。

GBDT根据什么做分裂？（其实这个问题的本质是是问CART树的）

GBDT分裂会选取使得误差下降最多的特征进行分类。因为GBDT使用的基学习器是CART回归树，因此是根据分裂结点的CART回归树的平方误差最小化来选择特征进行分裂的。CART回归树使用的是平方误差最小化准则来选择分裂结点的。如果这棵树拟合不好，要么就通过负梯度计算出新的残差向量来拟合新的cart回归树
如何停止分裂？
设置 1. 结点分裂时最小样本数 2.树的最大深度 3. 最大叶子节点数 4. loss满足约束条件 5.子树的残差和阈值等
GBDT如何进行选择特征
GBDT中特征j的全局重要度通过特征j在单棵树中的重要度的平均值来衡量。通过遍历来寻找最优的切分变量和最优分割点。

GBDT如何评估特征的权重大小？

• 通过计算每个特征在训练集下的信息增益，最后计算每个特征信息增益与所有特征信息增益之和的比例为权重值。
• 借鉴投票机制。用相同的GBDT参数对w每个特征训练出一个模型，然后在该模型下计算每个特征正确分类的个数，最后计算每个特征正确分类的个数与所有正确分类个数之和的比例为权重值。
  

GBDT的“梯度提升”体现在那个阶段， GBDT的boosting体现在哪里？

在构建CART树是使用了损失函数的负梯度。使用损失函数的梯度可以保证损失函数的最小值。因此GBDT的梯度提升体现在构建CART树所需的负梯度阶段
GBDT是拟合残差，需要将每次拟合残差的基学习器组合起来

GBDT为什么使用cart回归树而不是使用分类树

GBDT主要是利用残差逼近的方式，这就意味每棵树的值是连续的可叠加的，这一点和回归树输出连续值是一致的；如果采用分类树，那么残差逼近进行叠加就会没有意义，这个是GBDT的基础原理决定。

GBDT如何正则化

• Shrinkage：其实对应的就是学习率啦，是在每一轮迭代获取最终学习器的时候按照一定的步长进行更新。因此这样往往需要更多的学习器。
• 子采样(subsample)，采用的是不放回采样。该值取值范围(0,1]，选择小于1的比例可以减少方差，防止过拟合，但是会增加样本拟合的偏差，因此取值不能太低。推荐在[0.5, 0.8]之间。
  使用了子采样的GBDT有时也称作随机梯度提升树(Stochastic Gradient Boosting Tree, SGBT)。由于使用了子采样，程序可以通过采样分发到不同的任务去做boosting的迭代过程，最后形成新树，从而减少弱学习器难以并行迭代的弱点。 （因此GBDT的并行化是在特征上的）
• CART回归树进行正则化剪枝（详情需要参考CART树剪枝）
• Early Stopping， 将数据集划分为训练集和测试集，在训练过程中不断检查测试集上的表现，如果测试集上的准确率下降到一定阈值之下，则停止训练，选用当前的迭代次数m
• 限制数的复杂度， 常用的方法是限制树的深度，以及设定叶子结点个数

GBDT如何做并行

GBDT的并行是在特征层面上来做的

• 计算每个样本的负梯度；
• 分裂挑选最佳特征及其分割点时，对特征计算相应的误差及均值时；
• 更新每个样本的负梯度时；

GBDT当增加样本数量时，训练时长是线性增加吗？当增加树的棵数时，训练时长是线性增加吗？当增加一个棵树叶子节点数目时，训练时长是线性增加吗？

（1）不是，因为生成单棵决策树时，损失函数极小值与样本数量N不是线性相关的
（2）不是 因为每个树的成型时间复杂度O(N)不同
（3）不是， 叶子结点数和每棵树的生成的时间复杂度O(N)不成正比

树生成畸形树，会带来哪些危害，如何预防？

在生成树的过程中，加入树不平衡的约束条件。这种约束条件可以是用户自定义的。例如对样本集中分到某个节点，而另一个节点的样本很少的情况进行惩罚

GBDT为什么需要进行数据的归一化

（1）归一化后加快了梯度下降求最优解的速度
（2） 归一化有可能提高精度
因为采用的是CART回归树，使用的是平方差损失，如果不进行归一化，因为量纲的不同会偏向于值较大的那个特征，影响模型的精度

RF

改变随机森林的训练样本数据量，是否会影响到随机森林学习到的模型的复杂度

未压缩的决策树的时间复杂度为:$O(m\ast nlogn)$，n是样本数，m是特征数量。随机森林选用mtry个特征，如果串行的构建ntree棵树的话，那么时间复杂度为$O(ntree\ast mtry\ast nlogn)$，从结果中看出，随机森林的时间复杂度与训练样本数量是有关的。

RF的随机性

随机性主要表现在两个方面： 一个是样本抽样的随机，另一个是特征抽样的随机

RF优缺点

• 训练时树与树之间是相互独立的，可以并行实现，训练速度更快。更重要的是它不容易过拟合，除非是在噪声过大的分类和回归问题上
• 但随机森林在小数据集上的效果不理想

XGBoost

推荐： https://www.cnblogs.com/massquantity/p/9794480.html

xgboost的目标函数

KaTeX parse error: Undefined control sequence: \cal at position 1: \̲c̲a̲l̲{L}(\phi) = \su…
将目标函数改写KaTeX parse error: Undefined control sequence: \cal at position 1: \̲c̲a̲l̲{L}(\phi) = \su…
使用平方差损失，按照公式展开，其中与$f_t(x_i)$无关的项$constant$常数
KaTeX parse error: Undefined control sequence: \cal at position 2: \̲c̲a̲l̲{L}(\phi) = \s…

主要使用的思想是泰勒二阶展开$$f(x+\Delta x)\simeq f(x)+f^{\prime }(x)\Delta x+\frac{1}{2}{f}^{\prime \prime }(x)\Delta x^2$$
定义每个数据点在误差函数上的一阶导数和二阶导数：
$$g_i={\partial }_{{\hat{y}}^{(t-1)}}l\left(y_i,{\hat{y}}^{(t-1)}\right),h_i={\partial }_{{\hat{y}}^{(t-1)}}^{2}l\left(y_i,{\hat{y}}^{(t-1)}\right)$$
目标函数写作
$${\mathcal{L}}^{(t)}\simeq \sum _{i=1}^n\left[l\left(y_i,{\hat{y}}^{(t-1)}\right)+g_i{f}_t\left({\mathbf{x}}_i\right)+\frac{1}{2}{h}_i{f}_t^2\left({\mathbf{x}}_i\right)\right]+\Omega \left(f_t\right)$$

如果损失定义为平方损失的话：
$$g_i={\partial }_{{\hat{y}}^{(t-1)}}{\left({\hat{y}}^{(t-1)}-y_i\right)}^2=2\left({\hat{y}}^{(t-1)}-y_i\right)h_i={\partial }_{{\hat{y}}^{(t-1)}}^2{\left(y_i-{\hat{y}}^{(t-1)}\right)}^2=2$$
为什么只用到二阶泰勒展开，是因为在平方损失的时候，三阶展开已经为0了。引入二阶导数的一大好处是推导出一种新的增益计算方法，该方法在优化目标函数上更加有效，精度上也胜过传统的GBDT.

对于XGBoost来说，每一个样本只会落到一个叶子节点上，因而对于单棵决策树可表示为$f(x)={\sum }_{j=1}^J{w}_{j}I\left(x\in R_j\right)$，那么所有的样本加起来，则可表示为${\sum }_{i=1}^{N}f\left(x_i\right)={\sum }_{j=1}^J{\sum }_{x\in R_j}{w}_j$
代入到目标函数中，将常数项移去
$$\begin{array}{rl}{\mathcal{L}}^{(t)}& =\sum _{i=1}^n\left[g_i{f}_t\left(x_i\right)+\frac{1}{2}{h}_i{f}_t^2\left(x_i\right)\right]+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^J{w}_j^2\\ & =\sum _{j=1}^T\left[\sum _{x_i\in R_j}{g}_i{w}_j+\frac{1}{2}\sum _{x_i\in R_j}{h}_i{w}_j^2\right]+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^J{w}_j^2\\ & =\sum _{j=1}^T\left[\sum _{x_i\in R_j}{g}_i{w}_j+\frac{1}{2}\left(\sum _{x_i\in R_j}{h}_i+\lambda \right)w_j^2\right]+\gamma T\\ & =\sum _{j=1}^J\left(G_j{b}_j+\frac{1}{2}\left(H_j+\lambda \right)b_j^2\right)+\gamma T\end{array}$$
其中$G_j={\sum }_{x_i\in R_j}{g}_i,H_j={\sum }_{x_i\in R_j}{h}_i$
对上式进行求导，最优值为：
$$w_j^{\ast }=-\frac{G_j}{H_j+\lambda }$$
代入目标函数，则目标函数变为：
$${\mathcal{L}}^{(t)}=-\frac{1}{2}\sum _{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T$$
XGBoost认为目标函数的值越小越好，因此得到一个简单的决定是否可以进行分裂的判断标准即分裂之后两边的目标函数之和是否能够大于不分裂的目标函数值。
$$Gain=\frac{1}{2}\left[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{{\left(G_L+G_R\right)}^2}{H_L+H_R+\lambda }\right]-\gamma$$
$\gamma$是一个超参数，具有双重含义，一个是对叶结点数目进行控制的参数，另个是分列前后$Gain$增大的阈值，但目的都是为了防止过拟合。

XGBoost如何选择最优分割点（如何进行特征选择）

一种办法是贪心算法，遍历一个节点内的所有特征和取值，按照公式计算出按照每一个特征的分割点的信息增益，找到信息增益最大的特征和取值进行分裂。增加的新叶子惩罚项对应了树的剪枝，当gain小于某个阈值的时候，我们可以剪掉这个分割。
但当数据量大时，很难将所有数据加进内存并进行选择。因此采用近似分类算法，不仅解决了问题，同时能提升训练速度。

近似分裂算法其实就是对连续性特征进行离散化，对于某个特征$k$，算法首先根据特征分布找到$l$个分位点的候选集合$S_k=\{s_{k1},s_{k2},\cdots ,s_{kl}\}$，然后根据集合$S_k$中的分位点将相应样本划分到桶中。在遍历该特征时，只需遍历各个分位点，对每个桶内的样本统计值$g、h$进行累加统计，寻找最佳分裂点进行分裂，该算法分为global近似和local近似，global就是在新生成一棵树之前就对各个特征计算分位点并划分样本，之后在每次分裂过程中都重复利用这些分位点进行划分，而local就是每一次结点分裂时都要重新计算分位点。
（1）是在建立第k棵树的时候利用样本的二阶梯度对样本进行离散化，每一维的特征都建立buckets。在建树过程中重复使用这些buckets。（全局选择）
（2）每一次进行分支时，重新计算每个样本的二阶梯度并重新构建buckets，再进行分支判断。（局部选择）

XGBoost在寻找splitpoint的时候，不会枚举所有的特征值，而会对特征值进行聚合统计，按照特征值的密度分布，构造直方图计算特征值分布的面积，然后划分分布形成若干个bucket(桶)，每个bucket的面积相同，将bucket边界上的特征值作为split point的候选，遍历所有的候选分裂点来找到最佳分裂点。
上图近似算法公式的解释：将特征k的特征值进行排序，计算特征值分布，$r_k(z)$表示的是对于特征k而言，其特征值小于z的权重之和占总权重的比例，代表了这些特征值的重要程度，我们按照这个比例计算公式，将特征值分成若干个bucket，每个bucket的比例相同，选取这几类特征值的边界作为划分候选点，构成候选集；选择候选集的条件是要使得相邻的两个候选分裂节点差值小于某个阈值

XGBoost是如何进行加速的

• 对于连续值特征往往取值众多，首先按特征取值对样本排序，在按顺序计算增益选择划分点。每次分类都需要进行排序时非常耗时的，所以XGBoost是在训练之前，预先按特征值对样本进行排序，保存到block中，每一个特征均升序存放，这样，一次读入数据并排好序后，以后均可重复使用，大大减小计算量。因为排过序，因此通过一次线性扫描就能找到一个特征的最优分裂点，同时对于缺失值是没有保存的。
• 由于预先保存为block的格式，所以对叶结点进行分裂时，每个特征的增益计算可以使用多线程进行，并且block结构支持列采样，进一步加速。
• 采用近似分裂算法进行加速。 近似分裂算法其实就是对连续性特征进行离散化，之后只需要遍历各个离散后的分位点选择分裂就行了。

XGBoost防止过拟合

• 首先在xgboost的损失函数中就添加了正则化项
• shrinkage，学习率eta，作用就是减少每棵树的影响力，留更多的空间给后来的树提升
• 行采样和列采样。行采样则是bagging的思想，每次只抽取部分的样本进行训练，而不使用全部的样本，增强树的多样性
• 列采样有两种，按层采样和建树前随机选择特征。 按层随机，在对同一层内每个结点分裂前，先随机选择部分特征，再确定最优分割点。 建树前先随机选择部分特征，在建树的过程中只是用选择的特征进行分裂。

XGBoost怎么处理缺失值？

• XGBoost处理缺失值的方法和其他树模型不同。xgboost划分缺失值当作稀疏矩阵来对待，本身的结点分裂时不考虑缺失值的数值。缺失值数据会被分到左子树和右子树分别计算损失，选择较优的哪一个。
• 如果训练中没有数据缺失，与测试出现数据缺失，那么默认被分类到右子树。

XGBoost如何进行并行化

XGBoost并行不是树粒度，而是在特征粒度上。决策树最耗时的一个步骤是对特征的值进行排序（确认最佳分割点），xgboost在训练前，预先对特征取值进行排序，然后保存为block结构，后面迭代中重复使用这个结构。block结构使得并行成为可能。并行处理每个特征，计算他们的信息增益。

XGBoost的参数调整

xgb_test = xgb.DMatrix(X_test)

# XGBoost训练过程
xgb_params = {'booster': 'gbtree',
              'eta': 0.005,  # 学习率
              'max_depth': 6,  # 树的最大深度，用来避免过拟合
              'subsample': 0.9,  # 随机采样训练样本
              'colsample_bytree': 0.8,  # 生成树时进行的列采样
              'objective': 'reg:linear',
              'eval_metric': 'rmse',
              'silent': True,  # 训练过程中是否回打印出信息
              'nthread': 24,  # cpu的线程数
              'lambda': 2,
              'seed': 1000
             }
#    单调性约束
increasing_constraint = list(np.zeros(X_train.shape[1], dtype=np.int64))
increasing_constraint[5] = 1
xgb_params['monotone_constraints'] = str(tuple(increasing_constraint))

plst = list(xgb_params.items())
num_rounds = 2500  # 迭代次数

watchlist = [(xgb_train, 'train'), (xgb_val, 'val')]
model = xgb.train(plst, xgb_train, num_rounds, watchlist, early_stopping_rounds=500)

LightGBM

LightGBM原理

• 直方图算法。Lightgbm将连续的浮点特征值离散化成k个整数。在xgboost中需要遍历所有的离散化的值，而在lgb中只需要遍历k个直方图的值。该方法优点有：速度快，占用内存小。 缺点：离散化找到的分割点并不是很精确的。但实验表明影响不大，较粗的分割点有正则化的效果，防止过拟合。
• 直方图做差加速。一个叶子的直方图可以由它的父亲节点的直方图与它兄弟的直方图做差得到，加快速度。
• 带深度限制的Leaf-wise的叶子生长策略。Leaf-wise是一种更高效的策略，在分裂次数相同的情况下，Leaf-wise可以降低更多的误差，得到更好的精度。但需要限制深度，避免过拟合。
• 直接支持类别特征，不需要进行one-hot编码，从而提升速度，精度一致

基于梯度的单边采样

GOSS 保留所有的梯度较大的实例，在梯度小的实例上使用随机采样。为了抵消对数据分布的影响，计算信息增益的时候，GOSS 对小梯度的数据引入常量乘数。GOSS 首先根据数据的梯度绝对值排序，选取 top a 个实例。然后在剩余的数据中随机采样 b个实例。接着计算信息增益时为采样出的小梯度数据乘以(1-a)/b， 这样算法就会更关注训练不足的实例，而不会过多改变原数据集的分布。

LightGBM如何并行

LightGBM支持特征并行、数据并行和投票并行。

• 对于特征并行来说，适用于数据少，但是特征比较多的情况。 LightGBM的每个worker 保存所有的数据集，并在其特征子集上寻找最优切分点。随后，worker之间互相通信，找到全局最佳切分点。最后每个worker都在全局最佳切分点进行节点分裂。这样做的好处主要是减小网络通信量，但是当数据量比较大的时候，由于每个 worker 都存储的是全量数据，因此数据存储代价高。
• 数据并行适用于数据量大，特征比较少的情况。 数据并行对数据进行水平切分，每个 worker 上的数据先建立起局部的直方图，然后合并成全局的直方图，之后找到最优的分割点。
• 投票并行适用于数据量大，特征也比较大的情况。 投票并行主要是对数据并行的一个优化。数据并行中合并直方图的时候通信代价比较大。给予投票的方式，我们只会合并部分的特征的直方图。具体来说，每个worker首先会找到它们数据中最优的一些特征，然后进行全局的投票，根据投票的结果，选择top的特征的直方图进行合并，在寻求全局的最优分割点。

##LightGBM参数

  train_data = lgb.Dataset(x_train, label=y_train,categorical_feature=categorical_feature)
    valid_data = lgb.Dataset(x_valid, label=y_valid,categorical_feature=categorical_feature)

    increasing_constraint = list(np.zeros(x_train.shape[1], dtype=np.int64))
    increasing_constraint[5] = 1
    mc = tuple(increasing_constraint)
    print(mc)
    lgb_params = {"boosting": "gbdt",
                  'objective': 'gamma',
                  'learning_rate': 0.05,
                  'num_threads': 24,  # lightGBM的线程数
                  'max_depth': -1,  # 限制树模型的最大深度
                  # 'min_data_in_leaf':20
                  'num_leaves': 60,
#                   'n_estimators':2000,
                  'lambda_l2': 1,  # L2正则
                  'lambda_l1': 0,
                  'metric': 'feval',  # 度量参数，查看mse与auc
#                   'is_unbalance': 'true',
                  'feature_fraction': 0.9,  # 通过设置 feature_fraction 来使用特征子抽样
                  'bagging_fraction': 0.9,  # 类似于 feature_fraction, 但是它将在不进行重采样的情况下随机选择部分数据
                  'bagging_freq': 10,  # 比较重要
                  'mc': mc
                  }

model = lgb.train(lgb_params, train_data, valid_sets=valid_data, num_boost_round=5000, early_stopping_rounds=100,feval=myveal)

GBDT与RF的区别

相同点：

• GBDT与RF都是采用多棵树组合作为最终结果；这是两者共同点。

不同点：

• RF的树可以是回归树也可以是分类树，而GBDT只能是回归树。
• RF中树是独立的，相互之间不影响，可以并行；而GBDT树之间有依赖，是串行。
• RF最终的结果是有多棵树表决决定，而GBDT是有多棵树叠加组合最终的结果。
• RF对异常值不敏感，原因是多棵树表决，而GBDT对异常值比较敏感，原因是当前的错误会延续给下一棵树。
• 相较而言，GBDT比RF更容易产生过拟合。原因：**RF是通过减少模型的方差来提高性能，而GBDT是减少模型的偏差来提高性能的。**对于RF的每个基分类器来说，目标就是如何降低这个偏差，所以会采用深度很深甚至不剪枝的决策树。而GBDT对于每个基分类器来说，问题就是如何选择方差更小的分类器，即更简单的分类器，所以通常选择深度较浅的决策树。
• RF不需要进行数据预处理，即特征归一化。而GBDT则需要进行特征归一化。

XGBoost与GBDT的异同

• 传统GBDT以CART回归树作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）
• 传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。
• xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子结点个数、每个叶子结点上输出的score的L2模的平方和。从Bias-variance tradeoff角度来讲，正则化降低了模型的variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统GBDT的一个特性。
• 列抽样。xgboost借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算，这也是xgboost异于传统gbdt的一个特性。
• 对缺失值的处理。对于特征的值有缺失的样本，xgboost可以自动学习出它的分裂方向。
• 并行化处理, 由于 Boosting 本身的特性，无法像随机森林那样树与树之间的并行化。XGBoost 的并行主要体现在特征粒度上，在对结点进行分裂时，由于已预先对特征排序并保存为block 结构，每个特征的增益计算就可以开多线程进行，极大提升了训练速度。
• 传统的GBDT采用的是均方误差作为内部分裂的增益计算指标，而XGBoost使用的是经过优化推到之后的式子
• Shrinkage（缩减），相当于学习速率（xgboost中的eta）。xgboost在进行完一次迭代后，会将叶子结点的权重乘上该系数，主要是为了削弱每棵树的影响，让后面有更大的学习空间。实际应用中，一般把eta设置得小一点，然后迭代次数设置得大一点。（传统GBDT其实也是有学习速率的）
• 可并行的近似直方图方法。树节点在进行分裂时，我们需要计算每个特征的每个分割点对应的增益，即用贪心法枚举所有可能的分割点。当数据无法一次载入内存或者在分布式情况下，贪心算法效率就会变得很低，所以xgboost还提出了一种可并行的近似直方图算法，用于高效地生成候选的分割点

LightGBM与XGBoost的不同点

• 由于决策树在每一次选择结点特征的过程中，要遍历所有的属性的所有取值并选择一个较好的进行分裂。XGBoost使用的是近似算法，先对特征值进行排序Pre-sort，然后根据二阶梯度进行分桶，能够更精确的找到数据的分隔点，但是复杂度较高。LightGBM使用的是histogram算法，这种只需要将数据分割成不同的段即可，不需要进行预先的排序。占用的内存更低，数据分割的复杂度更低。
• 决策树生长策略，XGBoost采用的是Level-wise的树生长策略，LightGBM采用的是left-wise的生长策略。
• 并行策略对比。XGBoost的并行主要集中在特征并行上，而LightGBM的并行策略分特征并行、数据并行以及投票并行。

---

LR —— 对数线性模型

逻辑回归为概率型非线性回归模型。其实从本质上来讲是线性回归函数，然后使用非线性激活函数sigmoid函数$\pi (x)=\frac{1}{1+e^{-x}}$或者softmax函数进行激活，简单地说，逻辑回归就是一个被logistic方程归一化后的线性回归。损失函数是由最大似然估计求出来的

逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的

LR推导

设$P(Y=1|x)=\pi (x)=\frac{exp(w\cdot x+b)}{1+exp(w\cdot x+b)},P(Y=0|x)=1-\pi (x)=\frac{1}{1+exp(w\cdot x+b)}$
似然函数为:$$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$
对数似然函数(损失函数)为:
$$\begin{gathered} L(w)=\sum _{i=1}^N\left[y_i\log \pi \left(x_i\right)+\left(1-y_i\right)\log \left(1-\pi \left(x_i\right)\right)\right] \\ =\sum _{i=1}^N\left[y_i\log \frac{\pi \left(x_i\right)}{1-\pi \left(x_i\right)}+\log \left(1-\pi \left(x_i\right)\right)\right] \\ =\sum _{i=1}^N\left[y_i\left(w\cdot x_i\right)-\log \left(1+\exp \left(w\cdot x_i\right)\right)\right] \end{gathered}$$

对$L(w)$求极大值，得到$w$的估计值
梯度下降：
$$\frac{\partial L(w)}{\partial w_j}=\sum _{i=1}^N\left(y_i{x}_{ij}-x_{ij}\frac{\exp (w\cdot x_i)}{1+\exp (w\cdot x_i)}\right)=\sum _{i=1}^N{x}_{ij}\left[y_i-\pi \left(x_i\right)\right]$$
求导完成后进行参数的更新
$$w_j:=w_j+\alpha \sum _{i=1}^N\left(y_i-\pi \left(x_i\right)\right)x_{ij}$$

(1)为什么LR需要归一化或者取对数？（2）为什么将特征离散化效果更好，为什么特征组合后还能提升？

(1)归一化:可以提高收敛速度，提高收敛的精度；
(2)

• 1.逻辑回归属于广义线性模型，表达能力受限；单变量离散化为N个后，每个变量有单独的权重，相当于为模型引入了非线性，能够提升模型表达能力，加大拟合；
• 2.离散化后可以进行特征交叉，由M+N个变量变成M*N个变量，进一步引入非线性，提升表达能力
  这些都是增强了特征的表达能力，是特征更加容易线性可分。
• 3.特征离散化以后，起到了简化了逻辑回归模型的作用，降低了模型过拟合的风险；
• 4.离散特征的增加和减少都很容易，易于模型的快速迭代
• 5.稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展；
• 6.离散化后的特征对异常数据有很强的鲁棒性：比如一个特征是年龄>30是1，否则是0.如果特征没有离散化，一个异常数据“年龄3000岁”会造成很大的干扰
• 7.特征离散化后，模型会更稳定，比如如果对用户年龄离散化，20-30作为一个区间，不会因为用户年龄涨了一岁就变成一个完全不同的人。当然处于区间相邻出的样本会刚好相反

LR可以用来处理非线性问题么？

逻辑回归本质上是一个线性模型，但可以通过两种方式来帮助LR解决非线性问题：

• 利用特殊核函数，对特征进行变换：把低维空间映射到高维空间，而在低维空间不可分的数据，到高维空间中线性可分的几率会高一些。比如将数据进行离散化

• 扩展LR算法，提出FM算法。FM模型时一种基于矩阵分解的机器学习模型，对于稀疏数据具有良好的学习能力，FM能解决LR泛化能力弱的问题。
  $$\mathrm{F}\mathrm{M}:\hat{y}(x):=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n⟨v_i,v_j⟩x_i{x}_j$$
  前面是LR模型，进行特征组合时可以变成$x_i^2、x_i^3$，也可以进行两两特征组合，后面是两两特征进行组合

LR可以用核么？可以怎么用？

LR可以用核函数，对特征进行变换：把低维空间映射到高维空间，而在低维空间不可分的数据，到高维空间中线性可分的几率会高一些。比如将数据进行离散化以及将特征进行组合。使用的核函数相当于是多项式核。

LR过拟合问题

加l2正则项，和svm类似，加L2正则项可以用核方便处理。
逻辑回归估计参数时的目标函数如果加上一个先验的服从高斯分布的假设，其实就是在后面乘上一个参数，取了log之后就变成加上一个正则化项了。
实际应用中，由于数据的维度通常会比较高，L1正则化能够产生稀疏解，使用更广泛一些。

LR为什么用sigmoid函数。这个函数有什么优点和缺点？

logistic是基于贝努力分布的假设，而贝努力分布的指数族的形式就是$\frac{1}{1+exp(-x)}$

优点

• 数据压缩能力，将数据规约在［0，1］之间
• 导数形式优秀，方便计算

缺点

• 容易梯度消失，x稍大的情况下就趋近一条水平线
• 非0中心化，在神经网络算法等情况下，造成反向传播时权重的全正全负的情况

LR如何解决多分类问题

将sigmoid函数转换成softmax函数，从而进行多分类

逻辑回归估计参数时的目标函数逻辑回归的值表示概率吗？

不是，表示置信度，值越大表示置信度越高。因为使用最大似然函数对逻辑回归进行参数估计，表示事件发生的最大可能性。

小插曲： 手推逻辑回归目标函数，正类是1，反类是-1

第一种形式： label取值为0或1
$$\begin{array}{c}P(y=1|\beta ,x)=\frac{1}{1+\exp \left(-{\beta }^{T}x\right)}=\frac{\exp \left({\beta }^{T}x\right)}{1+\exp \left({\beta }^{T}x\right)}\\ P(y=0|\beta ,x)=1-\frac{1}{1+\exp \left(-{\beta }^{T}x\right)}=\frac{1}{1+\exp \left({\beta }^{T}x\right)}\end{array}$$
第一种损失函数可以极大似然估计推出,具体见前面

第二种形式： label取值为1或-1
$$P(y=\pm 1|\beta ,x)=\frac{1}{1+\exp \left(-y{\beta }^{T}x\right)}$$
分类规则：
$$\begin{array}{rl}\frac{\frac{1}{1+\exp \left({-\mathbf{\beta }}^T\mathbf{x}\right)}}{\frac{1}{1+\exp \left({\mathbf{\beta }}^T\mathbf{x}\right)}}& >1\to g=1\\ \frac{1+\exp \left({\mathbf{\beta }}^T\mathbf{x}\right)}{1+\exp \left({-\mathbf{\beta }}^T\mathbf{x}\right)}& >1\\ \exp \left({\mathbf{\beta }}^T\mathbf{x}\right)& >1\\ {\mathbf{\beta }}^T\mathbf{x}& >0\end{array}$$

第二种形式的损失函数（标准的对数损失函数形式, 其中$f(x)={\beta }^{T}x$
$$L(y,f(x))=\log (1+\exp (-yf(x)))=\log \left(\frac{1}{P(y|\beta ,x)}\right)$$
将分数倒过来，负号提出来，就得到常见的对数损失函数的形式：
则loss最小值可表示为
KaTeX parse error: \cr valid only within a tabular/array environment

SVM

##简单介绍SVM：
定义在特征空间上的间隔最大化的线性分类器。
首先从分类平面，到求两类间的最大间隔，到转化为求间隔分之一，等优化问题，然后就是优化问题的解决办法，首先是用拉格朗日乘子把约束优化转化为无约束优化，对各个变量求导令其为零，得到的式子带入拉格朗日式子从而转化为对偶问题， 最后再利用SMO（序列最小优化）来解决这个对偶问题。

SVM推导

函数间隔： $\widehat{{\gamma }_i}=y_i(w\ast x_i+b)$
几何间隔： ${\gamma }_i=y_i(\frac{w\ast x_i+b}{||w||})$
则最优化问题可表示为:
$$\begin{gathered} ma{x}_{w,b}\gamma \\ s.t.y_i\frac{w\ast x_i+b}{||w||}\ge \gamma \end{gathered}$$
==>
$$\begin{gathered} ma{x}_{w,b}\frac{\hat{\gamma }}{||w||} \\ s.t.y_i(w\ast x_i+b)\ge \hat{\gamma } \end{gathered}$$
令$\hat{\gamma }=1$，同时$max\frac{1}{||w||}$与$min\frac{||w|{|}^2}{2}$等价
$$\begin{gathered} mi{n}_{w,b}\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w\ast x_i+b)-1\ge 0 \end{gathered}$$
使其满足KKT条件，引入拉格朗日乘子${\alpha }_i$，得到$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i(w\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i$$
因为原问题是凸二次优化问题，约束条件是仿射函数，对偶问题等价于原问题的解
则原式$mi{n}_{w,b}ma{x}_{\alpha }L(w,b,\alpha )$变成求$ma{x}_{\alpha }mi{n}_{w,b}L(w,b,\alpha )$
$$\begin{array}{c}{\nabla }_{w}L(w,b,\alpha )=w-{\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ {\nabla }_{b}L(w,b,\alpha )=-{\sum }_{i=1}^N{\alpha }_i{y}_i=0\end{array}$$
得
$$\begin{array}{c}w={\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i\\ {\sum }_{i=1}^N{\alpha }_i{y}_i=0\end{array}$$
得：
$$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i{y}_i\left(\left(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\right)\cdot x_i+b\right)+\sum _{i=1}^N{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i\end{array}$$
求$mi{n}_{w,b}L(w,b,\alpha )$对$\alpha$的极大，即是对偶问题
$$\begin{array}{c}{\max }_a-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+{\sum }_{i=1}^N{\alpha }_i\\ \text{ s.t. }{\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ {\alpha }_i⩾0,i=1,2,\cdots ,N\end{array}$$
得到与之等价的：
$$\begin{array}{c}{\min }_a\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-{\sum }_{i=1}^N{\alpha }_i\\ \text{ s.t. }{\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ {\alpha }_i⩾0,i=1,2,\cdots ,N\end{array}$$

假设上述最优解为${\alpha }_i^{\ast }$，则分类超平面为
$$\begin{gathered} w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i \\ {b}^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j) \end{gathered}$$
分类决策函数
$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x)+b^{\ast })$$
最后再利用SMO（序列最小优化）来解决这个对偶问题

KKT条件

$$y_i\cdot g\left(x_i\right)=\{\begin{array}{ll}⩾1,& \left\{x_i|{\alpha }_i=0\right\}\\ =1,& \left\{x_i|0<{\alpha }_i<C\right\}\\ ⩽1,& \left\{x_i|{\alpha }_i=C\right\}\end{array}$$
说白了就是非支持向量并且远离超平面的点 α i = 0 \alpha_i = 0