树回归、线性回归、Logitic回归

树回归

分类与回归树（classification and regression tree，CART）即可用于分类也可以用于回归，由特征选择、树的生成及剪枝组成，一般简称为决策树。

CART生成

决策树的生成就是递归地构建二叉决策树的过程。对回归树用平方误差最小化准则，对分类树用基尼指数（Gini index）最小化准则，进行特征选择，生成二叉树。

回归树的生成

回归树用平方误差最小化准则，所以又称它为最小二乘回归树。
最小二乘回归树生成算法
输入：训练数据集$D$；
输出：回归树$f(x)$。
在训练数据集所在的输入空间，递归将每个区域划分为两个子区域并决定每个子区域上的输出值，构建二叉决策树；
（1）选择最优切分变量$j$与切分点$s$，求解：
$$\begin{array}{l}{\min }_{j,s}\left[{\sum }_{x_i\in R_1(j,s)}(y_i-c_1{)}^2+{\sum }_{x_i\in R_2(j,s)}(y_i-c_2{)}^2\right]\text{(5.12)}\\ c_1=ave(y_i|x_i\in R_1(j,s))\\ c_2=ave(y_i|x_i\in R_2(j,s))\end{array}$$遍历变量$j$，对固定的切分变量$j$扫描切分点$s$，选择使式(5.21)达到最小值得对$(j,s)$。
（2）用选定的对$(j,s)$划分区域并决定相应的输出值
$$\begin{array}{l}{R}_1(j,s)=\{x|x^{(j)}⩽s\}\\ R_2(j,s)=\{x|x^{(j)}>s\}\\ {\hat{c}}_m=\frac{1}{N_m}{\sum }_{x_i\in R_m(j,s)}{y}_i,x\in R_m,m=1,2\end{array}$$
（3）继续对两个子区域调用步骤(1)，(2)，直到满足停止条件。
（4）将输入空间划分为M个区域$R_1,R_2,\cdots ,R_m$，生成决策树：
$$f(x)=\sum _{m=1}^M\widehat{c_m}I(x\in R_m)$$
在《机器学习实战》第九章，有对此算法具体实现的代码，可参考加深理解。

分类树的生成

分类树算法用基尼指数选择最优特征及最优二值切分点，其他与归类树相同。
基尼指数：对给定的样本集合$D$，其基尼指数为
$$\text{Gini}(D)=1-\sum _{k=1}^K{\left(\frac{|C_k|}{|D|}\right)}^2$$这里，$C_k$是$D$中属于第$k$类的样本子集，$K$是类的个数。
如果样本集合$D$根据特征$A$是否取某一可能值$a$被分割成$D_1$和$D_2$两部分，即
$$D_1=\{(x,y)\in D|A(x)=a\},D_2=D-D_1$$则在特征$A$的条件下，集合$D$的基尼指数定义为
$$\text{Gini}(D,A)=\frac{|D_1|}{D}\text{Gini}(D_1)+\frac{|D_2|}{D}\text{Gini}(D_2)$$基尼指数$\text{Gini}(D)$表示集合$D$的不确定性，基尼指数$\text{Gini}(D,A)$表示经$A=a$分割后集合$D$的不确定性。基尼指数越大，样本的不确定性也就越大。

线性回归

普通最小二乘法

线性回归是依据输入写出一个目标值的计算公式，即回归方程，根据回归方程和输入做预测。
假定输入数据存放在矩阵$X$中，而回归系数存放在向量$w$中。那么对于给定的数据$X_1$，预测结果将会通过$Y_1=X_1^{T}w$给出。如何求回归方程，也即，如何根据已有的$X$和对应的$y$，找到$w$？一个常用的方法是找出使误差最小的$w$，这里的误差平方误差${\sum }_{i=1}^m(y_i-x_i^{T}w{)}^2$。对$w$求导，并令其等于零，解得：
$$\hat{w}=(X^{T}X{)}^{-1}{X}^{T}y$$通过调用NumPy库里的矩阵方法，仅需几行代码便可完成此功能，该方法也叫“普通最小二乘法”(ordinary least squares)。

局部加权线性回归

线性回归可能出现的一个问题是欠拟合，因为它求的是最小均方误差的无偏估计，所以有些方法允许在估计中引入一些偏差，从而降低预测的均方误差。其中一个方法是局部加权线性回归(Locally Weighted Linear Regression, LWLR)。在方法中，给待预测点附近的每个点赋予一定的权重，然后基于最小均方误差来进行普通的回归，该算法解出回归系数$w$的形式如下:
$$\hat{w}=(X^{T}WX)X^{T}Wy$$其中，$w$是一个矩阵，用来给每个数据点赋予权重。
LWLR使用“核”来对附近的点赋予权重，常用的核是高斯核，对应权重如下：
$$w(i,i)=\exp \left(\frac{|x^{(i)}-x|}{-2k^2}\right)$$

岭回归

岭回归就是在举证$X^{T}X$上加一个$\lambda I$从而使得矩阵非奇异，回归系数的计算公式变成：
$$\hat{w}=(X^{T}X+\lambda I{)}^{-1}{X}^{T}y$$

前向逐步回归

前向逐步回归属于一种贪心算法，即每一步都尽可能减少误差。
该算法的伪代码如下：
数据标准化，使其分布满足0均值和单位方差
在每轮迭代过程中：
设置当前最小误差为正无穷
对每个特征：
增大或缩小：
改变特征对应系数得到一个新w
计算新w下的误差
更新最小误差
更新最佳系数矩阵

Logistic回归

Logistic回归模型 二项Logistic回归模型是如下的条件概率分布：
$$\begin{gathered} P(Y=1|x)=\frac{\exp (w\cdot x+b)}{1+\exp (w\cdot x+b)} \\ P(Y=10x)=\frac{1}{1+\exp (w\cdot x+b)} \end{gathered}$$$x\in R^n$是输入，$Y\in \{0,1\}$是输出，$w\in R^n$和$b\in R$是参数，$w$称为权值向量，$b$称为偏置，$w\cdot x$为$w$和$x$的内积。
一般，将为计算方便，会扩充$w$和$x$，即$w=(w^{(1)},w^{(2)},\cdots ,w^{(n)},b)$，$x=(x^{(1)},x^{(2)},\cdots ,x^{(n)},1)$，这时，Logistic模型如下：
$$\begin{gathered} P(Y=1|x)=\frac{\exp (w\cdot x)}{1+\exp (w\cdot x)} \\ P(Y=10x)=\frac{1}{1+\exp (w\cdot x)} \end{gathered}$$

模型参数估计

使用极大似然估计法估计模型参数$w$，进而得到Logistic回归模型。
设：$P(Y=1|x)=\pi (x),P(Y=1|x)=1-\pi (x)$
似然函数为：
$$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$
对数似然函数为：
$$\begin{array}{ll}L(w)& ={\sum }_{i=1}^N[y_i\ln \pi (x_i)+(1-y_i)\ln (1-\pi (x_i))]\\ & ={\sum }_{i=1}^N[y_i\ln \frac{\pi (x_i)}{1-\pi (x_i)}+\ln (1-\pi (x_i))]\\ & ={\sum }_{i=1}^N[y_i(w\cdot x_i)-\ln (1+\exp (w\cdot x_i))]\end{array}$$通过梯度上升法求$L(W)$的极大值，$w^{(j)}$的更新过程为：
$$w^{(j)}=w^{(j)}+\alpha \frac{\partial \pi (x_i)}{\partial w^{(j)}}$$其中，$\alpha$为步长，$w^{(j)}$（$w^{(j)}\in w$）的偏导为：
$$\begin{array}{ll}\frac{\partial \pi (x_i)}{\partial w^{(j)}}& ={\sum }_{i=1}^N[y_i{x}_i^{(j)}-\frac{1}{1+\exp (w\cdot x_i)}\cdot \exp (w\cdot x_i)\cdot x_i^{(j)}]\\ & ={\sum }_{i=1}^N(y_i-\pi (x_i))\cdot x_i^{(j)}\end{array}$$
梯度上升算法，会对整个数据集进行多次迭代，但如果由数十亿样本和成千上万的特征，那么该算法的复杂度太高。改进的方法是一次仅用一个样本点更新回归系数，该方法称为随机梯度上升算法。具体实现，可参见《机器学习实战》第五章。