机器学习——线性模型

线性模型基本形式

基本形式为：$f(x)$=$\omega 1x1$+$\omega 2x2$+$\omega 3x3$+$...$+$\omega nxn$+$b$；
我们也可以改写成向量形式：$f(x)$=${\omega }^{T}x$+$b$;
从式子中可以看出，学习器只要学的ω与b两个参数后，线性模型就可以确定下来。那么问题就来了，我们通过什么能得到ω与b这两个参数呢？

非线性模型与线性模型的关系

非线性模型即离散模型，可以得知非线性模型可以说出是由若干个线性模型通过一种随机的方法组合形成的，也可以说成其可以通过线性模型通过高维映射或直接通过引入层级结构得到。因此只要我们可以得出线性模型的规律以及参数，我们就可以解决非线性模型的相关问题，因此我们着重的去考虑线性模型。

线性模型—线性回归

我们可以得到一个数据集:$D=(x1,y1)(x2,y2)(x3,y3)...(xm,ym)$其中$yi$为$xi$的真实标记。对于离散属性，若属性间存在“序”的关系，可通过连续化转化为连续值。例如属性中“身高”的取值有“高”、“矮”两种，就可以转化为$D=(1,0)(0,1)$也可以有三种属性值“高”、“中”、“低”，同样可以转化为$D=(1,0)(0,0.5)(0,1)$;若属性间不存在“序”的关系，假定离散属性间存在$k$个属性值，通常情况下转化为$k$维向量。
对于线性回归来说，其试图学得 $f(xi)=\omega xi+b$ 使得$f(xi)$$\approx$$yi$。

ω与b的确定

ω与b只要使得均方误差达到最小化，即：$({\omega }^{\ast },b^{\ast })$$=argmin(\omega ,b)$
$$\sum _{i=1}^m(f(xi)-yi{)}^2\text{\hspace{1em}(1)}$$由于$yi=\omega xi+b$因此式子（1-1）也可写成
$$\sum _{i=1}^m(f(xi)-\omega xi-b{)}^2$$
利用欧式（欧几里得）变换，得出线性回归最小二乘：

$$E_{(}\omega ,b)=\sum _{i=1}^m(f(xi)-\omega xi-b{)}^2$$
对$\omega$与b分别求导得：
$$\frac{\partial E_{(}\omega ,b)}{\partial \omega }=2(\omega \sum _{i=1}^{m}x{i}^2-\sum _{i=1}^m(yi-b)xi)\text{\hspace{1em}(2)}$$
$$\frac{\partial E_{(}\omega ,b)}{\partial b}=2(mb-\sum _{i=1}^m(yi-\omega xi)\text{\hspace{1em}(3)}$$
那么将式子(2)(3)联立可得：
$$\omega =\frac{{\sum }_{i=1}^{m}yi(xi-\overline{x})}{{\sum }_{i=1}^{m}x{i}^2-\frac{1}{m},({\sum }_{i=1}^{m}xi{)}^2},(\overline{x}=\frac{1}{m}\sum _{i=1}^{m}xi)$$
$$b=\frac{1}{m}\sum _{i=1}^{m}y-\omega xi$$
称$f(xi)={\omega }^{T}xi+b$的多元线性回归。
也可以使用最小二乘法对$\omega$和$b$进行估计，即令$\hat{\omega }=(\omega ,b)$，其相应数据集D则为$m\times (d+1)$的矩阵$X$($d$元素对应着$d$属性值,最后元素恒为1),即为
$$X_{(D)}=\left(\begin{array}{cccccc}{x}_{11}& x_{12}& x_{13}& ...& x_{1d}& 1\\ x_{21}& x_{22}& x_{23}& ...& x_{2d}& 1\\ ..& ..& ..& ...& ..& 1\\ ..& ..& ..& ...& ..& 1\\ x_{m1}& x_{m2}& x_{m3}& ...& x_{md}& 1\end{array}\right)$$
$$y=\left(\begin{array}{ccccc}{y}_1;& y_2;& y_3;& ...;& y_m\end{array}\right)$$
${\hat{\omega }}^{\ast }=argmi{n}_{(\hat{\omega })}(y-X\hat{\omega }{)}^T(y-X\hat{\omega })$,令$E_{\hat{\omega }}=(y-X\hat{\omega }{)}^T(y-X\hat{\omega })$对$\hat{\omega }$求导得$$\frac{\partial E_{\hat{\omega }}}{\partial \omega }=2X^T(X\hat{\omega }-y)$$推导过程$⟶$
原式 $\frac{\partial E_{\hat{\omega }}}{\partial \omega }$=$$\frac{\partial (y-X\hat{\omega }{)}^T(y-X\hat{\omega })}{\partial argmi{n}_{(\hat{\omega })}(y-X\hat{\omega }{)}^T(y-X\hat{\omega })}=\frac{\partial (y-X\hat{\omega }{)}^T(y-X\hat{\omega })}{\frac{1}{2}Xargmin(y-X\hat{\omega }{)}^T(y-X\hat{\omega })}$$=$$2X^T(X\hat{\omega }-y)$$，令该式等于零就可以得出最优解的闭式解,当$X^{T}X$为满秩矩阵或正定矩阵时，${\hat{\omega }}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y$,再令$\widehat{xi}=(xi,1)$,可学得多元线性回归模型：$$f(\widehat{xi})={\widehat{xi}}^T(X^{T}X{)}^{-1}{X}^{T}y$$
为了让$f(x)$模型的预测值更趋向于真实标记$y$，可以让$f(x)$通过联系函数$g(\cdot )$来逼近不同情况下的目标，例如样本对应上的输出标记在指数尺度上的变化，我们可令$g(\cdot )=ln(\cdot )$即$lny={\omega }^{T}x+1$, $y=g^{-1}({\omega }^{T}x+b)$,其中$g(\cdot )$为单调可微函数。这就是广义线性模型。

对数几率回归（分析分类任务）

二分类问题$y\in${0, 1}, 线性回归模型产生预测值$z={\omega }^{T}x+b$为实值，需要将线性回归模型产生的预测值做 $0/1$变换，$g(\cdot )$必须为单调可微函数，对数几率函数：$y=\frac{1}{1+e^{-({\omega }^{T}x+b)}}$, 经简单变换得$ln\frac{y}{1-y}={\omega }^{T}x+b$, $y$为正例率的可能性，$1-y$为反例率的可能性；$\frac{y}{1-y}$则为几率，$x$可以看出正例的相对可能性，
$ln\frac{y}{1-y}={\omega }^{T}x+b$, 又称为“对数几率回归”。
若将$p(y=1\mid x)$视为$y$类后验概率，则
$$y=\frac{1}{1+e^{-({\omega }^{T}x+b)}}$$可化为$$ln\frac{p(y=1\mid x)}{p(y=0\mid x)}={\omega }^{T}x+b$$显然有$$p(y=1\mid x)=\frac{e^{{\omega }^{T}x+b}}{1+e^{{\omega }^{T}x+b}}\text{\hspace{1em}(4)}$$$$p(y=0\mid x)=\frac{1}{1+e^{{\omega }^{T}x+b}}\text{\hspace{1em}(5)}$$通过“极大释然法”对 $\omega$ 和 $b$ 估计，给定数据集为 $\{(xi,yi){\}}_{i=1}^m$ ，则最大化“对数释然”即：
$$l(\omega ,b)=\sum _{i=1}^{m}ln(p(yi\mid xi;\omega ,b))\text{\hspace{1em}(最大释然项)}$$
可看出，每个样本的真实标记越大越好，可令$\beta =(\omega ;b),\hat{x}=(x;1),P_1(\hat{x};\beta )=p(y=1\mid \hat{x};\beta ),P_0(\hat{x};\beta )=p(y=0\mid \hat{x};\beta )=1-P_1(\hat{x};\beta )$则上式可写为$$p(yi\mid xi;\omega ;b)=yi{P}_1(\hat{x};\beta )+(1-yi)P_0(\hat{x};\beta )$$$$l(\beta )=\sum _{i=1}^m(-yi{\beta }^T\widehat{xi}+ln(1+e^{{\beta }^T\widehat{xi}}))({\beta }^{T}x={\omega }^{T}x+b)$$

线性判别分析（LDA）

即设法将样例投影在一条线上，使同一类样例的投影点尽可能接近，不同类的样例的投影点尽可能远离，根据投影点的位置来确定样本的类别。

给定数据集为 $\{(xi,yi){\}}_{i=1}^m$，$y=\{0,1\}$，令$X_i$为协方差矩阵，$U_i$为均值向量，${\sum }_i$为集合，其中$i\in \{0,1\}$, 则数据集在$\omega$上的投影，样本中心分别为${\omega }^T{u}_0$与${\omega }^T{u}_1$若将所有数据集都投影在$\omega$上，可得两类样本的协方差为${\omega }^T{\sum }_0\omega$和${\omega }^T{\sum }_1\omega$，为了满足LDA思想，使相同样例间的投影点尽可能小，不同样例间的投影点尽可能大，即：$${\omega }^T{u}_0+{\omega }^T{u}_1\text{\hspace{1em}(小)}$$ $$\Vert \begin{array}{c}{\omega }^T{u}_0-{\omega }^T{u}_1\end{array}\Vert \text{\hspace{1em}(大)}$$可得到最大化目标：
$$J=\frac{\Vert \begin{array}{c}{\omega }^T{u}_0-{\omega }^T{u}_1\end{array}\Vert }{{\omega }^T{u}_0+{\omega }^T{u}_1}\text{\hspace{1em}(6)}$$则类内散度矩阵：$$S_{\omega }=\sum _0+\sum _1=\sum _{x\in {\chi }_0}(x-u_0)(x-u_0{)}^T+\sum _{x\in {\chi }_1}(x-u_1)(x-u_1{)}^T$$类间散度矩阵：$$S_b=(u_0-u_1)(u_0-u_1{)}^T$$则式子6可以改写成$$J=\frac{{\omega }^T{S}_b\omega }{{\omega }^T{S}_{\omega }\omega }\text{\hspace{1em}(Sb与Sω的广义瑞利商)}$$为了不失一般性，令${\omega }^T{S}_{\omega }\omega =1$即：$$mi{n}_{\omega }=-{\omega }^T{S}_b\omega$$$$s.t.={\omega }^T{S}_{\omega }\omega =1$$
由拉格朗日乘子法，上式等价于：

拉格朗日乘子法即为目标函数$f(x)$, $x^{\ast }$为$f(x)$上$g(x)$维度上的最优解，$x^{\ast }\in R^{d_N-1}$不难知：梯度$\nabla g(x)$与$\nabla f(x)$必然相反且满足$\nabla f(x^{\ast })=-\lambda \nabla g(x^{\ast })$ 这里的$\lambda$即为拉格朗日乘子项，则函数$L(x,\lambda )=f(x)+\lambda g(x)$

$$S_b\omega =\lambda S_{\omega }\omega$$$$又S_b\omega =\lambda (u_0-u_1)\text{\hspace{1em}(Sbω方向恒为u0−u1)}$$$$\to \omega =S_{\omega }^{-1}(u_0-u_1)$$在这里$S_{\omega }^{-1}=U\sum V^T$, $\sum$为对角矩阵，对角线上元素为$S_{\omega }$的奇异值

奇异值分解 : 即为任意矩阵A满足 $A=U\sum V^T$其中矩阵$U$和矩阵$V$为酉矩阵（逆矩阵）$\sum$是$m\times n$矩阵, 其中$(\sum {)}_{ii}={\sigma }_i$(非负实数)

全局散度矩阵：$$S_t=S_b+S_{\omega }$$$$=\sum _{i=1}^m(x-ui)(x-ui{)}^T$$由于$S_t$内向量$u$为均值向量，则类内散度矩阵可改写为：$$S_{\omega }=\sum _{x\in X_i}(x-ui)(x-ui{)}^T$$类间散度矩阵$S_b=S_t-S_{\omega }$$$S_b=\sum _{i=1}^{N}m(ui-u)(ui-u{)}^T$$优化目标：$$ma{x}_{\omega }\frac{tr({\omega }^T{S}_b\omega )}{tr({\omega }^T{S}_{\omega }\omega )}\text{\hspace{1em}(tr(⋅)称为该矩阵的迹)}$$

n阶矩阵A，主对角线之和为矩阵A的迹, 即为$tr(A)={\sum }_{i=1}^n{A}_{ii}$
迹的性质：$$tr(A^T)=tr(A)$$$$tr(A+B)=tr(A)+tr(B)$$$$tr(AB)=tr(BA)$$$$tr(ABC)=tr(BCA)=tr(CAB)$$

通过广义特征值求解$$\frac{W^T{S}_b\omega }{W^T{S}_{\omega }\omega }=\lambda \text{\hspace{1em}(Sbω=λSωω)}$$
$W$的闭式解则是$S_{\omega }^{-1}{S}_b$的$d^{\prime }$个最大非零广义特征值对应的特征向量组成的矩阵，$d^{\prime }\le N-1$若将$W$视为投影矩阵，则LDA可将$W$投影到$d^{\prime }$维空间，$d^{\prime }$往往小于原来的数据集$d$。于是，可通过这种方式来减小样本点的维度，且投影过程使用了类别信息，LDA也视为降维技术。

多分类学习

多分类学习一般将多个任务拆解成多个二分类任务进行求解，分为:
OvO、OvR、MvM三种分类方式。

OvO与OvR型分类器

例如给定数据集：$D=[\{(x_1,y_1)(y_2,x_2)(x_3,y_3)\cdots (x_i,y_i)\},y\in (C_1,C_2,C_3\cdots C_N)为N种类别]$。对于OvO型分类器，则$D$数据集可以产生$N(N-1)/2$个二分类任务，其中有$C_i$个正例，$C_j$个反例，于是可得$N(N-1)/2$个结果；OvR是将一个类作为正例，所有的其余类作为反例来训练$N$个分类器，通常由于其存储开销与测试时间等方面的表现都比OvO好。比如给定如下数据OvO、OvR工作如下表所示：
$$D=\{(C_1)(C_2)(C_3)(C_4)\}$$
对于OvO型分类器：
$$\begin{array}{l}\text{+−}分类器预测结果\\ \text{D1={(C1)(C2)}}\Rightarrow f_1\to C_1\\ \text{D2={(C1)(C3)}}\Rightarrow f_2\to C_3\\ \text{D3={(C1)(C4)}}\Rightarrow f_3\to C_1\\ \text{D4={(C2)(C3)}}\Rightarrow f_4\to C_3\\ \text{D5={(C2)(C4)}}\Rightarrow f_5\to C_2\\ \text{D6={(C3)(C4)}}\Rightarrow f_6\to C_3\end{array}\}\to 预测结果：C_3$$
对于OvR型分类器：
$$\begin{array}{l}\text{+−}分类器预测结果\\ \text{{(C1)(C2C3C4)}}\Rightarrow f_1\to “-"\\ \text{{(C2)(C1C3C4)}}\Rightarrow f_2\to “-"\\ \text{{(C3)(C1C2C4)}}\Rightarrow f_3\to “+"\\ \text{{(C4)(C1C2C3)}}\Rightarrow f_4\to “-"\end{array}\}\to 预测结果：C_3$$
显然在有限个数据集中OvR的表现比OvO好。

MvM型分类器

MvM型分类器即每次将数据集$D$分为若干个正类和若干个反类（个人感觉与留出法差不多，所以对于MvM分类器就按照留出法进行学习理解的），从而可以看出OvO与OvR都是MvM的一种特殊表现，常见的MvM技术：$ECOC$（纠错输出码）。
$ECOC$工作主要步骤（二分类解码）：

1. 编码：N个类别，M个划分，一共产生M个训练集，产生M个二分类器。
2. 解码：对M个分类器进行对测试样本预测，由预测的标记组成一个编码，将预测编码与每个类别各自编码进行比较，最短距离的类别作为最终的预测结果。

测试与预测结果如下表所示：
例如：$ECOC$二元码（+1表示正例；-1表示反例）
$$\begin{array}{cccccccc}& f_1& f_2& f_3& f_4& f_5& 海明距离& 欧式距离\\ & \downarrow & \downarrow & \downarrow & \downarrow & \downarrow & \downarrow & \downarrow \\ C_1& -1& +1& -1& +1& +1& 3& 2\sqrt{3}\\ C_2& +1& -1& -1& +1& -1& 4& 4\\ C_3& -1& +1& +1& -1& +1& 1& \sqrt{2}\\ C_4& -1& -1& +1& +1& -1& 2& 2\sqrt{2}\\ 测试示例& -1& -1& +1& -1& +1& -& -\end{array}$$

海明距离：测试类与示例对比需要变换的次数。
欧式距离：$\sqrt{C_1^2+C_2^2}=d$

$ECOC$编码越长，纠错能力越强，存储开销和运算也就越大，并达到一定范围后就毫无意义了，因此在码长一定时，可以使用$ECOC$编码来确定最优编码。

类别不平衡问题

对于正例较小；反例较多，训练样本差别很大的情况。用线性模型$y={\omega }^{T}x+b$对$x$样本分类时，用预测$y$值与一个阈值比较，若$y\to 0.5$则视为正例，反之视为反例。即：$\frac{y}{1-y}>1$为正例，当训练集中，正例与反例数目不同时，令$m^{+}$表示正例数，$m^{-}$表示反例数，则$$\frac{y}{1-y}>\frac{m^{+}}{m^{-}}预测样本为正例\text{\hspace{1em}(7)}$$
实际分离器在执行时式子7为$\frac{y^{\prime }}{1-y^{\prime }}=\frac{y}{1-y}\times \frac{m^{+}}{m^{-}}$即再平衡（再缩放）

第一次在csdn上写笔记来记录（其实一大部分还是不怎么理解）里面有很多是我自己反复琢磨很久又去找资料和其他网站的大神们的资源才写完的这个记录，也是我学习算法以来第一次的记录，希望reader读完后哪里不懂或者我哪里写的有错误尽管在评论区里面评论，我看到就会回复你们，谢谢！

附：常用矩阵求导公式

$I$：单位矩阵       \,\,\,\,\, $A$：向量矩阵
$\frac{d_{X^T}}{X}=I\frac{d_x}{d_{x^T}}=I\frac{d_{x^T}A}{d_x}=A\frac{d_{Ax}}{d_{x^T}}=A$

$\frac{d_{Ax}}{dx}=A^T\frac{d_{xA}}{dx}=A^T\frac{\partial u}{{\partial }_{x^T}}=(\frac{\partial u}{{\partial }_{x^T}}{)}^T$

$\frac{\partial u^{T}v}{\partial x}=\frac{\partial u^T}{\partial x}V+\frac{\partial u^T}{\partial x}{u}^T\frac{\partial u{v}^T}{\partial x}=\frac{\partial u}{\partial x}{V}^T+u\frac{\partial v^T}{\partial x}$

$\frac{d{x}^{T}x}{dx}=2x\frac{d{x}^{T}Ax}{dx}=(A+A^T)x\frac{\partial AB}{\partial x}=\frac{\partial A}{\partial x}B+A\frac{\partial B}{\partial x}$

$\frac{\partial u^{T}xv}{\partial x}=u{v}^T\frac{\partial u^T{x}^{T}xu}{\partial x}=2xu{u}^T$

$\frac{\partial [(xu-v{)}^T(xu-v)]}{\partial x}=2(xu-v)u^T$