线性回归模型公式推导

本内容依据周志华老师的《机器学习》（西瓜书）总结而来。初次发文，若有不当的地方，还请指正。

线性模型

给定有$d$个属性描述的示例$x=(x_1;x_2;...;x_d)$，其中$x_i$是$x$在第$i$个属性上的取值，线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，即$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$一般用向量的形式写成$$f(x)=w^{T}x+b$$其中$w=（w_1;w_2;...;w_d）$$w$和$b$学得之后，模型就得以确定。

线性模型形式简单、易于建模，但蕴含着机器学习中的一些重要的基本思想。许多功能更为强大的非线性模型（nonlinear model）可在线性模型的基础上通过引入层级结构或高维映射而得。

一、线性回归

（一）一元线性回归

在线性回归问题中，首先考虑输入属性的数目只有一个，即一元线性回归问题，试图学得$$f(x_i)=w{x}_i+b，使得f(x_i)\simeq y_i$$

求解步骤：
1. 由最小二乘法得出损失函数E(w,b)
2. 证明损失函数E(w,b)是关于w和b的凸函数
3. 对损失函数求关于b和w的一阶偏导数
4. 令一阶偏导数等于0，解出w和b

1. 由最小二乘法得出损失函数

$$\begin{array}{rl}{E}_{(w,b)}& =\sum _{i=1}^m(y_i-f(x_i){)}^2\\ & =\sum _{i=1}^m(y_i-w{x}_i-b{)}^2\end{array}$$均方误差有非常好的几何意义，它对应了常用的欧几里得距离或简称“欧氏距离”（Euclidean distance）。基于均方误差最小化来进行模型求解的方法称为“最小二乘法”（least square method）。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。即求解目的为：$$(w,b)=\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$

2. 证明损失函数$E(w,b)$是关于$w$和$b$的凸函数

二元函数判断凹凸性：
设$f(x,y)$在区域D上具有二阶连续偏导数，记$A=f_{xx}^{{}^{\prime \prime }}(x,y),B=f_{xy}^{{}^{\prime \prime }}(x,y),C=f_{yy}^{{}^{\prime \prime }}(x,y)$
(1) 在D上恒有A>0，且$AC-B^2>=0$时，$f(x,y)$在区域D上是凸函数；
(2) 在D上恒有A<0，且$AC-B^2>=0$时，$f(x,y)$在区域D上是凹函数。

二元凹凸函数求最值：
设$f(x,y)$是在开区域D内具有连续偏导数的凸（或者凹）函数$(x_0,y_0)\in D$，且$f_x^{{}^{\prime }}(x_0,y_0)=0,f_y^{{}^{\prime }}(x_0,y_0)=0$，则$f(x_0,y_0)$必为$f(x,y)$在D内的最小值（或最大值）。

求$A=f_{xx}^{{}^{\prime \prime }}(x,y)$：
$$\begin{array}{rl}\frac{\partial E_{(w,b)}}{\partial w}& =\frac{\partial }{\partial w}[\sum _{i=1}^m(y_i-w{x}_i-b{)}^2]\\ & =2\sum _{i=1}^m{x}_i(b+w{x}_i-y_i)\\ \frac{{\partial }^2{E}_{(w,b)}}{\partial w^2}& =\frac{\partial }{\partial w}(\frac{\partial E_{(w,b)}}{\partial w})\\ & =2\sum _{i=1}^m{x}_i^2\end{array}$$此即为$A=f_{xx}^{{}^{\prime \prime }}(x,y)$。

求$B=f_{xy}^{{}^{\prime \prime }}(x,y)$：
$$\begin{array}{rl}\frac{{\partial }^2{E}_{(w,b)}}{\partial w\partial b}& =\frac{\partial }{\partial b}(\frac{\partial E_{(w,b)}}{\partial w})\\ & =2\sum _{i=1}^m{x}_i\end{array}$$此即为$B=f_{xy}^{{}^{\prime \prime }}(x,y)$。

求$C=f_{yy}^{{}^{\prime \prime }}(x,y)$:
$$\begin{array}{rl}\frac{\partial E_{(w,b)}}{\partial b}& =\frac{\partial }{\partial b}[\sum _{i=1}^m(y_i-w{x}_i-b{)}^2]\\ & =2(mb-\sum _{i=1}^m(y_i-w{x}_i))\\ \frac{{\partial }^2{E}_{(w,b)}}{\partial b^2}& =\frac{\partial }{\partial b}(\frac{\partial E_{(w,b)}}{\partial b})\\ & =2m\end{array}$$此即为$C=f_{yy}^{{}^{\prime \prime }}(x,y)$。

易知$A>0，AC-B^2=4m{\sum }_{i=1}^m(x_i-\overline{x}{)}^2>=0$，故损失函数$E(w,b)$是关于$w$和$b$的凸函数得证。

3. 对损失函数求关于b和w的一阶偏导数

$$\begin{array}{rl}\frac{\partial E_{(w,b)}}{\partial b}& =2(mb-\sum _{i=1}^m(y_i-w{x}_i))\\ \frac{\partial E_{(w,b)}}{\partial w}& =2\sum _{i=1}^m{x}_i(b+w{x}_i-y_i)\end{array}$$

4. 令一阶偏导数为0解出$w$和$b$

$$\{\begin{array}{ll}\frac{\partial E_{(w,b)}}{\partial b}& =2[mb-{\sum }_{i=1}^m(y_i-w{x}_i)]=0\\ \frac{\partial E_{(w,b)}}{\partial w}& =2{\sum }_{i=1}^m{x}_i(b+w{x}_i-y_i)=0\end{array}$$得：
$$\begin{array}{rl}b& =\frac{1}{m}\sum _{i=1}^m(y_i=w{x}_i)\\ & =\frac{1}{m}\sum _{i=1}^m{y}_i-w\cdot \frac{1}{m}\sum _{i=1}^m{x}_i\\ & =\overline{y}-w\overline{x}\\ w=& \frac{{\sum }_{i=1}^m{y}_i{x}_i-\overline{y}{\sum }_{i=1}^m{x}_i}{{\sum }_{i=1}^m{x}_i^2-\overline{x}{\sum }_{i=1}^m{x}_i}\end{array}$$至此，便求出了一元线性模型的参数$w$和$b$。

（二）多元线性回归

由一元的情况扩展开来，此时样本由d个属性描述，此时我们试图学得$$f(x_i)=w^T{x}_i+b，使得f(x_i)\simeq y_i$$即多元线性回归问题，求解步骤与一元线性回归模型相似。

1. 由最小二乘法求出损失函数

$$\begin{array}{rl}f(x_i)& =w^T{x}_i+b\\ & =(w_1,w_2,...,w_d)\left(\begin{array}{c}{x}_{i1}\\ x_{i2}\\ ...\\ x_{id}\end{array}\right)+b\\ & \stackrel{b记作w_{d+1}}{=}(w_1,w_2,...,w_d,w_{d+1})\left(\begin{array}{c}{x}_{i1}\\ x_{i2}\\ ⋮\\ x_{id}\\ 1\end{array}\right)\\ & ={\hat{w}}^T{\hat{x}}_i\end{array}$$如此一来，就将回归模型记为$f({\hat{x}}_i)={\hat{w}}^T{\hat{x}}_i$，便于后续的分析。接下来便由最小二乘法定义损失函数：
$$\begin{array}{rl}{E}_{\hat{w}}& =\sum _{i=1}^m(y_i-f({\hat{x}}_i))\\ & =\sum _{i=1}^m(y_i-{\hat{w}}^T{\hat{x}}_i{)}^2\end{array}$$ 为便于分析，可做如下定义：
$$\begin{array}{rl}X& =\left(\begin{array}{ccccc}{x}_{11}& x_{12}& \dots & x_{1d}& 1\\ x_{21}& x_{22}& \dots & x_{2d}& 1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{m1}& x_{m2}& \dots & x_{md}& 1\end{array}\right)=\left(\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ ⋮& ⋮\\ x_m^T& 1\end{array}\right)=\left(\begin{array}{c}{\hat{x}}_1^T\\ {\hat{x}}_2^T\\ ⋮\\ {\hat{x}}_m^T\end{array}\right)\\ & \\ y& =(y_1,y_2,\dots ,y_m)\end{array}$$ 如此一来，可得：
$$\begin{array}{rl}\left(\begin{array}{c}{y}_1-{\hat{w}}^T{\hat{x}}_1\\ y_2-{\hat{w}}^T{\hat{x}}_2\\ ⋮\\ y_m-{\hat{w}}^T{\hat{x}}_m\end{array}\right)& =\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right)-\left(\begin{array}{c}{\hat{w}}^T{\hat{x}}_1\\ {\hat{w}}^T{\hat{x}}_2\\ ⋮\\ {\hat{w}}^T{\hat{x}}_m\end{array}\right)\\ & =\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right)-\left(\begin{array}{c}{\hat{x}}_1^T\hat{w}\\ {\hat{x}}_2^T\hat{w}\\ ⋮\\ {\hat{x}}_m^T\hat{w}\end{array}\right)\\ & =y-X\hat{w}\end{array}$$故：$E_{\hat{w}}=(y-X\hat{w}{)}^T(y-X\hat{w})$

2. 证明损失函数$E_{\hat{w}}$是关于$\hat{w}$的凸函数

$$\begin{array}{rl}\frac{\partial E_{\hat{w}}}{\partial \hat{w}}& =\frac{\partial }{\partial \hat{w}}[(y-X\hat{w}{)}^T(y-X\hat{w})]\\ & =\frac{\partial }{\partial \hat{w}}(y^T-{\hat{w}}^T{X}^T)(y-X\hat{w})\\ & =\frac{\partial }{\partial \hat{w}}(y^{T}y-{\hat{w}}^T{X}^{T}y-y^{T}X\hat{w}+{\hat{w}}^T{X}^{T}X\hat{w})\\ & =\frac{\partial }{\partial \hat{w}}(-{\hat{w}}^T{X}^{T}y-y^{T}X\hat{w}+{\hat{w}}^T{X}^{T}X\hat{w})\\ & =(-y^{T}X{)}^T-X^{T}y+(X^{T}X+X^{T}X)\hat{w}\\ & =2X^T(X\hat{w}-y)\end{array}$$ 上述式子中用到了矩阵微分公式：
$$\frac{\partial x^{T}a}{\partial x}=\frac{\partial a^{T}x}{\partial x}=a,\frac{\partial x^{T}Bx}{\partial x}=(B+B^T)x$$ 继续对$E_{\hat{w}}$求二阶导：
$$\begin{array}{rl}\frac{{\partial }^2{E}_{\hat{w}}}{\partial {\hat{w}}^2}& =\frac{\partial }{\partial \hat{w}}[2X^T(X\hat{w}-y)]\\ & =(2X^{T}X{)}^T\\ & =2X^{T}X\end{array}$$ 由多元实值函数凹凸性判定定理，若$X^{T}X$是正定矩阵，则$E_{\hat{w}}$为凸函数。

3. 令一阶偏导数为0，解出$\hat{w}$

$$\begin{gathered} 2X^T(X\hat{w}-y)=0 \\ 得\hat{w}=(X^{T}X{)}^{-1}{X}^{T}y \end{gathered}$$至此，便解出了多元线性回归模型。

二、对数几率回归

（一）广义线性模型

线性模型虽简单，却有丰富的变化，线性回归模型可简写为$y=w^{T}x+b$，假设某一情况中对应的输出是在指数尺度上变化，那就可将输出的对数作为线性模型逼近的目标，即：$$lny=w^{T}x+b$$上式在形式上仍是线性回归，但实质上已是在求取输入空间到输出空间的非线性函数映射。这里的对数函数起到了将线性回归模型的预测值与真实的标记联系起来的作用。

更一般地，考虑单调可微函数$g(\cdot )$，令$$y=g^{-1}(w^{T}x+b)$$这样得到的模型称为“广义线性模型”（generalized linear model），其中函数$g(\cdot )$称为“联系函数”（link function）。

（二）对数几率回归公式推导

1. 对数几率回归模型

上一节讨论了如何使用线性回归模型进行学习，但若要做的是分类任务该怎么办？答案蕴含在广义线性模型中：只需找到一个单调可微函数将分类任务的真实标记与线性回归模型的预测值联系起来。

考虑二分类任务，其输出标记$y\in \{0,1\}$，而线性回归模型产生的预测值$y=(w^{T}x+b)$是实值，于是需要找到一个函数将实值转化为0/1值，对数几率函数就是这样一个合适的函数。对数几率函数如图所示：
其表达式为：$y=\frac{1}{1+e^{-z}}$，将其作为$g^{-}(\cdot )$带入$y=g^{-1}(w^{T}x+b)$，即可得对数几率回归模型：$$y=\frac{1}{1+e^{-(w^{T}x+b)}}=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}$$

2. 极大似然估计方法

哪一组参数使得现在的样本观测值出现的概率最大，哪一组参数可能就是真正的参数，我们就用它作为参数的估计值，这就是所谓的极大似然估计。已知随机变量的$y$取1和0的概率分别为
$$\begin{gathered} p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}} \\ p(y=0|x)=\frac{1}{1+e^{w^{T}x+b}} \end{gathered}$$ 令$\beta =(w;b),\hat{x}=(x,1)$，则$w^{T}x+b$可简写为${\beta }^T\hat{x}$，于是上式可简化为$$\begin{gathered} p(y=1|x)=\frac{e^{{\beta }^T\hat{x}}}{1+e^{{\beta }^T\hat{x}}}=p_1(\hat{x};\beta ) \\ p(y=0|x)=\frac{1}{1+e^{{\beta }^T\hat{x}}}=p_0(\hat{x};\beta ) \end{gathered}$$可得：
$$p(y|x;w,b)=y\cdot p_1(\hat{x};\beta )+(1-y)\cdot p_0(\hat{x};\beta )$$或者：
$$p(y|x;w,b)=[p_1(\hat{x};\beta ){]}^y[p_0(\hat{x};\beta ){]}^{1-y}$$在许多情况下，求解似然函数的对数$lnL(w)$比求解似然函数本身$L(w)$更简单，通常称$lnL(w)$为对数似然函数。$$l(w,b)=\sum _{i=1}^{m}lnp(y_i|x_i;w,b)$$将概率值带入对数似然函数，最大化似然函数，等价于最小化：
$$\begin{array}{rl}l(\beta )& =\sum _{r=1}^m(-y_i{\beta }^T{\hat{x}}_i+ln(1+e^{{\beta }^T{\hat{x}}_i}))\end{array}$$便可求出参数的估计：$$\begin{array}{rl}{\beta }^{\ast }& =arg\underset{\beta }{\min }l(\beta )\end{array}$$