【机器学习】西瓜书 03 线性回归模型

03 线性模型

机器学习三要素

1. 模型：根据具体问题，确定假设空间
2. 策略：根据评价标准，确定选取最优模型的策略（通常会导出一个损失函数）
   1. 策略一：最小二乘法
   2. 策略二：极大似然估计法
3. 算法：求解损失函数，确定最优模型
   1. 闭式解
   2. 近似最值解

3.1 一元线性回归算法原理

考虑这样一个问题：我们拥有程序员的发际线高度$X=x_1,x_2,...x_i,...x_m$，和她们的计算机水平$Y=y_1,y_2,...,y_i,...,y_m$的一批数据，现在来研究这两者之间的关系。根据数据散点图，我们可以直观地画出一条直线 $f(x)=wx+b$，令这些数据点$(x_i,y_i)$到直线的距离最短，那么这条直线就是所求的线性回归模型。其中，观察点到直线的距离，可以是垂直距离（绿色线段），也可以是欧式距离 $y-f(x)$（红色线段）。我们把依赖于前者的方法叫作正交回归，依赖于后者的方法叫作线性回归。

上述问题是简单的一元回归问题，从发际线高度这一特征，来预测其计算机水平。当然还有很多其他的案例，比如信用卡额度预测问题，特征是用户的信息（如年龄，性别，年薪……），我们来预测给用户多大的信用额度，这样类似的问题都是回归问题，目标值 $y$ 隶属于实数空间 $R$ 。

根据输入特征的数目和特征值之间的“序”关系，我们可以对特征取值进行转化。

• 仅通过 发际线高度 预测 计算机水平：

  $f(x)=w_1{x}_1+b$

• +二值离散特征 颜值 (好看：1，不好看：0)

  $f(x)=w_1{x}_1+w_2{x}_2+b$

• +有序的多值离散特征 饭量 (小：1，中：2，大：3)

  $f(x)=w_1{x}_1+w_2{x}_2+w_3{x}_3+b$

• +无序的多值离散特征 肤色 (黄：[1,0,0]，黑：[0,1,0]，白：[0,0,1])

  $f(x)=w_1{x}_1+w_2{x}_2+w_3{x}_3+w_4{x}_4+w_5{x}_5+w_6{x}_6+b$

3.1.1最小二乘法

本书中讨论的是线性回归问题，线性回归假设$f(x)=w^{T}x+b$。我们用均方误差作为回归问题中的性能度量，得到损失函数$E_{(w,b)}$。

$E_{(w,b)}={\Sigma }_{i=1}^m(y_i-f(x_i){)}^2={\Sigma }_{i=1}^m(y_i-w{x}_i-b{)}^2$

基于均方误差最小化对模型求解的方法称为 最小二乘法（Least Square Method），表达式为 $\arg {\min }_{(w,b)}{\Sigma }_{i=1}^m(y_i-w{x}_i-b{)}^2$，这里的$\arg {\min }_{(w,b)}$表示求解使得式子达到最小值的$w$和$b$。

3.1.2极大似然估计法

根据一元线性回归公式推导，我们发现使用极大似然估计(Maximum Likelihood Estimation)可以得到同样的损失函数。

目的：估计概率分布的参数值，如正态分布的参数均值和方差 $\mu ,{\sigma }^2$

方法：对于离散随机变量$X=\{x_1,x_2,...,x_n\}$，$x_i$是已知的独立同分布(i.i.d)随机变量，假设概率质量函数$P(x;\theta )$，$\theta$为待估计的参数(可以是多个参数)，那么 似然函数 为$L(\theta )={\prod }_{i=1}^{n}P(x_i;\theta )$。我们考虑使得观测样本出现概率最大的分布，就是所求的分布。

根据线性回归假设，再考虑随机误差$ϵ\sim N(0,{\sigma }^2)$，我们可以得到线性模型$y=wx+b+ϵ$。

根据正态分布概率密度函数公式，$p(ϵ)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{{ϵ}^2}{2{\sigma }^2})$，

把$ϵ=y-wx-b$代入上述公式，得到$y$的概率密度函数： $p(y)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y-(wx+b){)}^2}{2{\sigma }^2})$，

即$y\sim N(wx+b,{\sigma }^2)$。

计算似然函数 $L(w,b)={\prod }_{i=1}^{m}p(y_i)={\prod }_{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y_i-(w{x}_i+b){)}^2}{2{\sigma }^2})$，

为了便于计算，对似然函数取对数，变乘为加，$\ln L(w,b)={\Sigma }_{i=1}^m\ln \frac{1}{\sqrt{2\pi }\sigma }+{\Sigma }_{i=1}^m\ln \exp (-\frac{(y_i-(w{x}_i+b){)}^2}{2{\sigma }^2})=m\ln \frac{1}{\sqrt{2\pi }\sigma }+-\frac{1}{2{\sigma }^2}{\Sigma }_{i=1}^m(y_i-(w{x}_i+b){)}^2$

对 $\ln L(w,b)$取最大值，可等价于对 ${\Sigma }_{i=1}^m(y_i-(w{x}_i+b){)}^2$取最小值，即$\arg {\min }_{(w,b)}{\Sigma }_{i=1}^m(y_i-w{x}_i-b{)}^2$，与最小二乘法殊途同归。

3.2 参数估计

由最小二乘法和极大似然函数估计法，我们得到同一个$E_{(w,b)}$，接下来对参数$w$和$b$进行求解，即参数估计。

首先 $E_{(w,b)}$是关于$w$和$b$的凸函数 ，那么当它关于二者的 导数 均为零时，就得到了$w$和$b$的最优解。

为了理解并求证“$E_{(w,b)}$是关于$w$和$b$的凸函数”这一含义，这里需明确一些概念。

凸集

数学定义：$x,y\in D$，任意$\alpha \in [0,1]$，存在$\alpha x+(1-\alpha )y\in D$，那么$D$是凸集。

几何意义：两点属于一个集合，且两点连线上任意一点都属于此集合，称为凸集。

凸函数

数学定义：对区间$[a,b]$上定义的函数$f$，若它对区间中任意两点$x_1,x_2$均有$f(\frac{x_1+x_2}{2})\le \frac{f(x_1)+f(x_2)}{2}$，则称$f$为区间$[a,b]$上的凸函数。

例子：U型函数如$f(x)=x^2$

凸充分性定理

若$f$是凸函数，且$f(x)$一阶连续可微，则$x^{\ast }$是全局解的充要条件是$\nabla f(x^{\ast })=0$。

梯度

多元函数的一阶导数，对各个分量求偏导。

Hessian矩阵

同上，取二阶偏导数。

3.2.1证明$E_{(w,b)}$是关于$w$和$b$的凸函数

根据定理：设$D$是非空开凸集，$f(x)$在$D$上二阶连续可微，如果$f(x)$的Hessian矩阵在$D$上半正定，则$f(x)$是$D$上的凸函数。

需证明${\nabla }^2{E}_{(w,b)}$是半正定矩阵。

半正定矩阵的判定定理：若实对称矩阵的所有顺序主子式均为非负，则该矩阵是半正定。

顺序主子式：第1到第n阶行列式

$D_1$: $|2{\Sigma }_{i=1}^m{x}_i^2|>0$

$D_2$: $$\left|\begin{array}{cc}2{\Sigma }_{i=1}^m{x}_i^2& 2{\Sigma }_{i=1}^m{x}_i\\ 2{\Sigma }_{i=1}^m{x}_i& 2m\end{array}\right|$$

求解$D_2$，利用$m\times \frac{1}{m}$来构造$\bar{x}$，最终得到$4m{\Sigma }_{i=1}^m(x_i-\bar{x}{)}^2\ge 0$

即所有顺序主子式均为非负，${\nabla }^2{E}_{(w,b)}$是半正定矩阵得证，$E_{(w,b)}$是关于$w$和$b$的凸函数得证。

3.2.2求解损失函数的参数

因为$E_{(w,b)}$是关于$w$和$b$的凸函数，所以根据凸充分性定理，$\nabla E_{(w,b)}=0$的点是最小值点。

令$\frac{\partial E_{(w,b)}}{\partial b}=0$，得$b=\frac{1}{m}{\Sigma }_{i=1}^m(y_i-w{x}_i)$

为了便于求解$w$，对$b$化简，$b=\bar{y}-w\bar{x}$

令$\frac{\partial E_{(w,b)}}{\partial w}=0$，得$w{\Sigma }_{i=1}^m{x}_i^2={\Sigma }_{i=1}^m{y}_i{x}_i-{\Sigma }_{i=1}^{m}b{x}_i$

把$b=\bar{y}-w\bar{x}$代入，移项求出$w$，再进行变换，最终得到$w=\frac{{\Sigma }_{i=1}^m{y}_i(x_i-\bar{x})}{{\Sigma }_{i=1}^m{x}_i^2-\frac{1}{m}({\Sigma }_{i=1}^m{x}_i{)}^2}$

3.2.3向量化

始终把项目导向放在第一位，那么观察到$w$中含有大量的求和运算，我们联想到实现中多层循环的复杂，因此考虑将其向量化。

主要思路：观察$(x_i-\bar{x})$可以理解为去均值后的$x_i$，那么构造类似的表达式，将上式变换为去均值后的$x$与$y$的表达式。

注重基础运算！

$w=\frac{{\Sigma }_{i=1}^m(x_i-\bar{x})(y_i-\bar{y})}{{\Sigma }_{i=1}^m(x_i-\bar{x}{)}^2}=\frac{x_d^T{y}_d}{x_d^T{x}_d}$

3.2.4 多元线性回归

将$\mathbf{w}$和$b$组合成$\hat{\mathbf{w}}$，得到线性模型$f({\hat{\mathbf{x}}}_{\mathbf{i}})={\hat{\mathbf{w}}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{i}}$

由最小二乘法得$E_{\hat{\mathbf{w}}}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^T(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$

证明半正定，对损失函数求Hessian矩阵。

3.2.5 矩阵微分

先求梯度

再求Hessian 矩阵

${\nabla }^2{E}_{\hat{\mathbf{w}}}=2{\mathbf{X}}^T\mathbf{X}$

假设${\mathbf{X}}^T\mathbf{X}$为满秩矩阵或正定矩阵，那么凸函数得证。对一阶偏导取零，求得${\hat{\mathbf{w}}}^{\ast }=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$

现实情况中，由于特征数会超过样例数，此时的${\mathbf{X}}^T\mathbf{X}$不是满秩矩阵，则需引入正则化项。

3.2.6 对数线性回归

$\ln y={\mathbf{w}}^T\mathbf{x}+b$

上式在形式上是线性回归，实质上是求取非线性函数映射。

根据演绎法推演到一般情况，考虑单调可微函数$g(.)$，令$y=g^{-1}({\mathbf{w}}^T\mathbf{x}+b)$，称其为广义线性模型，$g(.)$为联系函数。

3.3 Logistic 回归 （解决分类问题）

考虑分类任务，我们使用3.2.6中提到的联系函数，来把分类任务中的真实标记$y$和线性回归模型的预测值联系起来。

机器学习三要素

1. 模型：线性模型，输出$\in \{0,1\}$，近似阶跃的单调可微函数
2. 策略：极大似然估计，信息论
3. 算法：梯度下降，牛顿法

3.3.1 联系函数

• 单位阶跃函数(unit-step function)

该函数可以把实值$z$转换为0/1值。

缺点 ：不连续，不能直接取反函数。

• 对数几率函数(logistic function)

  $y=\frac{1}{1+e^{-z}}$ 一种Sigmoid函数（S型）

令$z={\mathbf{w}}^T\mathbf{x}+b$，则$y=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}$

两边取对数，可得$\ln \frac{y}{1-y}={\mathbf{w}}^T\mathbf{x}+b$

其中，令$y=p(y=1|x)$，则$1-y=p(y=0|x)$，那么$\frac{y}{1-y}$称为 几率（odds），反映了$x$作为正例的相对可能性。对几率取对数，则得到对数几率（logit）。

掌握模型输出的含义：$y=p(y=1|x)$，给定一个样本$x$，输出$y=1$的可能性。

优点 :

1. 直接建模，无需假设数据分布；

2. 得到近似概率预测，可以辅助决策；

3. 任意阶可导的凸函数，可求取最优解。

3.3.2 参数估计

使用数值优化算法，如：梯度下降、牛顿法得到损失函数的最优解 ${\beta }^{\ast }=\arg {\min }_{\beta }l(\beta )$，这里的最优解不是闭式解，而是近似解。

3.3.2.1 极大似然估计

1. 确定概率质量函数

   预测值$y\in \{0,1\}$取值为1和0的概率分别为

   $p(y=1|x)=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}=\frac{e^{{\mathbf{w}}^T\mathbf{x}+b}}{1+e^{{\mathbf{w}}^T\mathbf{x}+b}}$

   $p(y=0|x)=1-p(y=1|x)=\frac{1}{1+e^{({\mathbf{w}}^T\mathbf{x}+b)}}$

   为便于讨论，令$\beta =(\mathbf{w};b)$，$\hat{\mathbf{x}}=(\mathbf{x};1)$，则上式简写为

   $p(y=1|\hat{\mathbf{x}};\beta )=\frac{e^{{\beta }^T\hat{\mathbf{x}}}}{1+e^{{\beta }^T\hat{\mathbf{x}}}}=p_1(\hat{\mathbf{x}};\beta )$

   $p(y=0|\hat{\mathbf{x}};\beta )=\frac{1}{1+e^{{\beta }^T\hat{\mathbf{x}}}}=p_0(\hat{\mathbf{x}};\beta )$

   合并后写成 $p(y|\hat{\mathbf{x}};\beta )=y\times p_1(\hat{\mathbf{x}};\beta )+(1-y)\times p_0(\hat{\mathbf{x}};\beta )$

2. 写出似然函数

   $L(\beta )={\prod }_{i=1}^{m}p(y_i|{\hat{\mathbf{x}}}_i;\beta )$

   对数似然函数是

   $l(\beta )=\ln L(\beta )={\Sigma }_{i=1}^m\ln p(y_i|{\hat{\mathbf{x}}}_i;\beta )={\Sigma }_{i=1}^m\ln (y\times p_1({\hat{\mathbf{x}}}_i;\beta )+(1-y)\times p_0({\hat{\mathbf{x}}}_i;\beta ))$

   将$p_1({\hat{\mathbf{x}}}_i;\beta )=\frac{e^{{\beta }^T{\hat{\mathbf{x}}}_i}}{1+e^{{\beta }^T{\hat{\mathbf{x}}}_i}}$，$p_0({\hat{\mathbf{x}}}_i;\beta )=\frac{1}{1+e^{{\beta }^T{\hat{\mathbf{x}}}_i}}$代入，得到

   $l(\beta )={\Sigma }_{i=1}^m(\ln (y_i{e}^{{\beta }^T{\hat{\mathbf{x}}}_i}+1-y_i)-\ln (1+e^{{\beta }^T{\hat{\mathbf{x}}}_i}))$

   因为$y_i\in \{0,1\}$

   分类讨论$y_i=0$和$y_i=1$的情况，综合可得$l(\beta )={\Sigma }_{i=1}^m(y_i{\beta }^T{\hat{\mathbf{x}}}_i-\ln (1+e^{{\beta }^T{\hat{\mathbf{x}}}_i}))$

   此时最大化$l(\beta )$即为最小化相反数$-l(\beta )$。

3.3.2.2 信息熵

自信息

$I(X)=-{\log }_{b}p(x)$

信息熵

度量随机变量X的不确定性，信息熵越大越不确定。

$H(X)=E[I(X)]=-{\Sigma }_{x}p(x){\log }_{b}p(x)$

约定：若$p(x)=0$，则$p(x){\log }_{b}p(x)=0$

相对熵（KL散度）

度量两个分布的差异，用于度量理想分布$p(x)$和模拟分布$q(x)$之间的差异。

$D_{KL}(p||q)={\Sigma }_{x}p(x){\log }_b(\frac{p(x)}{q(x)})={\Sigma }_{x}p(x){\log }_{b}p(x)-{\Sigma }_{x}p(x){\log }_{b}q(x)$

其中$-{\Sigma }_{x}p(x){\log }_{b}q(x)$称为交叉熵。

最小化相对熵，可以令$q(x)$接近$p(x)$，即求出最优分布。从频率学派的角度看，$p(x)$是固定的，${\Sigma }_{x}p(x){\log }_{b}p(x)$当作常量，因此最小化相对熵，就是最小化交叉熵$-{\Sigma }_{x}p(x){\log }_{b}q(x)$。

1. 列出理想分布$p(x)$和模拟分布$q(x)$

2. 写出交叉熵

   1. 单个样本$y_i$的交叉熵

      $-{\Sigma }_{y_i}p(y_i){\log }_{b}q(y_i)=-p(1)\times {\log }_b{p}_1(\hat{\mathbf{x}};\beta )-p(0)\times {\log }_b{p}_0(\hat{\mathbf{x}};\beta )=-y_i\times {\log }_b{p}_1(\hat{\mathbf{x}};\beta )-(1-y_i)\times {\log }_b{p}_0(\hat{\mathbf{x}};\beta )$

      令$b=e$，上式为

      $-y_i\times \ln p_1(\hat{\mathbf{x}};\beta )-(1-y_i)\times \ln p_0(\hat{\mathbf{x}};\beta )$

   2. 全体样本的交叉熵

      ${\Sigma }_{i=1}^m[-y_i\times \ln p_1({\hat{\mathbf{x}}}_i;\beta )-(1-y_i)\times \ln p_0({\hat{\mathbf{x}}}_i;\beta )]$

      化简后得到

      ${\Sigma }_{i=1}^m[-y_i\ln (e^{{\beta }^T{\hat{x}}_i})-\ln (\frac{1}{1+e^{{\beta }^T{\hat{x}}_i}})]={\Sigma }_{i=1}^m(-y_i{\beta }^T{\hat{\mathbf{x}}}_i+\ln (1+e^{{\beta }^T{\hat{\mathbf{x}}}_i}))$

      与极大似然估计得到的$-l(\beta )$殊途同归

3.4 线性判别分析

Linear Discriminant Analysis，简称LDA

从几何角度来看，全体训练样本经过投影后：

• 异类样本的中心尽可能远

  二范数：求向量的模长 $\max ||{\mathbf{w}}^T{\mu }_0-{\mathbf{w}}^T{\mu }_1|{|}_2^2$

  由于直接算投影长度不好操作，因此我们计算$w$和$\mu$的内积，如${\mathbf{w}}^T{\mu }_0$，计算简便。已知$w$的模长不影响正负类样本的中心距离，因此我们通过在正负类样本中心$|{\mu }_1|\cos {\theta }_1$和$|{\mu }_0|\cos {\theta }_0$乘以一个模长$||\mathbf{w}||$，来得到内积的形式${\mathbf{w}}^T{\mu }_0=||\mathbf{w}||\times |{\mu }_0|\cos {\theta }_0$，实现计算的简化。

• 同类样本的方差尽可能小

  此处的方差并非严格方差。

  $\min {\mathbf{w}}^T{\mathbf{\Sigma }}_0\mathbf{w}+{\mathbf{w}}^T{\mathbf{\Sigma }}_1\mathbf{w}$

  ${\mathbf{w}}^T{\mathbf{\Sigma }}_0\mathbf{w}={\mathbf{w}}^T({\Sigma }_{x\in X_0}(\mathbf{x}-{\mu }_0)(\mathbf{x}-{\mu }_0{)}^T)\mathbf{w}$

1. 损失函数推导

   $\max J=\frac{||{\mathbf{w}}^T{\mu }_0-{\mathbf{w}}^T{\mu }_1|{|}_2^2}{{\mathbf{w}}^T{\mathbf{\Sigma }}_0\mathbf{w}+{\mathbf{w}}^T{\mathbf{\Sigma }}_1\mathbf{w}}=\frac{||({\mu }_0-{\mu }_1{)}^T\mathbf{w}|{|}_2^2}{{\mathbf{w}}^T({\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1)\mathbf{w}}=\frac{[({\mu }_0-{\mu }_1{)}^T\mathbf{w}{]}^T({\mu }_0-{\mu }_1{)}^T\mathbf{w}}{{\mathbf{w}}^T({\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1)\mathbf{w}}=\frac{{\mathbf{w}}^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T\mathbf{w}}{{\mathbf{w}}^T({\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1)\mathbf{w}}$

   $\max J=\frac{{\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{b}}\mathbf{w}}{{\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w}}$

   目标问题：

   ${\min }_w-{\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{b}}\mathbf{w}$

   s.t. ${\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w}=1$

   一旦把分母固定化，则可以求解这个最优化问题。

   使用拉格朗日乘子法，求出局部极值点，这里的目标函数$-{\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{b}}\mathbf{w}=-||{\mathbf{w}}^T{\mu }_0-{\mathbf{w}}^T{\mu }_1|{|}_2^2\le 0$，所以最大值为0。又因为异类样本的中心在几何角度看一定存在最值距离，所以一定存在最小值。

2. 求解$w$

   ${\min }_w-{\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{b}}\mathbf{w}$

   s.t. ${\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w}=1$ -> ${\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w}-1=0$

   拉格朗日函数为

   $L(\mathbf{w},\lambda )=-{\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{b}}\mathbf{w}+\lambda ({\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w}-1)$

   对$w$求偏导

   $\frac{\partial L(\mathbf{w},\lambda )}{\partial \mathbf{w}}=-({\mathbf{S}}_b+{\mathbf{S}}_b^T)\mathbf{w}+\lambda ({\mathbf{S}}_w+{\mathbf{S}}_w^T)\mathbf{w}$

   因为$S_b$和$S_w$是对称阵，所以 $\frac{\partial L(\mathbf{w},\lambda )}{\partial \mathbf{w}}=-2{\mathbf{S}}_b\mathbf{w}+2\lambda {\mathbf{S}}_w\mathbf{w}$

   令上式等于0，得到${\mathbf{S}}_b\mathbf{w}=\lambda {\mathbf{S}}_w\mathbf{w}$

   即求广义特征值问题。

   $({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T\mathbf{w}=\lambda {\mathbf{S}}_w\mathbf{w}$

   令$({\mu }_0-{\mu }_1{)}^T\mathbf{w}=\gamma$，则 $\gamma ({\mu }_0-{\mu }_1)\mathbf{w}=\lambda {\mathbf{S}}_w\mathbf{w}$

   得 $\mathbf{w}=\frac{\gamma }{\lambda }{\mathbf{S}}_w^{-1}({\mu }_0-{\mu }_1)$

   最终求解的$\mathbf{w}$不关心其大小，只关心其方向，所以常数项$\frac{\gamma }{\lambda }$可以任意取值，若取1，则得到公式(3.39)。

广义特征值

广义瑞利商

实数域中，厄米等于转置。

性质：