机器学习 3.1 监督学习-线性模型(线性回归，线性分类) 学习笔记

1.模型结构

线性模型是一类有线性组合方式构成的预测性模型的统称。其基本形式如下：
$$f(\mu )=a_1{a}_2+a_2{\mu }_2+\cdots +a_n{\mu }_n+b$$

其中，${\mu }_i$表示第$i$个变量；$a_i$表示${\mu }_i$所对应的权值参数；参数$b$称为偏置项。

当$b\ne 0$时，称上式为非齐次线性模型；当$b=0$时，可将其化简为：
$$f(\mu )=a_1{\mu }_1+a_2{\mu }_2+\cdots +a_n{\mu }_n$$
并称上式子为齐次线性模型。

显然，齐次线性模型时非齐次线性模型在$b=0$时的情况；如果我们令${\mu }_i=1$，那么非齐次线性模型也可以变为以$a_n$为偏置项的齐次线性模型。

可以将线性模型表示为如下的向量形式：
$$f(\mu )=a^T\mu +b$$
其中$a=(a_1,a_2\dots ,a_n{)}^T$表示权重向量；$\mu =({\mu }_1,{\mu }_2,\dots ,{\mu }_n{)}^T$表示变量向量。

在机器学习领域，通常将样本数据表示为表征向量或特征向量形式，并默认样本数据由特征向量形式表达。具体来说，对于任意给定的一个样本$X$，可将其表示成特征向量$(x_1,x_2,\dots ,x_m{)}^T$，即$X=(x_1,x_2,\dots ,x_m{)}^T$，每个样本数据对应各自的特征向量。此时可将线性模型表示为样本特征和权重向量的线性组合，即有：
$$f(X)=w^{T}x+b或f(X)=w^{T}x$$
其中，$w=(w_1,w_2,\dots ,w_m{)}^T$为权重向量；$w_i$表示样本$X$的第$i$个特征$x_i$对模型输出的影响程度。$w_i$值越大，则表示特征$x_i$对线性模型$f(X)$的输出值影响就越大。

对于给定的机器学习任务，获得一个满足需求的线性模型主要通过调整线性模型的参数实现。对于参数的调整方式则有多种多样的途径和技巧。

2.线性回归

基于线性模型的回归学习任务通常称为线性回归，相应的线性模型称为线性回归模型。可以使用线性回归模型解决很多预测问题。

对于给定的样本$\xi$，我们可以用$m$个$x_i$表示其特征，那么可以将原始样本映射称为一个$m$元的特征向量$X=(x_1,x_2,\dots ,x_m{)}^T$。因此，我们可以将线性回归模型的初始模型表示为如下的线性组合形式：
$$f(X)=w_1{x}_1+w_2{x}_2+\cdots +w_m{x}_m$$
其中，$w=(w_1,w_2,\dots ,w_m{)}^T$为参数向量。

为了使模型的效果达到最优，我们需要对线性回归模型的参数进行不断调整优化，使其距离预测效果达到最优。在调整优化的过程中，我们需要选取适当的目标函数或损失函数作为衡量模型效果的依据。

对于给定的带标签训练样本$X$，(通常)设其标签为$y$，则希望线性回归模型关于该训练样本的预测输出$f(X)$与$y$尽可能地接近。通常采用平方误差来度量$f(X)$和$y$的接近程度，即$e=[y-f(X){]}^2$。其中$e$表示单个训练样本$X$的误差。

在机器学习的模型训练中，通常使用多个训练样本。因此，对于任意给定的训练样本集$\{X_1,X_2,\dots ,X_n\}$（标签为$\{y_1,y_2,\dots ,y_n\}$），我们将待优化的目标函数设为训练样本所产生平方误差的总和看成是模型的总误差：
$$J(w)=\sum _{i=1}^n[y_i-f(X_i){]}^2$$
令训练样本集的特征矩阵为$A=(X_1,X_2,\dots ,X_n{)}^T=(x_{ij}{)}_{n\times m}$。相应的训练样本标签值为$y=(y_1,y_2,\dots ,y_n{)}^T$，可将上述损失函数转化为：
$$J(w)=(y-Aw{)}^T(y-Aw)$$
因此，线性回归模型的构造就转化为如下最优化问题：
$$\arg \underset{w}{\min }J(w)=\arg \underset{w}{\min }(y-Aw{)}^T(y-Aw)$$
根据多元函数求极值的方式，我们令$J(w)$对参数向量$w$各分量的偏导数为$0$，即：
$$\frac{\partial J}{\partial w}=A^T(y-Aw)=0$$
展开，移项，可得:
$$w=(A^{T}A{)}^{-1}{A}^{T}y$$
那么我们可以通过矩阵预算得出$w$的值，并将其带入，可以得到目标线性回归模型。

上述模型存在一个非常显然的问题：可求得参数$w$的充要条件是矩阵$A^{T}A$可逆。考虑何时会出现该种情况：当矩阵$A$的行向量之间存在线性相关关系，即不同样本之间的属性标记值存在一定的线性相关性时，矩阵$A$不可逆，进而$A^T$不可逆。由于不可逆阵相乘得到一定为不可逆阵，故矩阵$A^{T}A$不可逆。

对于上述情况的解决方案，我们需要转换方式对$w$进行计算。常见的方式有：1).岭回归 2).梯度下降法

1).岭回归

岭回归的基本思路是在现有的线性回归模型上增加一个针对$w$的惩罚函数，通过对目标函数做正则化处理，将参数向量$w$中所有参数的取值压缩到一个相对较小的范围，即要求$w$中所有参数的取值不能过大，由此可以得到以下用于岭回归的损失函数：
$$\arg \underset{w}{\min }J(w)=\arg \underset{w}{\min }(y-Aw{)}^T(y-Aw)+\lambda w^{T}w$$
其中，$\lambda \ge 0$称为正则化参数。

当$\lambda$取值过大时，惩罚项$\lambda w^{T}w$会对损失函数最小化产生干扰，此时优化算法会对回归模型的模型参数$w$赋较小的值消除干扰。

同样，令$J(w)$对参数$w$的偏导数为$0$，可得$w=(A^{T}A+\lambda I{)}^{-1}{A}^{T}y$($I$为$m$阶单位阵)。此时，可以通过调节$\lambda$保证$(A^{T}A+\lambda I{)}^{-1}$为可逆阵。

不难发现，岭回归实际上是使用了$w$的$L^2$范数作为惩罚函数。

2).梯度下降

这里可以使用批量梯度下降或随机梯度下降的方式求解。我们主要关注批量梯度下降。

梯度下降算法可以用于求解多元函数极值问题，具体来说，对于函数$f(W)$，设其在某点的梯度为$gradf(W)=▽f(W)$，为一矢量，则$f(W)$方向导数沿该方向取得最大值，即$f(W)$沿该方向变化最快(增大)。那么在该点沿梯度负方向减小最快。我们可以从该点沿梯度方向下降一小段(即为$\eta$，实际上我们称之为步长/学习率)，到达下一个点，再沿新店的梯度反方向继续下降，如此往复求得函数极值。

根据以上策略，我们可以给函数$f(W)$设定一个初值，然后每轮更新依次更新参数：
$$w_{i+1}=w_i-\eta \frac{\partial f(W)}{\partial w_i}$$
其中$\eta$表示步长，即学习率。

对于线性回归模型，在使用梯度下降算法进行模型求解时，一般选取平方代价函数作为损失函数：
$$J(w)=\frac{1}{2m}\sum _{i=1}^m(f(w_i)-y_i){)}^2$$
那么我们更新参数的策略：
$$foreachj(j\in [1,n]),w_{j+1}=w_j-\eta \frac{\partial J(W)}{\partial w_j},b_{j+1}=b_j-\eta \frac{\partial J(W)}{\partial b}$$
其中：
$$\frac{\partial J(W)}{\partial w_j}=\frac{\partial }{\partial w_j}\frac{1}{2m}\sum _{i=1}^m(f(x_i)-y_i){)}^2=\frac{1}{m}\sum _{i=1}^m(f(w_i)-y_i)x_i$$
类似的，对于偏置项$b$的更新，可以将$b$看作$w_0$，对应项$x_0=1$，则：
$$\frac{\partial J(W)}{\partial b}=\frac{\partial J(W)}{\partial w_0}=\frac{\partial }{\partial w_0}\frac{1}{2m}\sum _{i=1}^m(f(x_i)-y_i){)}^2=\frac{1}{m}\sum _{i=1}^m(f(w_i)-y_i)$$
那么我们可以得到每轮梯度下降更新参数的方法：
$$\begin{gathered} w_{j+1}=w_j-\eta \frac{1}{m}\sum _{i=1}^m(f(w_i)-y_i)x_i, \\ {b}_{j+1}=b_j-\eta \frac{1}{m}\sum _{i=1}^m(f(w_i)-y_i) \end{gathered}$$
值得注意的是，由于梯度下降求得的是局部最小值，因此需要随机初始化不同的参数进行训练，选取拟合效果最好的最为最终模型。

使用Python实现的批量梯度下降算法如下所示。

import numpy as np
import matplotlib.pyplot as plt

def loadData(strr):
    x, y = [], []
    with open(strr, 'r') as file:
        x = list(map(float, file.readline().strip().split(' ')))
        y = list(map(float, file.readline().strip().split(' ')))
    return x, y

class LinearRegression(object):
    def __init__(self, dimension):
        self.w = [0 for i in range(dimension)]
        self.b = 0
        self.dimension = dimension

    def step_regression(self, xSet, ySet, rate):
        x, y, N = np.array(xSet), np.array(ySet), len(xSet)
        samples = zip(x, y)
        mGradient = np.array([0.0 for i in range(self.dimension)])
        biasGradient = 0.0
        for [nx, ny] in samples:
            mGradient += (1 / N) * ((np.dot(self.w, nx.T) + self.b) - ny) * nx
            biasGradient += (1 / N) * ((np.dot(self.w, nx.T) + self.b) - ny)
        self.w = self.w - rate * mGradient
        self.b = self.b - rate * biasGradient
    
    def getParameters(self):
        return self.w, self.b

if __name__ == "__main__":
    x, y = loadData(r"./data.TXT")
    nlg = LinearRegression(1)

    for i in range(100000):
        nlg.step_regression(x, y, 0.0001)
    w, b = nlg.getParameters()
    print(w, b)
    plt.scatter(x, y, color = 'red')
    x = np.arange(50)
    y = w * x + b
    plt.plot(x, y, color = 'blue')
    plt.show()

其中data如下所示:

0.7175 1.1334 2.4458 3.5088 4.5305 5.8597 6.6777 7.8058 8.5312 9.9559 10.0667 11.5415 12.2817 13.4809 14.6849 15.2083 16.6082 17.3262 18.8808 19.1334 20.1024 21.9591 22.1529 23.1525 24.1556 25.0896 26.4544 27.6689 28.8313 29.7902 30.7127 31.4726 32.7086 33.9581 34.5058 35.3051 36.7898 37.2364 38.2343 39.4647 40.6194 41.6153 42.1226 43.1238 44.2845 45.7357 46.4113 47.8290 48.9351 49.3991 
166.8556 159.4011 168.1423 201.9823 265.0215 164.3088 184.0195 309.0621 241.7049 269.2471 345.3295 320.4802 346.2132 300.7559 309.9974 326.6441 355.9061 365.9207 401.6982 388.4757 397.3731 485.4321 388.4500 467.7333 528.6302 490.2403 449.5324 504.3822 494.4272 603.7605 537.4864 523.1190 584.7927 579.5038 573.9685 582.5431 626.8837 557.5200 603.1097 662.3925 641.9709 660.9893 705.6632 762.4351 687.1629 804.3925 769.3359 714.7646 783.8658 793.7925 

在学习率$\eta =0.0001$，迭代轮数$100000$次时，可以得到如下所示的结果：

可以自行设置训练数据和测试数据，测试模型效果。

批量梯度下降法是对所有的样本求梯度，当数据规模很大的时候，整个计算过程是很耗时的。有一种办法，每次只对一个样本求梯度，或者每次只对若干个样本求梯度，这种方法就叫做随机梯度下降法 。在大部分场景下，随机梯度下降的时间和效果要优于批量梯度下降。

3.线性分类

如果回归模型输出的值为连续值，显然时难以实现分类的效果的。而如果输出的值为离散值，则容易进行分类。因此，一个比较基本的思路是：将线性模型的输出值(连续值)进行离散化，就可以将对应的线性回归模型改造为线性分类模型。我们称之为线性分类问题，模型即线性分类器。

如何将连续值进行离散化？我们可以将线性模型输出值的取值范围划分为有限个不相交的区间，每个区间表示一个类别，从而实现离散化。我们常用阶跃函数作为激活函数对输出进行离散化。但阶跃函数并不是连续函数，因此我们需要设计一些连续可导函数作为激活函数对输出进行离散化:

3.1 激活函数

3.1.1 Sigmoid函数

Sigmoid 是常用的非线性的激活函数，表达式如下：
$$f(x)=\frac{1}{1+e^{-x}}$$

• 特性：它能够把输入的连续实值变换为$0$和$1$之间的输出，特别的，如果是非常大的负数，那么输出就是$0$；如果是非常大的正数，输出就是$1$.
• 缺点：在深度神经网络中梯度反向传递时导致梯度爆炸和梯度消失，其中梯度爆炸发生的概率非常小，而梯度消失发生的概率比较大。

3.1.2 tanh函数

tanh函数也是非线性函数，其函数解析式为：
$$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$
tanh读作Hyperbolic Tangent，它解决了Sigmoid函数的不是zero-centered输出问题，然而，梯度消失(gradient vanishing)的问题和幂运算的问题仍然存在。

3.1.3 Relu函数

Relu函数实际上就是个取最大值函数，其函数解析式如下所示：
$$f(x)=\max (0,x)$$

• Relu是目前最常用的激活函数，一般搭建人工神经网络时推荐优先尝试
• Relu并非全区间可导，但我们可以取sub-gradient
• 1. 解决了gradient vanishing问题 (在正区间)
  2. 计算速度非常快，只需要判断输入是否大于$0$
  3. 收敛速度远快于Sigmoid和tanh
• 1. ReLU的输出不是zero-centered
  2. Dead ReLU Problem，指的是某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。有两个主要原因可能导致这种情况产生: (1) 非常不幸的参数初始化，这种情况比较少见 (2) learning rate太高导致在训练过程中参数更新太大，不幸使网络进入这种状态。解决方法是可以采用Xavier初始化方法，以及避免将learning rate设置太大或使用adagrad等自动调节learning rate的算法。

3.1.4 Leaky ReLU函数(PReLU)

函数表达式：
$$f(x)=\max (\alpha x,x)$$
人们为了解决Dead ReLU Problem，提出了将ReLU的前半段设为$\alpha x$而非$0$，通常$\alpha =0.01$。另外一种直观的想法是基于参数的方法，即$ParametricReLU:f(x)=\max (\alpha x,x)$，其中$\alpha$
可由方向传播算法学出来。理论上来讲，Leaky ReLU有ReLU的所有优点，外加不会有Dead ReLU问题，但是在实际操作当中，并没有完全证明Leaky ReLU总是好于ReLU。

1.5 ELU(Exponential Linear Units) 函数

函数表达式：
$$f(x)=\{\begin{array}{cc}x,& ifx>0\\ \alpha (e^x-1),& otherwise\end{array}$$
ELU不会有Dead ReLU问题 输出的均值接近$0$，zero-centered。但计算量偏大，在目前的实际应用中并未被证明总是好于ReLU。

3.2 线性分类器

我们可以使用简单的神经网络-感知机模型实现线性分类器的功能，具体见：神经网络1.1 感知机模型(神经元模型)

在感知机中，我们常用$Sigmoid$函数作为激活函数：
$$g(x)=\frac{1}{1+e^{-x}}$$
对其求导数：
$$g^{\prime }(x)=g(x)[1-g(x)]$$
设线性回归模型$f(X)=w^{T}X$，带入$Sigmoid$函数：
$$g(f(X))=\frac{1}{1+e^{-w^{T}X}}$$
令$H(X)=\frac{1}{1+e^{-w^{T}X}}$，则$H(X)\in (0,1)$，可以将其看作关于$X$的概率分布：$H(X)$越接近$1$，则$X$属于正例的可能性越大，反之属于正例概率越小。也就是说，$H(X)$为样本$X$在正例条件下$f(x)=1$的后验概率：
$$P(f(X)=1|X)=H(X)$$
在实际过程中，对于数据集$D=X_i,y_i$，如果$X_i$为正例，我们希望$P(y_i=1|X_i,w)=H(X)$尽可能大；如果$X$为反例，我们希望$P(y_i=0|X_i;w)=1-P(y_i=1|X_i;w)=1-H(X)$越大越好。我们可以使用极大似然估计的方法对似然函数进行最优化计算，获得优化模型的参数向量$w$。

我们首先对联合概率分布:
$$P(y_i|X_i;w)=H(X_i{)}^{y_i}[1-H(X_i){]}^{(1-y_i)}$$
此时，我们希望联合概率分布的值越大越好，那么可得似然函数：
$$l=\prod _{i}P(y_i|X_i;w)=\prod _{i}H(X_i{)}^{y_i}[1-H(X_i){]}^{(1-y_i)}$$
对两边同时取对数，可得：
$$L=-\ln l=\sum _{i=1}^n[y_i\ln H(X_i)+(1-y_i)\ln (1-H(X_i))]$$
可将以上函数作为目标函数，求解最优化问题：
$$w=\arg \underset{w}{\max }\{\sum _{i=1}^n[y_i\ln H(X_i)+(1-y_i)\ln (1-H(X_i))]\}$$

3.3 线性判别分析

线性判别分析(Linear Discriminant Analysis, LDA)，又称Fisher判别分析(FLD)。该方法也是构造一种线性分类器，用于实现机器学习分类任务。

线性判别分析的基本思想是在特征空间中寻找一个合适的投影轴或投影直线，并将样本的特征向量投影到该投影直线，使得样本在该投影直线上更易于分类。具体的来说，对于给定的训练样本集，我们可以设法将训练样本投影到一种具有合适方向的直线$f(x)=w^{T}x$上，使得该直线上同类样例的投影点尽可能的接近，而异类的投影点尽可能远离。这样在进行分类的时候，可以将其投影到该直线上并根据投影点的位置来确定其类别。

由于不同的投影点之间会产生不同的投影效果，故投影直线方向的选取是线性判别模型的分析的关键。

假设存在[二分类]问题，给定数据集$D=\{X_i,y_i{\}}_{i=1}^n,y_i=\{0,1\}$，设其中$X_{ik}(k=1,2,\dots ,n_1)$为第一类样本点，$X_{it}(t=1,2,\dots ,n_2)$为第二类样本点。我们分别对这两类样本点在投影直线上的投影求中心值${\mu }_1,{\mu }_2$：
$$\begin{gathered} {\bar{\mu }}_1=\frac{1}{n_1}\sum _{i=1}^{n_1}{w}^T{X}_{ik}=w^T{\bar{X}}_1 \\ {\bar{\mu }}_2=\frac{1}{n_2}\sum _{i=1}^{n_2}{w}^T{X}_{it}=w^T{\bar{X}}_2 \end{gathered}$$
令$L(w)=|{\mu }_1-{\mu }_2|=|w^T({\bar{X}}_1-{\bar{X}}_2)|$，我们的第一个目标为：使两类样本中心点的位置尽可能的远离。

对于同类样本，我们使用该类样本的散列值表示他们在投影直线$f(X)=w^{T}X$上的离散程度。所谓某类样本的散列值，就是用该类所有样本在该投影直线上投影值与该类所有样本在该直线上平均投影值之间的平方误差之和。

令$\stackrel{-2}{s_1}$和$\stackrel{-2}{s_1}$分别表示两类样本投影到直线$f(X)=w^{T}X$后的散列值，则：
$$\begin{gathered} \stackrel{-2}{s_1}=\sum _{k=1}^{n_1}(w^T{X}_{ik}-\overline{{\mu }_1}{)}^2 \\ \stackrel{-2}{s_2}=\sum _{k=1}^{n_2}(w^T{X}_{it}-\overline{{\mu }_2}{)}^2 \end{gathered}$$
散列值可以用于形容样本在投影直线上投影点分布的密集程度，其值越大，则分布越稀松，反之则密集。对于线性判别问题，我们的目标是类内距离最小化，令$S(w)=\stackrel{-2}{s_1}+\stackrel{-2}{s_1}$，则我们希望$S(w)$的值尽可能地小。

综上所述，我们将类内距离最小化，类间距离最大化描述为：我们希望$L(w)$的值尽可能大，而$S(w)$值尽可能小。因此可以构造目标函数：
$$J(w)=\frac{L(w{)}^2}{S(w)}=\frac{|{\mu }_1-{\mu }_2{|}^2}{\stackrel{-2}{s_1}+\stackrel{-2}{s_1}}$$
学习目标为寻找$J(w)$值最大的参数向量$w$，并将其作为投影直线$f(X)=w^{T}X$的参数。

首先，考察$J(w)$的分子：$({\bar{\mu }}_1-{\bar{\mu }}_2{)}^2=[w^T({\bar{X}}_1-{\bar{X}}_2){]}^2=(w^T{X}_1-w^T{X}_2{)}^2=w^T({\bar{X}}_1-{\bar{X}}_2)({\bar{X}}_1-{\bar{X}}_2{)}^{T}w$

其中$S_b=({\bar{X}}_1-{\bar{X}}_2)({\bar{X}}_1-{\bar{X}}_2{)}^T$称为类间散度矩阵。

再考察$J(w)$的分母：
$$\stackrel{-2}{s_1}=\sum _{k=1}^{n_1}(w^T{X}_{ik}-\overline{{\mu }_1}{)}^2=\sum _{k=1}^{n_1}(w^T{X}_{ik}-w^T{\bar{X}}_1{)}^2=\sum _{k=1}^{n_1}{w}^T(x_{ik}-{\bar{X}}_1)(x_{ik}-{\bar{X}}_1{)}^{T}w=w^T{S}_{1}w$$
（令$S_1=(x_{ik}-{\bar{X}}_1)(x_{ik}-{\bar{X}}_1{)}^T$）

同理，可得$\stackrel{-2}{s_1}=w^T{S}_{2}w$。我们将$S_w=S_1+S_2$称为类内散度矩阵。则原目标函数转变为：
$$J(w)=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$
在对目标函数求最大值前，需要对分母进行归一化处理，即使$|w^T{S}_{w}w|=1$，则求$J(w)$最大值等价于求解以下条件极值：
$$\min w^T{S}_{b}w;s.t.w^T{S}_{w}w=1$$
引入拉格朗日乘数项，$C(w)=w^T{S}_{b}w-\lambda (w^T{S}_{w}w-1)$, 并令$C(w)$对$w$的导数为零，可得
$$\frac{dC}{dw}=2S_{b}w-2\lambda S_{w}w=0$$
故：$S_{b}w=\lambda S_{w}w$。如果$S_w$可逆，则有$S_w^{-1}{S}_{b}w=\lambda w$。

不难看出，$w$是矩阵$S_w^{-1}{S}_b$的特征向量，代入$S_b=({\bar{X}}_1-{\bar{X}}_2)({\bar{X}}_1-{\bar{X}}_2{)}^T$，令常数${\lambda }_w=({\bar{X}}_1-{\bar{X}}_2{)}^{T}w$，则：
$$S_{b}w=({\bar{X}}_1-{\bar{X}}_2){\lambda }_w$$
因此：
$$S_w^{-1}{S}_{b}w=S_w^{-1}({\bar{X}}_1-{\bar{X}}_2){\lambda }_w=\lambda w$$
由于对$w$伸缩任何倍数被都不会改变投影方向，因此略去常数$\lambda ,{\lambda }_w$，可得：
$$w=S_w^{-1}({\bar{X}}_1-{\bar{X}}_2)$$
至此，我们只需要求得训练样本的均值和列内散度矩阵，即可获得最佳投影直线。

不难发现，LDA实际上是将高维数据进行降维操作的一种方式，即通过将高维数据映射到低维超平面上，从而实现降维效果。因此线性判别分析还可以应用于数据降维实现的数据特征提取等方面。