第三章 线性模型

3.1 基本形式

对于由个属性描述的示例=我们试图通过学习获得一个通过属性的线性组合来进行预测的函数，即：

                                                                                                        （3.2）

其中.和确定以后，模型得以确定。

线性模型的优势：

①形式简单 

②易于建模 

③蕴含着机器学习中的一些重要的基本思想 

④非线性模型可在线性模型的基础上通过引入层级结构或高维映射而得 

⑤具有很好的可解释性

---

3.2 线性回归

3.2.1.1输入属性的数目只有一个：

    对离散属性：

        ①若属性值之间存在“序”关系，转化为某个标量，如：

            属性身高的值分别为高、矮，则可转化为{1.0，0.0}，若为高、中、低，则转化为{1.0，0.5，0.0}

        ②若属性值之间不存在“序关系，则通常转化为维向量，如：

            西瓜，南瓜，黄瓜=(0,0,1), (0,1,0), (1,0,0)

    此时如何确定和——使均方误差最小：即使用最小二乘法

    几何意义——欧氏距离，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。

    这个过程叫做最小二乘“参数估计”

---

3.2.1.2样本由d个属性描述：

同样使用最小二乘法，只不过将和吸收入向量形式,相应地把数据集D表示为一个m×（d+1）大小的矩阵X，其中每行对应于一个示例，该行前d 个元素对应于示例的d 个属性值，最后一个元素恒置为1

特例：当为满秩矩阵(full-rank matrix)或正走矩阵(positive definite matrix)时，可求得最 终的多元线性回归模型为：

但是现实中往往不是满秩矩阵.例如在许多任务中我们会遇到大量的变量，其数目甚至超过样例数，此时可以解出多个——引入正则化项

---

3.2.2线性模型的变形

对数线性回归：

实际上是在试图让e^(^Tx+b)逼近y，这在形式上仍是线性回归，但实质上已是在求取输入空间到输出空间的非线性函数映射，这里的对数函数起到了将线性回归模型的预测值与真实标记联系起来的作用。

广义线性模型：

(3.15)

其中称为“联系函数”，显然，对数线性回归是广义线性模型在时的特例。

---

3.3 对数几率回归

对数几率函数：

对数几率函数是一种"Sigmoid 函数"，它将z 值转化为一个接近0 或1 的y 值并且其输出值在z =0 附近变化很陡

作为代入（3.15）可得：

（3.18）

变换得

若将u 视为样本z 作为正例的可能性，则1-y 是其反例可能性，两者的比值

称为"几率" (odds) ，反映了m 作为正例的相对可能性.对几率取对数则得到"对数几率" (log odds ，亦称logit)

由此可看出，式(3.18)实际上是在用线性回归模型的预测结果去逼近真实标记的对数几率，因此，其对应的模型称为"对数几率回归" (logisticregression，亦称logit regression) .特别需注意到，虽然它的名字是"回归"，但实际却是一种分类学习方法.这种方法有很多优点，例如它是直接对分类可能性进行建模，无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题;它不是仅预测出"类别"，而是可得到近似概率预测，这对许多需利用概率辅助决策的任务很有用;此外，对率函数是任意阶可导的凸函数，有很好的数学性质，现有的许多数值优化算法都可直接用于求取最优解.

如何确定（3.18）式中的和：极大似然法，“对数似然”

3.4 线性判别分析

    线性判别分析（LDA）设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离;在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别.

欲使同类样例的投影点尽可能接近，可以让同类样例投影点的协方差尽可能小，而欲使异类样例的投影点尽可能远离，可以让类中心之间的距离尽可能大，同时考虑二者，则可得到欲最大化的目标

如果定义了“类内散度矩阵”以及“类间散度矩阵”则可重写为：

如何确定：

3.4.2 将LDA推广到多分类任务

假定存在个类，且第i类示例数为,定义“全局散度矩阵”

其中是所有示例的均值向量，将类内散度矩阵重定义为每个类别的散度矩阵之和，即

其中

经推理可得

实际运用中三者中任何两个即可，另有一种常见的实现是采用优化目标

若将W 视为一个投影矩阵，则多分类LDA 将样本投影到N-1 维空间，N-1 通常远小子数据原有的属性数.于是，可通过这个投影来减小样本点的维数，且投影过程中使用了类别信息?因此LDA也常被视为一种经典的监督降维技术。

3.5 多分类学习

多分类学习的基本思路是“拆解法”，即将多分类任务拆解为若干个二分类任务求解。

经典的拆分策略：“一对一”（“OvO”）、“一对其余”（“OvR”）、“多对多”（“MvM”）

一对一（“OvO”）：对给定N个类别的数据两两配对，从而产生个二分类任务，

一对其余（“OvR”）：每次将一个类的样例作为正例、所有其他类的样例作为反例来训练N 个分类器.

OvR 只需训练N 个分类器， 而OvO 需训练N(N - 1)/2 个分类器， 因此， OvO的存储开销和测试时间开销通常比OvR 更大. 但在训练时，OvR 的每个分类器均使用全部训练样例，而OvO 的每个分类器仅用到两个类的样例，因此，在类别很多时，OvO 的训练时间开销通常比OvR 更小. 至于预测性能， 则取决于具体的数据分布， 在多数情形下两者差不多.

多对多（“MvM"）：MvM 是每次将若干个类作为正类，若干个其他类作为反类.显然， OvO 和OvR 是MvM 的特例. MvM 的正、反类构造必须有特殊的设计，不能随意选取。

3.6类别不平衡问题

类别不平衡(class-imbalance)就是指分类任务中不同类别的训练样例数目差别很大的情况

类别不平衡学习的一个基本策略一"再缩放" (rescaling)。（亦称“再平衡”）