周志华《机器学习》——线性模型

线性模型定义

假设一个样例由x={x1,x2,x3,...xd}表示的，其中每一个xi都是一个属性（如西瓜a={根蜷缩，瓜皮黄}）

线性模型是学习出一个线性规则来回归或分类，这个线性规则可以用属性的线性组合表示：

1、线性回归

线性回归模型可以用表示

如果输出标记的对数作为线性模型逼近的目标，即，则虽然仍是求解线性函数，但是实际上已经实现了从输入空间到输出空间的非线性函数映射，即

一般得，一个单调可微的函数g(·)，令，则这个模型是广义线性模型

2、分类模型

2.1 对数几率回归

对一个二分类问题，模型首先根据线性模型输出样例是正例的概率，然后根据一个阈值，大于该阈值的判断为正例，否则为负例。

阈值判断函数可以用单位阶跃函数，则模型实际为，即用线性函数的输出去逼近真实标记y的对数几率（）

2.2 线性判别分析(LDA)

LDA的思想是给定训练集，设法将样例投影到一条直线上，使同类样例的投影点尽可能接近，不同样例的投影点尽可能远离

2.3 多分类学习

多分类学习是通过训练多个二分类器实现的，每个二分类器可以是：

一对一（OvO）：一共m个类别，需要训练m*(m-1)/2个分类器，如3分类问题，需要3个分类器，分别判断1or2，1or3，2or3。最后每个样例的最终分类是3个分类器投票的结果

一对其余（OvR）：一共m个类别，需要训练m个分类器，如3分类问题，需要3个分类器，分别判断是不是1，是不是2，是不是3，若只有分类器1认定为正类，则样例分类为1类，若1,2都认定为正类，预测置信度大的分类器的分类为最终分类。

一对多（MvM）: 不常用感觉，不细看了。