周志华-机器学习-第三章（线性模型）-笔记+习题答案

笔记

1.基本形式

2.线性回归

“线性回归” (linear regression) 试图学得一个线性模型以尽可能准确地预测实值输出标记.
从单属性推导出多属性情况，得出多元线性回归模型为

衍生开来，得到对数线性回归

3.对数几率回归

式(3.18) 实际上是在用线性回归模型的预测结果去逼近真实标记的对数几率，因此，其对应的模型称为 “对数几率回归” (logistic regression ，亦称 logit regr sio丑)。
虽然它的名字是"回归"，但实际却是一种分类学习方法。
通过极大似然法，如梯度下降法(gradient descent method) 、牛顿法(Newton method) 等都可求得其最优解

4.线性判别分析

线性判别分析(Linear Discriminant Analys ，简称 LDA）是一种经典的线性学习方法。
LDA 的思想非常朴素： 给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、 异类样例的投影点尽可能远离;在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定样本的类别。
可通过这个投影来减小样本点的维数，且投影过程中使用了类别信息，因此LDA也常被视为一种经典的监督降维技术。

5.多分类学习

将多分类任务拆为若干个二分类任务求解.具体来说，先对问题进行拆分，然后为拆出的每个二分类任务训练一个分类器;在测试时，对这些分类器的预测结果进行集成以获得最终的多分类结果。
最经典的拆分策略有三种. “一对一” (One vs. One ，简称 OvO) “一对其余” (One vs. Rest ，简称 OvR) 和"多对多" (Many vs. Ma町，简称 MvM)。

6.类别不平衡问题

类别不平衡(cla imbalance) 就是指分类任务中不同类别的训练样例数目差别很大的情况。
线性分类器决策规则为

当训练集中正、反例的数目不同时，只要分类器的预测几率高于观测几率就应判定为正例

“训练集是真实样本总体的无偏采样"这个假设往往并不成立，解决方法一般为：
1.欠采样，
2.过采样，
3.直接基于原始训练集进行学习，但在用训练好的分类器进行预测时，将式(3.48) 嵌入到其决策过程中，称为"阔值移动" (threshold-moving).

习题

1.试析在什么情形下式(3.2) 中不必考虑偏置项b.
偏置项b在数值上代表了自变量取0时，因变量的取值；
1.当讨论变量x对结果y的影响，不用考虑b；
2.可以用变量归一化（max-min或z-score）来消除偏置。

2.试证明，对于参数ω，对率回归的目标函数(3.18)是非凸的，但其对数似然函数(3.27)是凸的.


3.编程实现对率回归，并给出西瓜数据集3.0α 上的结果.