机器学习笔记-西瓜书第三章线性模型

线性模型

线性回归

1.基本形式
f(x) = w^Tx+b

其中w和b可以通过学习得到。线性模型有很好的可解释性

2.线性回归(linear regression):从一堆数据集中学习出一个线性模型尽可能准确地预测输出。

3.均方误差是回归任务中常用的性能度量。其几何意义对应了蝉蛹的欧式距离(Euclidean distance)，基于均方误差最小化进行模型求解的方法称为最小二乘法 。即试图找到一条直线，使得样本到直线上的欧氏距离之和最小。求解过程称为线性回归模型的最小二乘参数估计。

4.对数线性回归：令模型预测值逼近y的对数。
$$lny=w^{T}x+b$$
让$$e^{(w^{T}x+b)}$$逼近y。对数函数起到了将线性回归型的预测值与真实标记联系起来的作用。

5.广义线性模型，单调可微函数g(.) 令
$$y=g^{-1}(w^{T}x+b)$$
g(.)可称为联系函数。

对数几率回归

1.对数几率函数（logistic function）是一种 “Sigmoid 函数”

$$y=\frac{1}{1+e^{-(w^{T}x+b)}}$$

对数几率$$\ln \frac{y}{1-y}=(w^{T}x+b)$$

但实际上是一种分类问题。

线性判别分析

Linear Discriminant Analysis ，简称 LDA

思想：给定训练样例集,设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离;在对新样本进行分类时,将其投影到同样的这条直线上,再根据投影点的位置来确定新样本的类别.

多分类学习

多分类学习的基本思路是“拆解法”，即将多分类任务拆为若干个二分类任务求解。具体来说，先对问题进行拆分，然后为拆出的每个二分类任务训练一个分类器；在测试时，对这些分类器的预测结果进行集成以获得最终的多分类结果。这里的关键是如何对多分类任务进行拆分，以及如何对多个分类器进行集成。

最经典的拆分策略有三种：一对一（One vs. One, 简称OvO），一对其余（One vs. Rest, 简称OvR），多对多（Many vs. Many, 简称MvM）。

类别不平衡问题

1. 对数据多的类别欠采样
2. 对数据少的类别过采样。
3. 使用新评价指标。准确度这个评价指标在类别不均衡的分类任务中并不适用，甚至进行误导。因此在类别不均衡分类任务中，需要使用更有说服力的评价指标来对分类器进行评价。

参考：周志华 机器学习，datawhale吃瓜教程