机器学习笔记（第三章 线性模型）

西瓜书笔记（第3章 线性模型）

3.1 基本形式

线性模型(linear model) 试图学得一个通过属性的线性组合来进行 预测的函数，即
$$f(x)={\omega }_1{x}_1+{\omega }_2{x}_2+...+{\omega }_d{x}_d+b$$
一般用向量形式写成
$$f(x)={\omega }^{T}x+b$$
线性模型形式简单、易于建模，但却蕴涵着机器学习中一些重要的基本思 想.许多功能更为强大的非线性模型(nonlinear model) 可在线性模型的基础上 通过引入层级结构或高维映射而得.此外，由于 直观表达了各属性在预测中 的重要性，因此线性模型有很好的可解释’性 (comprehensibility) .

3.2 线性回归

“线性回归”（linear regression）试图学得一个线性模型以尽可能准确地预测实值输出标记.[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

均方误差是回归任务重最常用的性能度量，因此可使均方误差最小化，即：

均方误差有非常好的几何意义，它对应了常用的欧几里得距离或简称“欧氏距离”（Euclidean distance）.基于均方误差最小化来进行模型求解的方法称为“最小二乘法”（least square method）.在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。

3.3 对数几率回归

要做分类任务，需要找到一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。选择单位阶跃函数较简单，但它不连续，不满足广义线性模型。于是我们希望找到能在一定程度上近似单位阶跃函数的"替代函数" (surrogate function) ，并希望它单调可微。对数几率函数(logistic function，逻辑斯蒂函数) 正是这样一个常用的替代函数。
$$y=\frac{1}{1+e^{(}-z)}$$
对数几率函数是一种"Sigmoid函数"，它将z值转化为一个接近0或1的y值，并且其输出值在z=0附近变化很陡。（代入z=w^T x + b）,且任意阶可导。

3.4 线性判别分析

线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的线性学习方法，在二分类问题上因为最早由Fisher提出，亦称Fisher判别分析。

LDA的思想非常朴素：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。下图给出了一个二维示意图.

3.5 多分类学习

现实中常遇到多分类学习任务，有些二分类学习方法可直接推广到多分类，但在更多情形下，我们是基于一些基本策略，利用二分类学习器来解决多分类问题。不失一般性，考虑N个类别，多分类学习的基本思路是“拆解法”，即将多分类任务拆为若干个二分类任务求解，具体来说，先对问题进行拆分，然后为拆出的每个二分类任务训练一个分类器；在测试时，对这些分类器的预测结果进行集成以获得最终的多分类结果，这里的关键是如何对多分类任务进行拆分，以及如何对多个分类器进行集成，本节主要介绍拆分策略。最经典的拆分策略有三种：“一对一”（One vs.One，简称OvO）、“一对其余”（One vs.Rest，简称OvR）和“多对多”（Many vs.Many，简称MvM）。

3.6 类别不平衡问题

前面介绍的分类学习方法都有一个共同的基本假设，即不同类别的训练样例数目相当.如果不同类别的训练样例数目稍有差别，通常影响不大，但若差别很大，则会对学习过程造成困扰，例如有998个反例，但正例只有2个，那么学习方法只需返回一个永远将新样本预测为反例的学习器，就能达到99.8%的精度；然而这样的学习器往往没有价值，因为它不能预测出任何正例。类别不平衡（class-imbalance）就是指分类任务中不同类别的训练样例数目差别很大的情况，不失一般性，本节假定正类样例较少，反类样例较多。在现实的分类学习任务中，我们经常会遇到类别不平衡，例如在通过拆分法解决多分类问题时，即使原始问题中不同类别的训练样例数目相当，在使用OvR，MvM策略后产生的二分类任务仍可能出现类别不平衡现象，因此有必要了解类别不平衡性处理的基本方法。