浅读西瓜书（第三章）

浅读西瓜书（第三章）

3、线性模型

​ 线性模型主要就是两个作用，一是做回归预测，二是做分类任务。按照西瓜书的定义来说，即试图学得一个线性模型以尽可能准确地预测实值输出标记。

3.1基本形式

线性模型一般形式为：
$$f(x)=w1x1+w2x2+...+wdxd+b$$
​ 向量形式写成
$$f(x)=w^{T}x+b$$
​ 通过输入数据 x ,得到f(x)，从而进行预测。这里的关键就是如何确定 $w$ 和 $b$ 才能使得我们的预测值更加准确。

3.2线性回归

​ 什么是回归分析呢？这是一个来自统计学的概念。回归分析是指一种预测性的建模技术，主要是研究自变量和因变量的关系。通常使用直线/曲线来拟合数据点，然后研究如何使曲线到数据点的距离差异最小。

​ 线性回归是回归分析的一种。简单地说，线性回归就是用来做预测分析。

​ 同时，线性回归可以分为一元线性回归和多元线性回归，当自变量 $(x)$ 只有一个时，我们称之为一元线性回归，当自变量具有多个$(x_1,x_2,x_3...x_T)$我们称之为多元回归。无论是一元还是多元，最终目的都只有一个，那就是使得我们的预测值$f(x)$更加的接近真实值 $y$ 。

3.3对数几率回归

​ 对数几率回归虽然带有回归二字，但实际上，它的作用就是线性模型的另一个功能——分类。

分类任务可以分为两种：二分类和多分类

​ 以二分类为例，我们通常把输出标记为 $y\in \{0,1\}$，二线性回归模型产生的预测值 $z=w^{T}x+b$ 是实值，并且用“单位阶跃函数”把$f(x)$转化为 $0/1$ ，
$$y=\{\begin{array}{l}0,z<0;\\ \\ 0.5,z=0;\\ \\ 1,z>0;\end{array}$$
若预测值 $z$ 大于零就判为正例，小于零则判为反例，预测值为临界值零则可任意判别。

3.4线性判别分析

​ （暂时略）

3.5多分类学习

​ 面对多分类问题，我们一般的策略是把它拆分成多个若干个二分类问题，在对每一个二分类问题训练出一个分类器。最后再对这些分类器的学习结果进行集成最终形成多分类结果。这里最关键的是，如何对任务进行合理的拆分，以及如何对多个分类器进行集成。

​ 在拆分多分类任务时，我们会经常用到一种 $MvM$ 技术，被称为“纠错输出码”(Error Correcting Output Codes, 简称 ECOC )。

​ ECOC 是将编码的思想引入类的拆分，并尽可能在解码过程中具备容错性。ECOC过程主要分为两步：

• 编码：

  对 N 个类别做 M 次划分，每次划分将一部分类别化为正类，一部分化为反类，从而形成二分类的训练集。这样一共可以得到 M 个训练集，可以训练出 M 个分类器。

• 解码：

  M 个分类器分别对测试样本进行预测，这些测试标记组成一个编码，将这个预测码与每个类别各自的编码进行比较，返回其中距离最小的类别作为最终预测结果。

3.6类别不平衡问题

（未完待续）