西瓜书第三章

第三章 线性模型

3.1

• 线性回归：在同一个横坐标上，预测直线在此点的值与真实值直接的差距。
• 正交回归：真实值点对预测直线做垂线，该垂线的距离。

3.2

1. 若属性值之间不存在序关系，假定有K个属性值，则通常转化为K维向量，例如属性“瓜类”的取值，“西瓜”，“南瓜”，“黄瓜”可转化为（0,0,1），（0,1,0），（1,0,0）

2. 基于均方误差最小化来进行模型求解的方法成为“最小二乘法”。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。

3. 凸集：集合内任意两点的连线仍属于该集合。

4. 凸函数

   $$f(\alpha x_1+(1-\alpha )x_2)\le \alpha f(x_1)+(1-\alpha )f(x_2)$$

5. 海瑟矩阵就是求多元函数的二阶导数

6. 满秩矩阵：画梯子

   正定矩阵：各顺序主子式都为正

3.3

• 对数几率回归，虽然名字是回归，但实际却是一种分类学习方法。 它不仅预测出“类别”，而是可得到近似概率预测。对率回归求解的目标函数是任意阶可导的凸函数。
• 对数几率函数(Sigmoid函数)在一定程度上近似单位阶跃函数的替代函数，并且单调连续可微，形式：

$$y=\frac{1}{1+e^{-z}}$$

3.5

1. 多分类学习的基本思路是“拆解法”。关键是如何对多分类任务进行拆分，以及如何对多个分类器进行集成。

2. 经典拆解策略：OvO(One vs. One),OvR(One vs. Rest),MvM(Many vs. Many)

   

3. OvR只需训练N个分类器，而OvO需训练N（N-1）/2个分类器。

   OvO存储开销和测试时间开销都比OvR更大。

   在类别很多时，OvO的训练时间开销通常比OvR更小。

   预测性能多数情况差不多。

4. MvM是每次将若干类别作为正类，若干个其他类作为反类。最常用MvM技术：纠错输出码（Error Correcting Output Codes,ECOC）。工作过程主要两步：

   编码：:对N个类别做M次划分，每次划分将一部分类别划为正类，一部分划为反类，从而形成二分类训练集;这样一共产生M个训练集，可训练出M个分类器。

   解码：M个分类器分别对测试样本进行预测，这些预测标记组成一个编码.将这个预测编码与每个类别各自的编码进行比较，返回其中距离最小的类别作为最终预测结果.

5. 

3.6

1. $$若\frac{y}{1-y}>1则预测为正例$$

2. 若正反例样本差距较大。m+表示正例数目，m-表示反例数目。

   $$若\frac{y}{1-y}>\frac{m^{+}}{m^{-}}则预测为正例$$

3. $$\frac{y^{\prime }}{1-y^{\prime }}=\frac{y}{1-y}\ast \frac{m^{+}}{m^{-}}$$

4. 上位类别不平衡学习的基本策略——“再缩放”。

   有三种做法：欠采样、过采样、将3嵌入到其他决策过程中（阈值移动）。

5. 再缩放也是代价敏感学习的基础。

平衡学习的基本策略——“再缩放”。

有三种做法：欠采样、过采样、将3嵌入到其他决策过程中（阈值移动）。

5. 再缩放也是代价敏感学习的基础。