Task02 详读西瓜书+南瓜书第3章

Task02 详读西瓜书+南瓜书第3章

1 基本形式

• 概念：给定由$d$个属性描述的实例$x=(x_1;x_2;\dots ;x_d)$，其中$x_i$是$x$在第$i$个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测的函数，即$f(x)=w_1{x}_1+w_2{x}_2+\cdot +w_d{x}_d+b$
• 一般用向量形式：$f(x)=w^{T}x+b$，其中$w=(w_1;w_2;\cdot ;w_d)$

2 线性回归

• 属性值转换：对离散属性，若属性值之间存在“序关系”，则可以将其转化为连续值；若属性值之间不存在“序关系”，则通常将其转化为向量的形式
• 确定$w$和$b$
  • 目标：最小化$f(x)$与$y$均方误差
  • 输入属性只有一个（最小二乘法）：首先计算出每个样本预测值与真实值之间的误差并求和，通过最小化均方误差MSE，使用求偏导等于零的方法计算出拟合直线$y=wx+b$的两个参数$w$和$b$。
  • 输入属性有多个（多元线性回归）：可类似于最小二乘法，将数据集$D$表示为一个$m\times (d+1)$大小的矩阵，再表示为向量形式，最后通过计算$\hat{w}$偏导，得到最优解。
• 简写形式：$y=w^{T}x+b$
• 广义线性模型：$y=g^{-1}(w^T{x}_b)$，其中$g(\cdot )$时单调可微函数

3 对数几率回归

• 单位阶跃函数：若预测值$z$大于零判为正例，小于零判为反例，预测值为临界值零则可任意判别。
• 对数几率函数：$y=\frac{1}{1+e^{-z}}$
• 概念：若将$y$看做样本为正例的概率，$(1-y)$看做样本为反例的概率，则使用线性回归模型的预测结果器逼近真实标记的对数几率
• 思路：使用最大似然估计的方法来计算出$w$和$b$两个参数的取值
  $\displaystyle \ln \frac{p(y=1 | x)}{p(y=0 | x)}=w^T x + b $
  $\because p(y=1|x)=1-p(y=0|x)$
  正例：$p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}$
  负例：$p(y=0|x)=\frac{1}{1+e^{w^{T}x+b}}$
  似然函数：$\ell (w,b)=\sum _{i=1}^m\ln p(y_i|x_i;w,b)$，对数变乘为加，即所有样本出现真实值的概率乘积最大。

4 线性判别分析

• 线性判别分析（LDA）基本思想：将训练样本投影到一条直线上，使得同类的样例尽可能近，不同类的样例尽可能远。对新样本进行分类时，投影到同一条直线上，根据投影点的位置确定新样本的类别。

• 具体步骤：

  1. 给定数据集$D=\{(x_i,y_i){\}}_{i=1}^m,y_i\in \{0,1\}$，令$X_i,{\mu }_i,{\Sigma }_i$分别表示第$i\in \{0,1\}$类示例的集合、均值向量、协方差矩阵。
  2. 若将数据投影到直线$w$上，则两类样本的中心在直线上的投影分别为$w^T{\mu }_0$和$w^T{\mu }_1$；若将所有样本点都投影到直线上，则两类样本的协方差分别为$w^T{\Sigma }_{0}w$和$w^T{\Sigma }_{1}w$。
  3. 使得各类的协方差之和尽可能小，不同类之间中心的距离尽可能大。
  4. 计算类内散度矩阵：

  $$\begin{array}{rl}{S}_w& ={\Sigma }_0+{\Sigma }_1\\ & =\sum _{x\in X_0}(x-{\mu }_0)(x-{\mu }_0{)}^T+\sum _{x\in X_1}(x-{\mu }_1)(x-{\mu }_1{)}^T\end{array}$$

  5. 计算类间散度矩阵：
     $$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$$
  6. 计算LDA最大化的目标函数：$$J=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$
  7. $W$的闭式解是$S_w^{-1}{S}_b$的$N-1$个最大广义特征值所对应的特征向量组成的矩阵

• LDA常被视为一种经典的监督降维技术。

5 多分类学习

• “拆分”策略：将多分类问题拆解为多个二分类问题，训练出多个二分类学习器，最后将多个分类结果进行集成得出结论。
• “一对一”（OvO）：给定数据集$D$，假定其中有$N$个真实类别，将这$N$个类别进行两两配对（一个正类/一个反类），从而产生$N(N-1)/2$个二分类学习器，在测试阶段，将新样本提交给所有学习器，得出$N(N-1)$个结果，最终通过投票产生最终的分类结果。
• “一对其余”（OvR）：给定数据集$D$，假定其中有$N$个真实类别，每次取出一个类作为正类，剩余的所有类别作为一个新的反类，从而产生$N$个二分类学习器，在测试阶段，得出$N$个结果，若仅有一个学习器预测为正类，则对应的类标作为最终分类结果。
• “多对多”（MvM）：给定数据集$D$，假定其中有$N$个真实类别，每次取若干个类作为正类，若干个类作为反类（通过ECOC码给出，编码），若进行了$M$次划分，则生成了$M$个二分类学习器，在测试阶段（解码），得出$M$个结果组成一个新的编码，最终通过将预测编码与每个类别各自的编码进行比较，选择距离最小的类别作为最终分类结果。

6 类别不平衡问题

• 概念：指分类问题中不同类别的训练样本相差悬殊的情况
• 常用方法：
  1. 对训练样本较多的类别中进行“欠采样”（undersampling），使得正反例数目接近，常见的算法有：EasyEnsemble。
  2. 对训练样本较少的类别中进行“过采样”（oversampling），增加较少类的数量，使得正反例数目接近，常见的算法有SMOTE。
  3. 直接基于原数据集进行学习，对预测值进行“再缩放”处理。其中“再缩放”也是“代价敏感学习”的基础。
     $$\frac{y^{\prime }}{1-y^{\prime }}=\frac{y}{1-y}\times \frac{m^{-}}{m^{+}}=\frac{y}{1-y}\times \frac{\text{cost}(+>-)}{\text{cost}(->+)}$$