02 第3章

一、基本形式

“线性模型”（linear model） 试图学得一个通过属性得线性组合来进行预测的函数

image.png

向量形式

image.png

其中 w = ( w 1 ; w 2 ; . . . ; w b ) ，w和b学得后模型就确定了。

• 许多功能更强大的 “非线性模型（nonlinear model）” 可在线性模型的基础上通过引入层次结构或高维映射而得

• 可解释性（comprehensibility）

二，线性回归

当样本由单个属性描述时：

线性回归试图学得f(xi)= wxi+b使得f(xi)→yi 。")线性回归试图学得f(xi)= wxi+b使得f(xi)→yi 。

如何求w和b？

最小二乘法——基于均方误差最小化")最小二乘法——基于均方误差最小化

试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。

当样本由多个属性描述时：

线性回归试图学得f(xi)= w^Txi+b使得f(xi)→yi ,称多元线性回归。

但现实中往往遇到大量变量，X T X不是满秩矩阵，此时可以求出多个解，选择哪一个解由算法的偏好决定，常用的做法是引入 正则化（regularization） 项

三、对数几率回归

若进行分类任务时怎么办？→找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来.

二分类任务时，我们的输出标记为{0,1}，而线性回归模型产生的预测值是实值，需 将实值z转换为 0 / 1 值，此时考虑“单位阶跃函数”。
y视为样本x作为正例的可能性，则1-y作为反例可能性，两者比值y/( 1 − y)称为 “几率”（odds），反映了x作为正例的相对可能性。对几率取对数则得到 “对数几率”（log odds，亦称logit） l n (y/(1 − y))

• 实际上是在用线性回归模型的预测结果去逼近真实标记的对数几率

四、线性判别分析LDA

• 线性判别分析（Linear Discriminant Analysis，简称LDA），亦称 “Fisher判别分析”

• LDA思想非常朴素：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离；对新样本进行分类时，将其投影到同样这条直线上，再根据投影点的位置确定新样本的类别。

  
  
  image.png

五 多分类

利用二分类学习器来解决多分类问题.
将多分类任务拆为若干个二分类任务求解.")·将多分类任务拆为若干个二分类任务求解.
拆分策略：
“一对一”(One vs. One,简称OvO)、
“一对其余“(One vs. Rest,简称 OvR)和
”多对多” (Many vs. Many,简称 MvM).")·

image.png

六、类别不平衡问题

• 类别不平衡（class-imbalance）就是指分类任务中不同类别的训练样例数目差别很大的情况
  “欠采样”（undersampling），去除一些多余样例，使正、反例数目接近，然后再进行学习；
  “过采样”（oversampling） 增加一些数量少类型的样例，使正反样例数量接近，然后再进行学习；
  直接基于原始训练集进行学习，但在训练好的分类器进行预测时，将再缩放式嵌入到决策过程中，成为 “阈值移动”（threshold-moving）