Task2 吃瓜教程——西瓜书第三章 线性模型

一 、基本形式

定义：线性模型（linear model）是通过属性的线性组合来进行预测的函数模型。

给定由d个属性组成的示例

• 函数形式
• 向量形式 其中

线性模型学习的过程即确定和的过程。

二 、线性回归

给定数据集, 其中(列向量)，。

试图学得 和以尽可能准确预测输出的过程，叫作线性回归。

示例中属性是d维向量， 共有m个样本。

2.1 一元线性回归（d=1）

问题：数据集简写为, 试图学得

使得  (1)

损失函数——均方误差：

(2)

记最小二乘法参数估计:

分别对求导得：

(3)

(4)

因为在偏导为0时取得极值，因此令（3）(4)为0，可解得：

其中

2.2 多元线性回归（d>1）

多元线性回归需要转换为矩阵的运算。而b无法直接在矩阵中表示。

可以将特征向量末尾追加元素1变为，将d维特征向量转为d+1维，则b可以追加到末尾变为。

类似式（2），有

令,对求导得：

(5)

令（5）等于零，可解得

最终学得

线性回归模型的一般形式

也可令线性模型逼近的衍生物，如 =>

广义线性模型

 （6）

g为单调可逆函数，此时成为联系函数

三、对数几率回归

如何做二分类预测：阶跃函数

带入线性模型得到：(对数几率回归，用线性模型去逼近真实标记的对数几率)

如何确定w和b -> 极大似然法

四、线性判别分析（Linear Discriminant Analysis, 简称LDA）

给定训练集，设法将样例投影到一条直线上，使得同样样例的投影点尽可能接近，异样样例投影点尽可能远离。在对新的样本进行分类时，将其投影到同样的直线上，再根据投影点的位置来却低你那个新样本的类别。

五、多分类学习

多分类拆分策略：一对一，一对其余，多对多

六、类别不平衡问题（class-imbalance）

如果不同类别的驯良样例数差别很大=>再缩放