Machine Learning Watermelon Book Blog 2

Chapter Three

Linear Model(线性模型)

3.1 基本形式

Example：x = {x1;x2;...;xd}，其中xi是x在第i个属性上的取值，而线性模型试图学得一个通过属性的线性组合来进行预测的函数，即：

f(x) = w1*x1 + w2*x2 + ... + wdxd + b。

向量形式：

f(x) = w^T * x + b，其中w = (w1;w2;...;wd)。

3.2 线性回归

 确定w和b的关键在于让均方误差最小化，即：

均方误差的几何意义对应“欧氏距离”(Euclidean distance)。

基于均方误差最小化来进行模型求解的方法称为最小二乘法。在线性回归中，最小二乘法（least square method）就是试图找到一条直线，使得所有样本到直线上的欧氏距离最小。

求解w和b使最小化的过程，称为线性回归模型的最小二乘参数估计（parameter estimation）。公式及推导如下：

 令上述两式为零可以得到w和b的最优解的闭式（close-formed）解：

其中x的均值为

当数据集D的样本由d个属性描述时，目标函数为：

使得

3.3 对数几率回归

 对数几率函数（logistic function）：

3.4 线性判别分析

linear discriminant analysis（LDA）的思想：

给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。

3.5 多分类学习

基本策略是：拆解法。

最经典的拆分策略有三种：一对一(OvO)，一对多(OvR)，多对多(MvM)。