机器学习（周志华版）个人笔记--第三章

线性模型

1.基本形式

给定由d个属性描述的示例x=(x1;x2;x3....xd)，其中xi是x的第i个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测函数，即f(x) = w1x1+w2x2+...wdxd+b,

向量形式写成

例：西瓜问题中学的“f好瓜（x）=0.2*x色泽+0.5*x根蒂+0.3*x敲声+1”，则意味着可通过综合考虑色泽、根蒂和敲声来判断瓜好不好，其中根蒂最要紧，而敲声比色泽更重要。

2.线性回归

线性回归

我们先考虑一种最简单的情形：输入属性的数目只有一个。对离散属性，若属性值间存在“序”关系，可通过连续化将其转化为连续值，例如二值属性“身高”的取值“高”“矮”可转化为{1.0,0.0},三值属性“高度”的取值“高”“中”“低”可转化为{1.0,0.5,0.0};若属性值间不存在序关系，假定有个k个属性值，则通常转化为k维向量，例如属性“瓜类”的取值“西瓜”“南瓜”“黄瓜”可转化为(0,0,1),(0,1,0),(1,0,0).

线性回归仕途学得

如何确定w和b呢？显然在于如何衡量f(x)与y之间的差别。均方误差是回归任务中最常用的性能度量，

试图让均方误差最小化，即

均方误差对应了常用的欧几里得距离或简称“欧氏距离”。基于均方误差最小化来进行模型求救的方法称为“最小二乘法”。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。

多元线性回归

最终学得的多元线性回归模型

对数线性回归、广义线性回归

3.对数几率回归

上一节讨论如何使用线性模型进行回归学习，但若要做的是分类任务该怎么办？

答案蕴含在广义性模型中：只需找一个单调可微函数将分类任务的真是标记y与线性回归模型的预测联系起来。

用线性回归模型的预测结果区逼近真实标记的对数几率，因此，其对应的模型称为“对数几率回归”。它的名字是“回归”，但实际却是一种分类学习方法。这种方法的优点，例如它是直接对分类可能性进行建模，无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题；它不是仅预测“类别”，而是可得到近似概率预测，这对许多需利用概率辅助决策的任务很有用；此外，对率函数是任何阶可导的凸函数，有很好的数学性质，现有的许多数值优化算法都可直接用于求取最优解。

线性判别分析