机器学习-周志华 学习笔记3

第3章 线性模型

3.1基本形式

给定由d个属性描述的示例x=(x1;x2;…;xd),其中xi是x在第i个属性上的取值，线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，即

       f(x)=w1*x1+w2*x2+…+wd*xd+b

一般用向量形式写成

       f(x)=w^Tx+b

其中w=（w1;w2;…;wd）。W和b学得以后，模型就得以确定。

线性模型形式简单，易于建模，有很好的可解释性（comprehensibility）。

3.2线性回归

       给定数据集合D={(x1,y1),(x2,y2),…,(xm,ym)}其中xi=(xi1,;xi2;…;xid),yi∈R,线性回归（linear regression）的目的就是试图找到一个线性模型以尽可能准确地预测实值输出，即试图学得：

。

其中重要点在于w和b的确定。我们利用均方误差，使均方误差最小化即：

       均方误差对应了欧几里得距离简称“欧氏距离”（Euclidean distance）。基于均方误差最小化来进行模型求解的方法称为“最小二乘法”（least square method）。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。

       线性回归模型的最小二乘“参数估计”（parameter estimation）为求解w和b使

最小化的过程。可以将 分别对w和b求导，得到

然后令上二式为0可得到w和b最优解的闭式解

其中 为x的均值。

当样本由d个属性描述，我们试图学得

这称为“多元线性回归”（multivariate linear regression）。我们同样可以用最小二乘法对w和b进行估计。具体过程这里省略。

 

线性模型虽然简单，但是有丰富的变化。对于样例（x，y）我们希望线性模型的预测值逼近真实标记y，即

但是有的时候这种做法并不方便使用，我们令模型的预测值逼近y的衍生物，例如：假设我们认为示例所对应的输出标记是在指数尺度上变化，那么可以将线性模型设定为：

这就是“对数线性回归”。

更一般的可以考虑单调可微函数g（.），令

得到的模型称为“广义线性模型”（generalized linear model），其中函数g(.)称为“联系函数”（link function）。

 

3.3对数几率回归

      分类任务中我们需要找一个单调可微函数将任务分类的真是标记y与线性回归模型的预测值联系起来。

       以二分类任务为例，输出标记为y∈{0,1}，线性回归模型产生的预测值 是实值，于是，将实值z转换成0/1值，最理想的是“单位阶跃函数”（unit-step function）

预测过程如图3.2

但是单位阶跃函数不连续，因此不能直接用作式3.15中的 。所以我们找了一个单位阶跃函数的替换函数，并希望它单调可微。对数几率函数（logisticfunction）：

从图3.2可看出，对数几率函数是一种“Sigmoid函数”，它将z值转化成一个接近0或1的y值，并且其输出值在z=0附近变化很抖。然后经过数学变换求取最优w和b。具体流程我也很模糊，以后有机会再描述。