线性回归--西瓜书，统计学习总结

西瓜书中的示例即为统计学习中的样本，属性即为特征。

1.线性模型 

给定由d个属性描述的示例x=(x₁;x₂;...;x_d)，其中x_i是x在第i个属性上的取值，线性模型将会学习到一个通过属性的线性组合来进行预测函数，即：

目标函数  f(x)=w₁x₁+w₂x₂+…+ w_dx_d+b，

用向量形式写成：f(x)=w^Tx+b

其中w=(w₁;w₂;...;w_d)，w和b得到之后，模型就确定。

2.线性回归

通过学习到一个线性模型来尽可能准确地预测实值输出标记

给定数据集D={(x₁,y₁), (x₂,y₂),…, (x_m,y_m)}，其中x_i=( x_i1;x_i2;...;x_id)，y_i∈R。

2.1只有一个属性的线性回归

f(x_i)=wx_i+b 使得f(x_i)渐近等于y_i 

_{如何求解w和b? 使得误差最小。什么误差？最常用的是均方误差}

均方误差有非常好的几何意义：欧几里得距离。基于均方误差最小化进行模型求解的方法叫做最小二乘法。在线性回归中，最小二乘法就是试图找到一条直线使得所有点到直线的欧几里得之和最小。求w,b的过程在最小二乘法中，叫做参数估计。

让偏导等于0，即可求得解。

求w将b代入的时候，要注意，b中也有w。

2.2 多元线性回归

 这里w和x都是向量

为了方便，将b看作是w向量中的一个，而x向量需要相应加上一列1

w是(d+1)*1的列向量，d是属性个数

x是m*(d+1)的向量，m是示例个数     x₁是列向量

  

也是均方误差   

机器学习基石视频：  E=y'y-2wx'y+w'x'xw  求偏导即可

令上式为0，求w  

    

在实践中，平台会提供求虚假逆矩阵的方法。

2.3 广义线性模型

w^Tx+b=g(y)

如将示例对应的输出标记定义为指数尺度上的变化，即g(y)=lny，也就是lny= w^Tx+b，这就是对数线性回归，也就是让e ^wTx+b=y。

一般化定义这种衍生，设g是单调可微函数（连续且充分光滑），令y=g^-1(w^Tx+b)或者表达为g(y)= w^Tx+b，这样的模型称之为广义线性模型（generalizedlinear model）其中函数g称为联系函数（link function）

广义线性模型的参数估计通过加权最小二乘法或极大似然法进行。？？？？