西瓜书第三章-线性模型

1.基本形式

给定m个样本{Xi}i=1...m，每个Xi由d个属性描述，整体样本为一个m*d的矩阵，每个样本有一个真实值yi，yi=wXi+bi，我们要求的就是对应的w和和bi。w为1*d大小，Xi为d*1大小，bi为1*1大小。

拓展：若每个样本的真实值是一个向量，假如说是n维的向量，那yi=wXi+bi中，w为n*d大小，Xi为d*1大小，bi为n*1大小。(多因变量的多元线性回归)

2.线性回归

为了找到尽可能符合 上面等式的w和b，可以定义一个损失函数，然后让损失函数最小化即可，损失函数可以定义为预测值和真实值的均方误差，然后进行求导可以求得解析解：

矩阵求导的方法：【手推机器学习】矩阵求导--合集_哔哩哔哩_bilibili

总结求导方法，对X求导，如果式子有X，则把X消去，其他项加转置，如果有X^T，则直接消去。

3.对数几率回归(逻辑回归)

线性回归针对的是回归问题，如果要做的是分类问题的话，需要将真实分类标记y和线性回归模型的预测值联系起来。

考虑二分类任务，y为0或1，预测出来的w是一个实值，所以需要将其转换为0/1值，可以用sigmoid函数：

sigmoid函数有一些特殊的性质，比如S'(x)=(1-S(x))S(x)，可以推出S(x)图像的最大斜率为1/4。

这个函数可以将(-∞，+∞)映射到(0,1)上，正好可以类似看成概率。因为将整个式子化简完成后得到的是ln(y/1-y)=w^Tx+b，左边是对几率取对数，所以也叫对数几率回归。同样可以采用极大似然法求解参数w。