机器学习-线性模型

线性模型

考虑线性模型很简单，分类嘛，就是找一条线把两类样本分开，那回归呢就是找一条线把样本串起来。

这个公式里w表示的是每个特征对应的权重，b表示偏置。

线性回归

我们先来说线性回归。线性回归要做的就是找到一个方程（如下）

最理想的肯定是完全相等啊，但是由于有over fitting（过拟合）的存在，完全相等未必是件好事。

线性回归擅长处理数值属性，所以我们需要把离散的转化为连续。那要怎么转换呢？我们需要考虑这个属性里面有没有一个序的关系。比如说身高，分高中低，看起来是离散的，但是里面有一个序的关系，所以可以连续化赋值为1,0.5,0。但是对于无序的属性——比如西瓜的颜色，就不能这样简单地赋值。

均方误差最小化--最小二乘法

那线性回归怎么找到最好的方程呢？-- 均方误差最小化。

最小二乘估计简单来说就是求偏导，然后令导数为0，得到权重w和偏置b的值

多元线性回归

举一反三嘛。说完线性回归再来看看多元线性回归。多元线性回归就是x从标量变成了向量

我们可以用矩阵来表示先前的公式（如下）:

同样使用最小二乘法求解，

当有多个解时，需要求助于归纳偏好，或者说引入正则化。

广义线性模型

有时候我们不能简单地用一条直线进行分类和回归，那线性模型就失效了吗？--并不。

广义线性模型的一般形式为

比如令g(·)=ln(·)就能得到对数线性回归

其中g(·)的逆为联系函数。

二分类任务

前面我们已经说了线性回归，那如何用回归模型解分类问题？-- 举例：二分类任务。

线性回归模型产生的是实值输出z，而二分类任务期望的输出为y(取0或1)，因此我们就要去找z和y的联系函数。

理想的单位阶跃函数 -- 对数几率函数

借助广义线性模型的思路

对率回归求解无法用最小二乘法 -- 最小二乘法本质是求梯度为0的点，但是梯度为0的点并不一定为极值点，必须要是凸函数才成立。但是对率回归的目标函数是非凸的，所以在这里采取极大似然法求解。

注：对高阶可导连续凸函数，可以用梯度下降法或牛顿法。

多分类任务