线性回归原理篇

介绍

经典线性模型自变量的线性预测就是因变量的估计值。 广义线性模型：自变量的线性预测的函数是因变量的估计值。常见的广义线性模型有：probit模型、poisson模型、对数线性模型等等。对数线性模型里有：logistic regression、Maxinum entropy。

1.线性回归原理

其中，为偏置参数，M为特征数目，为基函数（径向基函数(rbf)、sigmoid基函数等），

特别地，当 = ,即为简单的多元线性回归。当然，根据需要我们也可以在后面正则项。

2.参数学习

使用一般的平方和误差作为Loss function，主要有以下两种方法学习参数

（1）根据梯度下降不断迭代，此处会涉及到learing rate（学习速率）

（2）直接利用公式计算，得到一维精确解
平方和误差定义 ：

令这个梯度等于零，

最终我们可以得到 (加黑表示为向量)

当然，我们也可以根据实际的情况定义其他的Loss function。

3.思考存在的意义

我们可以利用平方和误差对进行求导，

最终解得

其中， ,

因此，偏置补偿了目标值的平均值（在训练集）与基函数的值的加权求和之间的差。

4.从最根本的广义线性模型角度，导出经典线性模型

1）指数家族

当固定T时，这个分布属于指数家族中的哪种分布就由a和b两个函数决定。下面这种是伯努利分布，对应于逻辑回归问题

注：从上面可知 ，从而，在后面用GLM导logistic regression的时候会用到这个sigmoid函数。

下面这种是高斯分布，对应于经典线性回归问题

2）GLM（广义线性模型）

指数家族的问题可以通过广义线性模型来解决。如何构建GLM呢？在给定x和参数后，y的条件概率p(y|x,θ) 需要满足下面三个假设：

assum1) y | x; θ ∼ ExponentialFamily(η).

assum2) h(x) = E[y|x]. 即给定x，目标是预测T(y)的期望，通常问题中T(y)=y

assum3) η = θTx，即η和x之间是线性的

3）经典线性回归

经典线性回归：预测值y是连续的，假设给定x和参数，y的概率分布服从高斯分布（对应构建GLM的第一条假设）。由上面高斯分布和指数家族分布的对应关系可知，η=µ，根据构建GLM的第2、3条假设可将model表示成：

5.加快模型收敛速度

可以将训练集中的数据处理到某个特征的范围内（当然这样对最终的结果有一定的影响，这个需要根据集体的目标、数据分布等来分析），从而加快模型收敛，此法不仅限于线性回归。主要有以下几种方法
（1）
（2）[X-mean(X)]/std(X);
（3）sigmod
（4）tan
（5）log

6.优点

（1）训练速度快
（2）对趋势比较明显的数据预测效果比较好

7.缺点

（1）容易欠拟合
（2）针对线性不可分的情况效果往往不佳

8.注意事项

（1）特征之间应相互独立（防止多元共线性，对于多元共线性问题，我们也可以通过逐步回归、岭回归的方法解决，从某种意义上来说类似于添加正则项）
（2）特征不宜过多
（3）做下One-hot处理效果还不错
（4）特征与预测变量之间应有一定相关性（可以使用皮尔逊方法检测）
（5）残差e 服从正态分布N(0,σ2) 。其方差σ2 = var (ei) 反映了回归模型的精度， σ 越小，用所得到回归模型预测y的精确度愈高
（6） e 的大小不随所有变量取值水平的改变而改变，即方差齐性
参考文献
1.Pattern Recognition And Machine Learning
2.http://blog.csdn.net/lilyth_lilyth/article/details/10032993