线性回归原理篇

1.线性回归原理

其中，为偏置参数，M为特征数目，为基函数（径向基函数(rbf)、sigmoid基函数等），
特别地，当 = ,即为简单的多元线性回归。当然，根据需要我们也可以在后面正则项。
2.参数学习
使用一般的平方和误差作为Loss function，主要有以下两种方法学习参数
（1）根据梯度下降不断迭代，此处会涉及到learing rate（学习速率）
（2）直接利用公式计算，得到一维精确解
平方和误差定义 ：
令这个梯度等于零，

最终我们可以得到 (加黑表示为向量)
当然，我们也可以根据实际的情况定义其他的Loss function。
3.思考存在的意义
我们可以利用平方和误差对进行求导，
最终解得
其中， ,
因此，偏置补偿了目标值的平均值（在训练集）与基函数的值的加权求和之间的差。
4.加快模型收敛速度
可以将训练集中的数据处理到某个特征的范围内（当然这样对最终的结果有一定的影响，这个需要根据集体的目标、数据分布等来分析），从而加快模型收敛，此法不仅限于线性回归。主要有以下几种方法
（1）
（2）[X-mean(X)]/std(X);
（3）sigmod
（4）tan
（5）log
5.优点
（1）训练速度快
（2）对趋势比较明显的数据预测效果比较好
6.缺点
（1）容易欠拟合
（2）针对线性不可分的情况效果往往不佳
7.注意事项
（1）特征之间应相互独立（防止多元共线性，对于多元共线性问题，我们也可以通过逐步回归、岭回归的方法解决，从某种意义上来说类似于添加正则项）
（2）特征不宜过多
（3）做下One-hot处理效果还不错
（4）特征与预测变量之间应有一定相关性（可以使用皮尔逊方法检测）
（5）残差e 服从正态分布N(0,σ2) 。其方差σ2 = var (ei) 反映了回归模型的精度， σ 越小，用所得到回归模型预测y的精确度愈高
（6） e 的大小不随所有变量取值水平的改变而改变，即方差齐性
参考文献
1.Pattern Recognition And Machine Learning