【Linear Regression】 线性回归数学公式推导

目录

LSE最小二乘估计

高斯噪声的MLE

岭回归

贝叶斯角度

---

LSE最小二乘估计

Data X是N个P维，Label Y是N个1维，利用最小二乘估计计算参数矩阵W的值，WTxi - yi相当于到直线的距离；

也可以通过几何解释，把xT看作是P维向量空间，y向量到P维空间的最近的向量就是y在P维空间的投影：X，所以X与y-xβ是垂直的，即XT * (y-xβ) = 0，求出的β = W。

高斯噪声的MLE

直线满足一个高斯的噪声，y则满足均值为WTX，σ^2的高斯，通过极大似然估计得出参数W的结果和LSE的结果一样，说明LSE默认隐含高斯分布的噪声。

岭回归

如果数据量没有远大于维度，容易过拟合，可以通过正则化的方式加入惩罚项再用LSE计算；

通过结果可以看出，加入岭回归后的W的解析解中XTX + λI 一定是可逆的。

贝叶斯角度

通过贝叶斯求最大后验概率，先验也满足的高斯分布的情况下，W就等于LSE岭回归求出的解。

有问题可以+v: llllChrist，注明csdn。