机器学习-白板推导学习笔记-3线性回归

本篇文章是根据视频（ link.）所作的学习笔记，旨在对机器学习的相关知识更好的理解和巩固。本人基础较弱，推导中看不懂的公式可能会细究，如果有理解不当之处也欢迎指出。

简单描述一下线性回归，即拟合出一条最适合数据（红点们）分布的函数（蓝色直线），如下图所示：

可以将该问题描述成数学公式: ，为啥没有加噪声因素，先卖个关子。

· 数据介绍

1 LSE and MLE

最小二乘估计LSE

是将要拟合出的曲线形式，下一步求取里面的参数，这里使用最小二乘估计进行求解，损失函数为二范式的平方和（也可以理解为拟合值与真实值之差的平方和）。即：

     

线性回归中的MLE

这里使用频率派的极大似然估计MLE对线性回归中的参数进行求解（并且站在概率角度能更好分析与LSE的关系）。

数据与开篇一致，但设，其中为拟合过程中存在的噪声，设其服从零均值高斯分布，即。此时，（是常数，常数的均值是自身，方差为0。）此时，参数估计过程如下：

推到这就够了，眼熟不家人们！这不就是LSE一开始的损失函数嘛，所以开始最小二乘估计的时候为什么没有加噪声，这么一分析下来可不就是已经包含了白噪声的拟合嘛，所以可以这么理解：。

2 岭回归LSE and MAP

岭回归之前先介绍一下过拟合现象。当样本数量较少，特征维数较多时，就容易出现过拟合现象。看到一个有意思的说法来形容过拟合：

欠拟合:光看书不做题觉得自己会了，上了考场啥都不会。
过拟合: 做课后题全都能做对，上了考场还是啥都不会。
差不多的拟合: 做了题，背了老师给画了重点，考试60分过了。
优秀的拟合: 课后题全能作对，考试100分。

解决过拟合一般有三种方式——1）增加样本数量。2）进行特征选择\降维。3）正则化。

这里着重介绍正则化方法。

正则化框架——，其中是约束项，也叫做正则项，为其系数。

其中正则化包括   1）L1正则化(一范数)——

                            2）L2正则化(二范数)——

使用L1正则化约束进行线性回归时，也叫做Lasso回归。使用L2正则化约束进行线性回归时，也叫做岭回归。

L2正则化LSE

岭回归时，目标函数如下：

线性回归中的MAP

从贝叶斯角度进行分析，假设不是一个固定的值，而是服从零均值高斯分布（方便计算），。由贝叶斯公式可得,分母P(Y)与

无关，似然函数（参照MLE那里）。利用分子部分进行MAP参数估计：

把看作是系数，此时惊喜又来了！这不就是岭回归时的LSE嘛！我愿称数学是永远的神，兜兜转转，蓦然回首还是那人那模样，条条大路通罗马呀~ So,我们又可以得出岭回归!

(碎碎念~ 敲公式真的太苦了。。。不过又是进步的一天~ 明天见！)