机器学习13 过拟合解决（lasso，岭回归），欠拟合，多元线性回归

解决线性回归“过拟合”

L1正则（Lasso回归）：就相当于，绿色部分是一样的，只是在后面加了一个小尾巴（蓝色部分）,这个小尾巴就是起到防止过度拟合的作用。蓝色部分代表的是：模型的权重的绝对值之和(|Ki|)，其中λ是一个自己来定的常数(正数)，λ越大后面这坨小尾巴的影响效果就越大


（公式里面mj就是我这里用的ki）

通俗理解原理：由于下山的时候步长可能过大，会出现走到第6步的时候，离最低点已经很近了但还没到最低点，这时候再走一步到第7点那个位置，发现这一步误差比上一步更大了，因此选择上一步为迭代的终点。

所以这时候就用L1-lasso回归解决过拟合问题，λ越大（λ越敏感）这一坨对结果影响就越大，在不断迭代过程中，由于不断接近最低点，所以绿色的两坨都在不断的减小，而蓝色这坨里面的|Ki|是在不断增大（为了避免减小的步伐太大了，是一个束缚条件），这个增大的效果最终呈现的效果大还是小，以λ（一个整数，自己确定大小）来决定，如果λ大那这坨影响就大

L2正则（岭回归），就是把小尾巴的绝对值直接平方

L1+L2正则就是两个 束缚部分 相加，只是一个占p，另一个占（1-p），然后外边还有个超参数λ

与上一节目标函数的关系：

首先，k,m,w 都用来表示斜率（权重），遇到的时候要明白其实是一个意思

等价关系：

解决欠拟合

常用求偏导

一元线性回归 & 多元线性回归

几何意义理解：

二元线性回归模型中参数b的推导过程：

在实际中可以直接用这个公式，来得到参数b

线性回归优缺点

缺点还有，线性回归的y必须是连续性的