机器学习：线性回归和正则化

线性回归和正则化

有空把理论证明补上，突然想起来写的，QAQ

有时候特征太多，会导致过拟合的现象，我们可以通过观察，手动减少特征的个数，去掉感觉上不重要的特征。我们也可以保留所有的特征，但是减少特征变量的数量级，来削弱其影响。
在线性回归中，代价函数一般选均方误差，是从极大似然估计推过来的，我们要让代价函数最小。

参考：https://blog.csdn.net/yzheately/article/details/51044011
但如果我们的数据数少于特征数，就容易过拟合，这里便引入新的代价函数（岭回归）m是数据个数，n是特征个数

多出来的就是正则项，这样可以在达到拟合数据的同时，使模型权重尽可能小的目的。比如我lamda取1000，那系数就压的比较小了。复习一下，对于线性回归和岭回归（LR特殊情况），对其代价函数求导等于0，可以直接得到最优系数矩阵，无需使用梯度下降法迭代了。还有Lasso Regression，也差不多，附加项是绝对值，也能正则化。