吴恩达机器学习笔记四之正则化

本节目录

1. 过拟合
2. 代价函数
3. 正则化线性回归
4. 正则化逻辑回归
   1 过拟合问题
   正则化技术可以改善过拟合问题。
   
   第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一
   个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质：预测新数据。我们可以看
   出，若给出一个新的值使之预测，它将表现的很差，是过拟合，虽然能非常好地适应我们的
   训练集但在新输入变量进行预测时可能会效果不好；而中间的模型似乎最合适。
   那我们应该如何处理过拟合呢？
   1.丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一
   些模型选择的算法来帮忙（例如 PCA）
   2.正则化。 保留所有的特征，但是减少参数的大小（magnitude）。
   2 代价函数
   防止过拟合问题的假设：
   
   
   注：根据惯例，我们不对0 进行惩罚。经过正则化处理的模型与原模型的可能对比如下图所示：
   
   如果选择的正则化参数 λ 过大，则会把所有的参数都最小化了，导致模型变成 ℎ() = 0，也就是上图中红色直线所示的情况，造成欠拟合。
   那为什么增加的一项 = ∑ 2 =1 可以使的值减小呢？
   因为如果我们令 的值很大的话，为了使 Cost Function 尽可能的小，所有的 的值
   （不包括0）都会在一定程度上减小。
   但若 λ 的值太大了，那么（不包括0）都会趋近于 0，这样我们所得到的只能是一条
   平行于轴的直线。
   所以对于正则化，我们要取一个合理的 的值，这样才能更好的应用正则化。
   3 正则化线性回归
   对于线性回归的求解，我们之前推导了两种学习算法：一种基于梯度下降，一种基于正
   规方程。
   正则化线性回归的代价函数为：
   
   如果我们要使用梯度下降法令这个代价函数最小化，因为我们未对进行正则化，所以梯
   度下降算法将分两种情形：
   
   
   4 正则化的逻辑回归模型
   我们首先学习了使用梯度下降法来优化代价函数()，接下来学习了更高级的优化算法，这些高级优化算法需要你自己设计代价函数()。