吴恩达机器学习（十七）过拟合、正则化下的代价函数

1.过拟合

  包插线性回归和逻辑回归等的几种学习算法能够有效解决许多问题，但是当它们应用到某些特定的机器学习应用时，会遇到过度拟合的问题，导致它们表现欠佳。

  概括地说过拟合问题将会在变量过多的时候出现，这时训练出的假设能很好地拟合训练集，但是会出现一条千方百计地拟合数据的曲线，导致它无法泛化到新的样本中。
  类似的说法同样可以应用到逻辑回归：

  过了解决过拟合的问题，有两个方法来解决问题：
  第一个办法是要尽量减少选取变量的数量：

• 人工检查变量清单，并以此决定哪些变量更为重要，哪些特征变量应该保留，哪些应该舍弃。
• 模型选择算法（可以自动选择哪些特征变量保留，哪些舍弃）
    第二个办法是正则化：
• 保留所有特征变量，但是减少量级或参数θ_j的大小。这个方法非常有效，当我们有很多特征变量时，其中每一个变量都能对预测的y值产生一点影响。

2.正则化下的代价函数

  由上一节的例子我们得知如果使用二次函数来拟合数据会得到一个不错的拟合结果，然而用一个结束过高的多项式去拟合数据会得到一条更好地拟合数据的曲线，但实际上这个函数过拟合了。
  我们在函数中加入惩罚项使得θ₃、θ₄都非常小，这意味着我们要最小化优化问题的均方误差代价函数：

现在对这个函数进行一些修改：

  假设我们要最小化修改后的函数，方法就是θ₃、θ₄要尽可能小，如θ₃、θ₄均约等于0，最终我们得到的还是一个二次函数，因为这是一种更好的假设模型。

  在这个特定的例子中，我们看到加入惩罚增大两个参数所带来的效果，总的来说，这就是正则化背后的思想：
  如果我们的参数值较小，这就意味着一个更简单的假设模型，也更不容易出现过拟合的问题。
  接下来看一个更具体的例子：如房价的预测，之前提到，可能有100个特征，和101个参数：

  与之前多项式的例子不同，我们不知道θ₃和θ₄是高阶项，我们很难预先挑选出其中的哪个变量是相关度较低的，现在我们有101个参数，我们不知道该选出哪些参数来缩小它们的值。因此在正则化中，我们要做的是修改代价函数来缩小所有的参数，在后面添加一个新项，这个项的作用是缩小每一个参数，从θ₁一直到θ₁₀₀.

  在这里，红色框中的就是正则化项，λ被称为正则化参数，λ的作用是控制两个不同目标之间的取舍。第一个目标（即上方蓝色方框所示）就是我们想去更好地拟合训练集，而第二个目标（正则化目标）就是我们要保持参数尽量地小，与目标函数第二项（红色方框）有关。这个λ（正则化参数）作用是控制这两个目标之间的平衡关系，即更好地去拟合训练集的目标和将参数控制得更小的目标，从而保持假设模型的相对简单，从而避免出现过拟合的情况。
  在正则化的线性回归中，若正则化参数λ被设得太大的话，例如对于假设函数h_θ(x) =θ₀ + θ₁x + θ₂x² + θ₃x³+θ₄x⁴;如果我们对θ₁、θ₂、θ₃、θ₄的惩罚程度太大，那么最后这些参数都会接近于0，就相当于假设函数只剩一个θ₀，即h_θ(x) =θ₀ 。这时相当于用一条直线去拟合数据，这就是一个欠拟合的例子。