过拟合问题（The Problem of Overfitting）

目录

一、过拟合问题（The Problem of Overfitting）

二、正则化（Regularization）

2.1、线性回归的正则化

2.1、逻辑回归的正则化

---

一、过拟合问题（The Problem of Overfitting）

过拟合的定义：当变量过多的时候，我们的假设函数可能会很好地拟合我们的数据集（上面第三个图像），代价函数非常接近0，但该假设函数却无法泛化到新的例子（也就是说对于新的输入，不能很好地预测其输出），就称其为过拟合。

 

下面举几个例子

对于回归问题，有三种情况，第一种是选取的假设函数过于简单，导致拟合程度不够，称为欠拟合（下面第一个图）；第二种情况是为正常情况，假设函数能很好的拟合数据集，并且对于新的样例能够很好地预测输出（下面第二个图）；第三种情况即假设函数过于拟合给定的几个数据集，但对于新的样例却无法得到正确的输出，称为过拟合（下面第三个图）：

同样，对于分类问题，也有如下三种情况：

解决过拟合的方法：

• 减少特征的数量（自己手动或者通过算法自动选取需要保留和去掉的特征）
• 正则化（保留所有的特征，但减少量级或者参数θ的值）

补充笔记：

Underfitting（欠拟合）, or high bias, is when the form of our hypothesis function h maps poorly to the trend of the data. It is usually caused by a function that is too simple or uses too few features. At the other extreme, overfitting（过拟合）, or high variance, is caused by a hypothesis function that fits the available data but does not generalize well to predict new data. It is usually caused by a complicated function that creates a lot of unnecessary curves and angles unrelated to the data.

二、正则化（Regularization）

正则化是一种通过减小某些特征在假设函数中的影响来解决过拟合的方法。举个栗子，比如对于如下函数：

如果我们想要减小 和这两项的影响，我们可以通过在代价函数中加入这两项来实现：

 

 这样的话，我们在最小化代价函数的同时，也在减小θ3和θ4，从而减小这两项在假设函数中的影响。

如下图右方所示，使用了正则化方法的得到的函数图像（粉红色线条）明显比没有使用这个方法的函数图像（蓝色线条）更加适合模型：

 可以看到正则化可以“简化”我们的假设函数，并且使得其更不容易趋向于过拟合。

但在实际模型中我们并不知道哪一项的权重需要被弱化，所以在实际模型中我们一般用代价函数加上所有的参数的平方和再乘以一个正则化参数（regularization parameter）λ：

所以在这个代价函数中我们有两个目标，一个是减小平方误差函数的值（及左边部分），一个是减小参数权重的目标（及右边部分），而正则化参数λ就是用来控制这两个目标之间的平衡关系。过大的λ会导致减小参数的权重过度而导致所有参数都趋向于0，这样是不行的；过小的λ会导致正则化几乎没起作用，所以合适的λ的选择也是很重要的。下面介绍正则化在回归问题和分类问题中的应用。

2.1、线性回归的正则化

对于梯度下降，将代价函数正则化后，我们的梯度下降算法也需要发生变化，如下：

 因为θ0不需要正则化，所以把它与其他的分开求。

将其化简为如下式子：

其中略小于1，右边部分和之前的梯度下降算法一致。

 对于正规方程，正规化后可以使得括号内的矩阵一定可逆，式子变成如下形式：

2.1、逻辑回归的正则化

首先我们知道逻辑回归的代价函数式子如下：

其正则化与线性回归中一样，也是在后面加上：

其梯度下降形式为：

 

 可以看到形式与前面线性回归一样，但这里其实是不一样的，其假设函数h(x)发生了改变！