吴恩达机器学习笔记-正则化（五）

正则化

过拟合问题

这里我们举例说房价相关的问题，如下图所示

对于房价的预测，我们知道房屋的面积在增大的同时，其房价本身是趋于平缓的，此时使用一个直线拟合这样一个房价的信息显然是不合理的，此时拟合出来的数据会造成欠拟合；同样，如果按照图三的内容进行构图，曲线尽可能的经过了每一个点，这样的情况则会造成过拟合
对于一个函数，它应该具备能够应用到新数据上，如果是过拟合的状态下，这样的数据并不能很好的适应于新的数据
再来看一组对比的图形

对于过拟合问题的解决，通常情况下，有两种方法：
1、尽量减少选取变量的数量（通常我们人工进行一个筛选，确定哪些变量更为重要，哪些特征变量应该保留，哪些应该舍弃；这个在后面会讲到模型选择算法，该算法会自动进行筛选哪些特征变量保留，哪些特征变量应该舍弃），使用该方法舍弃掉了一些特征变量，但是这些特征变量对与结果是有影响的
2、正则化

代价函数

在构建代价函数的时候，对于一些影响较小的参数，我们可以将其参数theta调整的尽可能小，这样对于后面整体的运算简单度以及准确度有一定的提升
对于一个房子，我们要去评估其价格，比如这个房子存在有100个特征变量

如上，在我们构建代价方程的时候，并不知道哪一个theta值对应的重要性更大，这里在代价函数最后加上一个参数，如上图，这项内容称为正则化项

可以看到，当加上这个正则化项的之后，对于整个曲线来说，拟合的效果更好，而不是前面的过拟合情况（注意：此时并不是二次方程）
当我们将正则化参数设置过大的时候，对于不同的特征变量的惩罚力度也会加大，这样theta值就会越发的趋近于0
如下图所示

这样的情况下，除了theta0以外，其他的都趋向于0（近似等于0），这样情况下的图像会是一个欠拟合的状态，也并不是一个很好的
小结：为了让正则化更有效，需要去选择一个比较好的正则化参数

线性回归的正则化

在前面讲解中，为获取线性回归方程，一种基于梯度下降法，另一种基于正规方程，在这一节中，会将这两种方法推广到正则化线性回归中去
前面讲到的梯度下降法中间不断获取一般项的theta值，如下

这里将theta0单独提出来，形成了计算方法如上所示；这里单独将theta0提出来的原因是需要和正则化进行融合，在正则化中间，惩罚的对象是theta1到thetan，中间并不包含theta0
将上面的式子中间带上正则项，之后进行求偏导，结论如下：

通过上面的式子化简，之后我们能够发现上面式子中，学习率是一个非常小的值，训练集的数量m是一个较大的值，这样上面式子第一项theta是和一个近乎为1的数据相乘；对于第二项，其实就是原来的梯度下降算法的内容
对于第二种方法，就是使用正规方程进行处理

在正规方程中间，可以看到，加入的一个矩阵，在这个矩阵中，第一个数据为0，斜对角上其他的元素都是1，矩阵的大小为(n+1)x(n+1)的，这里注意，它并不是一个单位矩阵
这里需要注意，为了防止矩阵不可逆的情况，这里给定的正则化项系数需要是大于0的

Logistic回归的正则化

将上面的式子进行一般化处理，如下：

可以看到，上面的内容似乎和前面的线性回归梯度下降法正则化一样，这里需要注意这里的假设函数并不是前面的那个，而是带入了sigmoid函数