吴恩达机器学习（五）正则化（解决过拟合问题）

目录

0. 前言

1. 正则化（Regularization）

2. 线性回归中的正则化

3. 逻辑回归中的正则化

---

学习完吴恩达老师机器学习课程的正则化，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。

如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~

0. 前言

在分类或者回归时，通常存在两个问题，“过拟合”（overfitting）和“欠拟合”（underfitting）.

• 过拟合：曲线为了减少代价函数，一味地拟合数据，使得样本中几乎每一个数据都能正确被分类（回归），导致过度拟合，不能泛化新的样本，通常具有高方差（high variance）
• 欠拟合：曲线的拟合度不够，太多的数据并没有被拟合到，通常具有高偏差（high bias）

通常，在过拟合的情况中，存在过量的特征，有以下两种解决办法：

• 减少特征量
• 采用正则化

1. 正则化（Regularization）

由于造成过拟合的原因可能是太多的特征量，所以可采用减少特征量的方法。但是不妨换种思路，减少特征量的权值（这个特征乘以的  很小），来达到目的。

例如，对于 ，已知  的关联度不大，我们需要减少它的权值（），可将代价函数修改为 ，这样为了降低 ，就会使得 ，达到了减小特征的目的。

但是通常，我们不知道哪些特征量是无关的，所以给出修改后的代价函数定义：

 

其中， 称为正则化参数， 称为正则项，目的是使得  减小。正则化使得假设函数更加简单，减小发生过拟合概率。

注：如果  过大，会造成 ，使得 ，造成欠拟合。

2. 线性回归中的正则化

在线性回归中运用正则化，我们已知代价函数和梯度下降法如下定义：

代入可得：

其中，，所以相当于  乘以一定的权值，然后再减去梯度下降的变化量。

同样，在正规方程中，也可以使用正则化：

此时，可以保证，中间项一定不是奇异矩阵，一定存在逆矩阵。

3. 逻辑回归中的正则化

与上述类似，代价函数可表示为：

梯度下降法可表示为：

逻辑回归中的  是在  外包裹了一层  函数的，与线性回归不同，所以梯度下降法看似相同却不同。

---

如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~