吴恩达机器学习过拟合与正则化07

·首先这里有解决过拟合的三种方法：
·(1).收集更多的训练数据

·(2).缩小参数（w,b）的大小--正则化

·(3).从原有特征中，挑选出部分特征用于训练

*总结：但在实际训练的过程中，如果数据集是一定的，没有办法获得更多的训练数据，并且原有的特征中，不知道该舍弃哪些特征或者不希望舍弃特征，那么就需要使用正则化方法来解决过拟合的问题。

1.添加正则化

(1).正则化线性回归

由上图可以看出：
·线性回归的正则化代价函数是在原有代价函数的基础上加了一项
·线性回归的梯度下降公式在更新wj时，也在原来的基础上添加了一项，而b在更新的过程中和原来一样。

(2).正则化逻辑回归

由上图可以看出：
·逻辑回归的正则化代价函数是在原有代价函数的基础上加了一项
·逻辑回归的梯度下降公式在更新wj时，也在原来的基础上添加了一项，而b在更新的过程中和原来一样。
上面的两张图片展示了线性回归和逻辑回归的代价和梯度函数。注意:
Cost:
线性回归和逻辑回归的成本函数差异显著，但在方程中加入正则化是相同的。
Gradient:
线性回归和逻辑回归的梯度函数非常相似。它们的区别仅仅在于的实现。

2.具有正则化的代价函数

(1).正则化线性回归的代价函数

代价函数正则化线性回归方程为:

将此与没有正则化的代价函数(在之前的实验室中实现)进行比较，后者的形式为:

区别在于正则化项

包括这一项的激励梯度下降，以最小化参数的大小。注意，在本例中，参数不是正则化的。这是标准做法。

(2).正则化逻辑回归的代价函数

对于正则化逻辑回归，代价函数为

将此与没有正则化的成本函数(在之前的实验室中实现)进行比较:

与上面线性回归的情况一样，差异是正则化项，即

包括这一项的激励梯度下降，以最小化参数的大小。注意，在本例中，参数不是正则化的。这是标准做法。

3.带有正则化的梯度下降

运行梯度下降的基本算法不随正则化而改变，它是:

每个迭代在上为所有同时执行更新。
正则化改变的是计算梯度。

4.用正则化计算梯度(线性/逻辑)

线性回归和逻辑回归的梯度计算几乎相同，只有的计算不同。

·m是数据集中训练示例的数量
模型的预测,而是目标
·对于线性回归模型

·对于逻辑回归模型

其中()为sigmoid函数:

添加了正则化的术语是