吴恩达机器学习课程笔记5——过拟合和正则化

过拟合问题

过度拟合:就是我们拟合一个高阶多项式,这个假设函数几乎可以拟合所有的数据,但是这个假设函数太过庞大,数量太大导致我们没有足够的数据去约束它。
吴恩达机器学习课程笔记5——过拟合和正则化_第1张图片这幅图是以线性回归为例子,第一张图是欠拟合(高偏差),可以看出来它没有很好的拟合数据。第二张图拟合效果刚刚好。第三张图,就是过度拟合(高方差)。
吴恩达机器学习课程笔记5——过拟合和正则化_第2张图片这幅图是以逻辑回归为例子,同样是欠拟合、恰好拟合、和过度拟合。

那么怎样解决过度拟合的问题呢?主要有两类方法:
第一类:减少我们选取变量的数量。
第二类:正则化。就是保留所有的特征变量,但是减少它们的量级或者参数的大小。(适合每一个变量都有用的情况)

正则化

我们刚刚提到正则化,那么怎样进行正则化呢?我的理解就是在代价函数后加一个惩罚函数,这个惩罚函数会有求我们的参数尽可能的小,这样我们的假设函数就会尽可能的平滑一点。
吴恩达机器学习课程笔记5——过拟合和正则化_第3张图片其中拉姆达,我们称之为正则化参数,它可以用来控制不同目标之间的取舍。它如果取值过大就会造成欠拟合。
吴恩达机器学习课程笔记5——过拟合和正则化_第4张图片

线性回归的正则化

梯度下降法

吴恩达机器学习课程笔记5——过拟合和正则化_第5张图片吴恩达机器学习课程笔记5——过拟合和正则化_第6张图片正规方程法
吴恩达机器学习课程笔记5——过拟合和正则化_第7张图片正规方程法之前提到过有可能XTX的矩阵会不可逆,但是正则化之后矩阵一定可逆。
吴恩达机器学习课程笔记5——过拟合和正则化_第8张图片

逻辑回归的正则化

吴恩达机器学习课程笔记5——过拟合和正则化_第9张图片
吴恩达机器学习课程笔记5——过拟合和正则化_第10张图片

你可能感兴趣的:(吴恩达,机器学习,逻辑回归,深度学习)