过拟合问题(以及如何正则化)

目录

一、过拟合定义 

 二、调试和诊断(正则化线性回归)

1、方法一是减少选取变量的数量

2、方法二是正则化

3、方法二的具体做法

三、正则化逻辑回归

1、正则化的代价函数

 2、正则化逻辑回归函数的梯度下降算法

3、 正则化逻辑回归函数的高级优化算法


一、过拟合定义 

更好的拟合训练集,但是泛化能力较弱,泛化是指应用到新样本的能力。

过拟合问题(以及如何正则化)_第1张图片

 二、调试和诊断(正则化线性回归)

1、方法一是减少选取变量的数量

2、方法二是正则化

即保存所有变量,但是减少量级或者参数θ_j的大小;因无法选择缩小特定的参数,只可选择缩小所有的参数,即将代价函数改变如下:

过拟合问题(以及如何正则化)_第2张图片

 注:λ是用来平衡等式右边两个式子,从而更好地去拟合训练集的目标,若λ设立过大,所有参数都趋于0,则假设模型会欠拟合。

3、方法二的具体做法

 (1)仍利用梯度下降进行拟合,在原本的θj减去(学习率*偏导)的基础上再减去变量参数的偏导

过拟合问题(以及如何正则化)_第3张图片

注:通常学习率α很小,而m很大,所以(1-αλ/m)是一个接近于1的数,θ*(1-αλ/m)即是将θ向0的方向缩小了一点点,θj变小了一点点,进而θj的平方范数变小了

 (2)用正规方程,首先建立一个设计矩阵X

过拟合问题(以及如何正则化)_第4张图片

不可逆问题(选学) 

过拟合问题(以及如何正则化)_第5张图片

三、正则化逻辑回归

1、正则化的代价函数

过拟合问题(以及如何正则化)_第6张图片

 2、正则化逻辑回归函数的梯度下降算法

 过拟合问题(以及如何正则化)_第7张图片

3、 正则化逻辑回归函数的高级优化算法

过拟合问题(以及如何正则化)_第8张图片

你可能感兴趣的:(机器学习)