学习笔记-机器学习-（4）正则化

吴恩达-机器学习课程--07: Regularization的学习总结：

欠拟合（underfitting/high bias）：模型的拟合程度不高，数据距拟合曲线较远。

过拟合（overfitting/high variance）：为了得到一致假设而使假设变得过度复杂，训练出的模型只能在训练数据上很好的拟合，但在训练数据外的数据集上不能很好地拟合数据，泛化能力差。如果有较多的特征而训练数据较少，就容易出现过拟合。

泛化能力（generalization ability)）：机器学习算法对新样本的适应能力。

下图一underfitting，下图三overfitting。

以线性回归为例展示过/欠拟合情况

解决过拟合的方法：

1、减少特征数量     2、正则化

如果每个特征都对最后的结果的有影响，可选择正则化的方法来解决过拟合问题。

正则化：修改代价函数，使参数 θ变小，以获得更简单的模型，如下图所示（通常不惩罚θ0）

正则化的线性回归代价函数

λ为正则化参数，需要平衡选择，既要使模型较好的拟合训练数据，又要使θ变小，避免过拟合。

如果λ选择过大， θ趋近于0，会出现underfitting的情况。

梯度下降法求θ

原锑度下降法求线性回归的参数θ：

原锑度下降法求线性回归的参数θ

求导后：

原锑度下降法求线性回归的参数θ

正则化后J(θ)：

正则化后J(θ)

求导后：

求导后的θj

合并第一项和第三项：

合并后的 θj

第一项中的

大概等于（1-很小的数）如0.99

第二项和之前的梯度下降法求线性回归的参数θ没有区别。

正规方程求θ

原正规方程求 θ的公式：

原正规方程求θ

忽略推导过程，正则化后为：

正则化后正规方程求θ

已证明λ>0，括号中的矩阵一定是可逆的。

逻辑回归的正则化

原逻辑回归代价函数：

原逻辑回归代价函数

正则化需要在上式后加上如下项：

加入项

原梯度下降法求逻辑回归的参数θ（求导后）：

原梯度下降法求逻辑回归的参数θ

正则化后梯度下降法求逻辑回归的参数θ（求导并且合并后）：

正则化后求θ