[Week 3] Machine-learning Notes 10 ——Solving the Problem of Overfitting(解决过拟合问题)

The Problem of Overfitting

到现在为止，我们已经见识了几种不同的学习算法，包括线性回归和逻辑回归。

但是，当将它们应用到某些特定的机器学习应用时，会遇到过度拟合(over-fitting)的问题，可能会导致它们效果很差。
但是有一种称为正则化(regularization)的技术 它可以改善或者减少过度拟合问题，以使学习算法更好实现 。

没有很好的拟合数据叫做欠拟合（underfitting）或者高偏差（High bias）
而过拟合的意思也很明显，就是虽然也拟合了所有的数据集，但是由于它的趋势线却是不正确的（扭曲的），不具有泛性。

过拟合的定义

**容易发生的情形：变量过多而训练集较少 **
这种时候训练出的方程总能很好的拟合训练数据，所以代价函数实际上可能非常接近于0或者就是0，但是，这样的曲线它千方百计的拟合于训练数据，导致它无法泛化到新的数据样本中，以至于无法预测新样本价格。

如何避免：

1. 降低特征变量（两种都不是适合，因为都会舍弃一些信息，变得不再严谨）
   ——手动选择保留哪些变量（但是通常比较麻烦，不好确认）
   ——模型选择算法（Model selection algorthm）（之后再讲）
2. 正则化
   ——保留所有的特征变量，但是减少数量级或参数数值的大小 θ(j)

更详细见下面笔记

Cost Function（这一部分第一次看确实没看懂)

这部分只要来讲正则化是如何进行的，和使用正则化需要使用的代价函数

假设现在我们已经知道这个假设函数是过度拟合的，我们可以通过增加惩罚项的方法

Cost Function

正则化线性回归（Regularized Linear Regression）

• 对于梯度下降算法：
  当我们使用正则化线性回归的我们需要做的就是，在每一个被正规化的参数 θ(j)上乘以了一个,比1小一点点的数字,也就是把参数压缩一点，执行跟以前一样的更新。

• 对于正规化方法：
  具体的细节并没有讲解，只是给出了一个推导公式，同之前学习正规化一样，看论坛是根据高数中的最小二乘法求得的（我的天啊。。）

正则化逻辑回归（Regularized Logistic Regression）

• 对于梯度下降算法，代价函数和求法仍然和正则化线性回归的类似
• 对于Advanced Optimization，这部分仍然需要再探讨

canvas.png