吴恩达机器学习----正则化

吴恩达机器学习教程学习笔记 （5/16）

吴恩达教授（Andrew Ng）的机器学习可以说是一门非常重视ML理论基础的课程，做做一些简单的笔记加上个人的理解。本笔记根据吴恩达的课程顺序，以每章内容作为节点进行记录。（共18章，其中第3章“线性代数回顾”与第5章“Octava教程”的笔记就不总结了）

第七章 正则化(Regularization)

1、过拟合的问题

如果我们有非常多的特征,我们通过学习得到的假设可能能够非常好地适应训练集(代价函数可能几乎为0),但是可能会不能推广到新的数据。
例子
下图是一个回归问题：

第一个模型是一个线性模型：欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型，过于强调拟合原始数据,而丢失了算法的本质:预测新数据。我们可以看出，若给出一个新的值使之预测，它将表现的很差，是过拟合。虽然能非常好地适应我们的训练集但在新输入变量进行预测时可能会效果不好；而中间的模型似乎最合适。
下图是一个分类问题：

就以多项式理解，x 的次数越高,拟合的越好，但相应的预测的能力就可能变差。
如果我们发现了过拟合问题，可以利用正则化的手段来处理。

2、代价函数

回归问题中如果我们的模型是：
$$h\theta (x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2^2+{\theta }_3{x}_3^3+{\theta }_4{x}_4^4$$
我们可以从之前的事例中看出,正是那些高次项导致了过拟合的产生，所以如果我们能让这些高次项的系数接近于 0 的话，就能很好的拟合了。
所以要做的就是在一定程度上减小这些参数θ的值，这就是正则化的基本方法。我们决定要减少θ₃和θ₄的大小，我们要做的便是修改代价函数,在其中θ₃和θ₄设置一点惩罚。这样做的话,我们在尝试最小化代价时也需要将这个惩罚纳入考虑中，并最终导致选择较小一些的θ₃和θ₄ 。
修改后的代价函数如下：
$$mi{n}_{\theta }1/2m[\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+1000{\theta }_3^2+10000{\theta }_4^2]$$
通过这样的代价函数选择出的θ3和θ4对预测结果的影响就比之前要小许多。假如我们有非常多的特征,我们并不知道其中哪些特征我们要惩罚,我们将对所有的特征进行惩罚，并且让代价函数最优化的软件来选择这些惩罚的程度。这样的结果是得到了一个较为简单的能防止过拟合问题的假设：
$$J(\theta )=1/2m[\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\lambda \sum _{j=1}^n{\theta }_j^2]$$其中λ又称为正则化参数(Regularization Parameter)。
注：根据惯例，我们不对θ0进行惩罚。经过正则化处理的模型与原模型的可能对比如下图所示：

如果选择的正则化参数 λ 过大，则会把所有的参数都最小化了，导致模型变成 $$h_{\theta }(x)={\theta }_0$$ ,也就是上图中红色直线所示的情况，造成欠拟合。
但如果我们令 λ 的值很大的话，为了使 Cost Function 尽可能的小，所有θ的值(不包括θ₀)都会在一定程度上减小。
所以对于正则化,我们要取一个合理的 λ 的值，这样才能更好的应用正则化。

3、正则化线性回归

正则化线性回归的代价函数为：
$$J(\theta )=1/2m\sum _{i=1}^m[((h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\lambda \sum _{j=1}^n{\theta }_j^2)]$$如果我们要使用梯度下降法令这个代价函数最小化，因为我们未对进行正则化，所以梯度下降算法将分两种情形：
Repeat until convergence{
$${\theta }_0:={\theta }_0-a/m\sum _{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}))x_0^{(i)}$$$${\theta }_j:={\theta }_j-a[1/m\sum _{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}))x_j^{(i)}+\lambda /m{\theta }_j]$$
}
Repeat
对上面的算法中j = 1,2, . . . , n 时的更新式子进行调整可得：
$${\theta }_j:={\theta }_j(1-a\lambda /m)-a/m\sum _{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}))x_j^{(i)}$$可以看出，正则化线性回归的梯度下降算法的变化在于，每次都在原有算法更新规则的基础上令θ值减少了一个额外的值。

4、正则化逻辑回归

给代价函数增加一个正则化的表达式，得到代价函数:
$$J(\theta )=1/m\sum _{i=1}^m[-y^{(i)}log(h_{\theta }(x^{(i)}))-(1-y)log(1-h_{\theta }(x^{(i)}))]+\lambda /2m\sum _{j=1}^n{\theta }_j^2$$
Python代码实现：

import numpy as np
def costReg(theta, X, y, learningRate):
	theta = np.matrix(theta)
	X = np.matrix(X)
	y = np.matrix(y)
	first = np.multiply(-y, np.log(sigmoid(X*theta.T)))
	second = np.multiply((1 - y), np.log(1 - sigmoid(X*theta.T)))
	reg = (learningRate / (2 * len(X))* np.sum(np.power(theta[:,1:the
	ta.shape[1]],2))
	return np.sum(first - second) / (len(X)) + reg

要最小化该代价函数,通过求导,得出梯度下降算法为:
Repeat until convergence{
$${\theta }_0:={\theta }_0-a/m\sum _{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}))x_0^{(i)}$$$${\theta }_j:={\theta }_j-a[1/m\sum _{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}))x_j^{(i)}+\lambda /m{\theta }_j]$$for j = 1,2,…n
}
注：看上去同线性回归一样,但是$$h_{\theta }(x)=g({\theta }^{T}X)$$,所以与线性回归不同。

感谢黄海广博士团队的翻译和笔记
END