逻辑回归python正则化 选择参数_吴恩达机器学习笔记（三）——正则化（Regularization）...
1.过拟合的问题(Over-fitting)
如果我们有非常多的特征，我们通过学习得到的假设可能能够非常好地适应训练集(代价函数可能几乎为0)，但是可能会不能推广到新的数据。
(1)下图是一个回归问题的例子：第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集
第三个模型是一个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质：预测新数据。
我们可以看出，若给出一个新的值使之预测，它将表现的很差，这叫作过拟合。虽然能非常好地适应我们的训练集，但是新输入变量进行预测时，效果会表现的不好。
(2)分类问题中也存在这样的问题：
我们可以用多项式来理解，x的次数越高，拟合的越好，但相应的预测能力就可能变差。
解决过拟合的方式：减少特征值的数量人为的保留一些重要的特征值
用特征选择算法进行特征的选择(PCA、层次分析法)
2.正则化保留所有的特征，但是减少参数
的大小。
2.代价函数(Cost Function)
上面的回归问题中如果我们的模型是：
我们可以从之前的例子中看出来，正是由于高次项导致的过拟合的发生，所以如果我们能够让那些高次项的系数接近于0的话，我们就能够很好的拟合数据集。
所以我们要做的就是在一定程度上减小这些参数 的值，这就是正则化的基本方法。我们决定要减少
和
的大小，我们要做的便是修改代价函数，在其中
和
设置一点惩罚。这样做的话，我们在尝试最小化代价时也需要将这个惩罚纳入考虑中，并最终导致选择较小一些的
和
。
修改后的代价函数：
通过这样的代价函数选择出的 3和 4 对预测结果的影响就比之前要小许多。
假如我们有非常多的特征，我们并不知道其中哪些特征我们要惩罚，我们将对所有的特征进行惩罚，并且让代价函数最优化的软件来选择这些惩罚的程度。这样的结果是得到了一个较为简单的能防止过拟合问题的假设：
其中
又被称为正则化参数(Regularization Parameter)。注：按照惯例我们对
不进行惩罚。经过正则化处理的模型与原模型的可能对比如下图所示：
那为什么增加的一项
可以使 的值减小呢？
: 可以控制两个不同目标之间的取舍。
目标①：去更好地拟合数据集(训练集)
目标②：使参数大小变小，从而使假设函数变得更“简单”。
两者相互平衡，从而达到一种相互制约的关系，最终找到一个平衡点，从而更好地拟合训练集并且具有良好的泛化能力。
因为如果我们令
的值很大的话，为了使Cost Function 尽可能的小，所有的 的值(不包括
)都会在一定程度上减小。如果
取值非常大，那么除了
之外的所有参数都趋近于0，模型成为一条直线。
3.正则化线性回归
正则化线性回归的代价函数为：
{
}
对上面的算法中 = 1,2,..., 时的更新式子进行调整可得：
可以看出，正则化线性回归的梯度下降算法的变化在于，每次都在原有算法更新规则的
基础上令 值减少了一个额外的值。
4.正则化的逻辑回归模型
自己计算导数同样对于逻辑回归，我们也给代价函数增加一个正则化的表达式，得到代
价函数：
Python代码实现：
import numpy as np
def costReg(theta, X, y, learningRate):
theta = np.matrix(theta)
X = np.matrix(X)
y = np.matrix(y)
first = np.multiply(-y, np.log(sigmoid(X*theta.T)))
second = np.multiply((1 - y), np.log(1 - sigmoid(X*theta.T)))
reg = (learningRate / (2 * len(X)) * np.sum(np.power(theta[:,1:theta.shape[1]],2)))
return np.sum(first - second) / (len(X)) + reg
注：这里的learningRate 是指正则化参数。
要最小化该代价函数，通过求导，得出梯度下降算法为：
5.关键函数Python代码实现
1.正则化的逻辑回归模型梯度下降法的代码实现：
def gradientReg(theta, X, y, learningRate):
theta = np.matrix(theta)
X = np.matrix(X)
y = np.matrix(y)
parameters = int(theta.ravel().shape[1])
grad = np.zeros(parameters)
error = sigmoid(X * theta.T) - y
for i in range(parameters):
term = np.multiply(error, X[:,i])
if (i == 0):
grad[i] = np.sum(term) / len(X)
else:
grad[i] = (np.sum(term) / len(X)) + ((learningRate / len(X)) * theta[:,i])
return grad
5.如何更好地拟合数据去收集更多的数据
尝试更少的特征值
尝试更多的特征值
增加多项式
增大\减小正则化参数