加入惩罚项的逻辑回归(正则化)——Octave代码

逻辑回归的代价函数:

当特征较多时,需要高阶多项式去拟合,那么容易出现过拟合的状态,此时需要正则化来进行处理,从而避免过拟合的情况发生,提供泛化能力。

 

惩罚项:

加入惩罚项的逻辑回归(正则化)——Octave代码_第1张图片

 

正则化后的代码:

J = 1/m*sum(-y.*log(sigmoid(X*theta))-(1-y).*log(1-sigmoid(X*theta)))+lambda/(2*m)*(theta_1'*theta_1);

 

注意:

  • 逻辑回归的假设函数是:

       加入惩罚项的逻辑回归(正则化)——Octave代码_第2张图片

  • 由于 \theta _{0} 不需要参与正则化计算,所以把 \Theta 向量第一个元素设置为0:
theta_1 = [0;theta(2:end)];
  • 只有惩罚项要用到theta_1,前面的不需要修改 \Theta,从而用的是theta
  • 惩罚项的分母 (2*m)要加括号,不然m就变成分子的一部分了。(我就因为括号问题费了不少劲)
  • 尽量用向量化编写代码,而不是用for循环,因为矩阵的计算效率更高。

 

梯度下降代码:

grad = (X'*(sigmoid(X*theta)-y))/m+lambda/m*theta_1;

 

 

 

 

 

 

你可能感兴趣的:(机器学习/深度学习,机器学习,逻辑回归)