分类算法——Logistic回归

分类:预测y为离散值0或1的情况；

Logistic函数=sigmoid函数

 函数表达的含义是P(y=0)+P(y=1)=1

Logistic回归模型的拟合

Logistic回归的代价函数J

其中cost：

 y=1时； 代价为0； 表明如果真实值是1，然而却预测0，那么代价cost就会无穷大；

相反y=0时（图像反过来），如果真实值是0，然而却预测1，那么cost就会无穷大；

Logistic回归的正则化

过拟合：高度符合训练样本，但是在（测试集）预测的效果不好。

正则化：约束参数的范围不要太大，从而防止过拟合。

代价函数：新加正则化参数

 

之前的梯度下降算法，对θ(J)进行更新。

 正则化的梯度下降算法： 方括号里的是正则化的代价函数J(θ)对θj求偏导