机器学习-基于Logistic回归和Sigmoid函数的分类

Logistic回归

1.先给出Sigmoid函数

由这个函数生成的曲线称为Sigmoid曲线

对于二元分类，符合伯努利分布（the Bernoulli distribution, 又称两点分布，0-1分布），因为二元分类的输出一定是0或1，典型的伯努利实验。所以：

由最大似然函数可知

两边同时取对数：

因为求似然函数的最大值，所以采用梯度上升的方法：

由此可以看出最终的更新规则为：

这个梯度公式，奇迹般的和线性回归中的梯度公式表面上看是一样的，但是的定义不同