机器学习---白话Logistic回归

1、Logisti回归的基本概念

首先logistic回归是一个分类算法，大家不要被名称所诱惑，这一点非常重要！然后logistic回归属于是利用了一个叫做sigmoid函数的映射，简称S函数，S函数的定义如下：

函数图像是这样的：

分类的模型使用的是将上面的的S函数的分母的e的幂次换掉。然后直接判断函数的值就可以判断出类别属于1的概率。在判断二分类的时候，只需要和0.5进行比较，大于0.5时候就是正类，小于0.5时候就是负类。

2、logistic回归的步骤

2.1、确定使用S函数
其实决策函数为什么使用S函数呢，这个是因为S函数是一个凸函数，此外还有很多好用的性质，最主要的是能够很好的表示类别出现的概率。

2.2、将训练数据和S函数结合
因为我们要预测是在某些特征下样本是属于哪一类的，假如f(x)=-（wx+b），
然后进行结合就可以得到下面的式子：

2.3、决策边界
接下来我们只要研究f(x)=-（wx+b）就可以了，我们定义决策函数：

当属于正类的时候上面的函数值大于0；当遇到负类的时候就小于0，可以看到这是一个线性的决策边界，但是有时候我们看到的并不是线性的，非线性决策边界就可以按照下面的例子：

当然还有更加复杂的决策函数。

2.4、 损失函数

对于单一的样本，有如下的损失函数：

可以进行简单化，然后结合上所有的样本求平均损失函数：

2.5、梯度下降求损失函数的最小值
采用常用的梯度下降法来确定 ，即设置一个学习率 ，同步更新所有的j从1到n

最终的迭代公式就是：

对于学习率 的设定，如果 值过小，则可能会迭代过多的次数而导致整个过程变得很慢，而如果 值过大，则可能导致错过最佳收敛点。所以计算过程中要选择合适的学习率

3、Logitic回归的优缺点和适用场景：

待续。。。。