逻辑回归及其公式推导

一、什么是逻辑回归（Logistic Regression）

逻辑回归是一种用于解决二分类问题的机器学习方法，简单来说就是用来表示某件事发生的可能性。

比如：你患有糖尿病的可能性；

           你点击某个广告的可能性。

二、逻辑回归vs线性回归

	类型	变量	是否符合线性关系	假设	应用
逻辑回归	分类	连续	符合	服从伯努利分布	判断西瓜是否为好瓜
线性回归	回归	离散	可以不符合	服从高斯分布	银行预测某人的信用分数

线性回归简单来说是描述了最佳一条拟合输入变量和输出变量的之间关系直线，逻辑回归在线性回归的基础上加了Sigmoid映射函数，引入了非线性因素，可以处理0/1分类问题。

三、逻辑回归的推导

1、sigmoid函数

                                                                             

假设函数   ，所以   

其中 为输入，为要求解的参数，  

2、损失函数

在LR函数中，我们使用最大似然方式来求解模型的参数，用训练得到的值去拟合真实值。

LR的目标函数为         

                                   

在已知x的条件下输出y=1的概率h，则y=0的概率等于1-h

因此似然函数可以表示为  

                                   

用梯度上升求最大值，可转换为梯度下降任务，通过,具体推导过程如下图所示

四、总结

1、LR的两个假设：假设因变量y服从伯努利分布；假设函数

2、LR损失函数：极大似然估计（给定观察数据来评估模型参数的方法）

3、LR为何用极大似然估计作为损失函数：由图片中的公式可知，梯度更新过程只和和，和sogmoid函数本身梯度无关，求解参数速度较快

4、LR求解方法：梯度下降（小批量梯度下降）

5：LR目的：用回归思想求解分类问题，y是连续变量，设置阈值实现分类