逻辑回归LR的举例理解

一、回顾一下逻辑回归的流程：

Sigmoid函数：

其中：

xi表示第i个属性的值，wi表示其权重；

损失函数形式如下：

二、sigmoid函数：

存在logi函数：（含义是正例和负例的比值，此函数是单调函数，定义域是0~1，值域是大于0的实数）

其中p是正例的概率；如果将右边取对数，然后logi函数就变为：（此函数不是logi函数了，值域变为实数域了。）

在将上式变形（反函数形式）得：

此函数就是上面所提到的sigmoid函数；而再将Q写成线性回归形式，则就成为逻辑回归的标准形式了。

为什么要做这样的变换，我个人的理解是：这个公式其实蕴含的意思是，一个时间发生的概率是可以利用此式子表示的；而且此函数的定义域是整个实数，但是值域自然就是[0,1]的概率，这就是将回归的思想转换成离散概率的形式了。

注意：这个函数有一个很好的特点，就是它的导数形式非常比较好求；

将p进行替换可以得到如下形式：

三、看一个例子：（抛硬币）

假如一个人在玩抛硬币，他在研究怎么抛硬币就可以控制硬币的正反了。他考虑：每次抛硬币的姿势会影响硬币的正反，每次抛硬币时是否有风会影响硬币的正反，每次抛硬币的力度会影响硬币的正反，每次抛硬币的初始状态也会影响硬币的正反，……等等，有很多因素。他做了很多次试验，都把这些已经事先约好的影响因素（假如都用数字）记录下来，同时也记录下来这样的情况下硬币的正反，最后他想预测得到以后在每种情况下正反的结果，来跟他的朋友进行打赌。

（这个应该就是标准的分类问题，我们可以直接用LR模型进行计算预测。）但是如果我们生活在以前，没有逻辑回归模型的时代的话，设想一下人们是怎么想出来用逻辑回归解决这个问题的呢？

我们考虑一下这个实验的特点：

• 每次抛硬币都是互不影响的，是相互独立的
• 每次都只会是正面或者反面，这两种情况
• 我们想得到一组参数和公式，通过这个公式和参数，我们可以根据每次抛硬币的情况来计算得到是正还是反

从上面的分析其实我们大致应该能想到，这个问题应该符合“泊松分布（0~1分布）”，由于每次得到正反，应该还是不确定的，所以我们可以先计算正面的概率；那么这个问题就转化为，挑选一个公式计算其正面的概率。

现在想到我们上面的公式，logi函数和sigmoid函数，借用到这里进行计算，将得到下面的分析和公式。

将各个情况的分析为x的变量，w是每个变量的权重，再将其带入，最后可以得到为正面的概率，其实y就是概率p，因为有。

假如，做了n次试验，得到的结果都记录，则可以计算这么多次试验中正面的概率为如下：

这里的假设是：两次抛硬币时相互独立的，即符合二项分布的。

此式取最大值的时候可以计算得到每个属性前面的参数，但是由于上式比较难以计算，但是两边取对数，之后就将连乘转换为求和，即：

此问题就可以转化为，在所有的w取多少的时候，整体概率P才是最大的可能性和试验是一致的，即可以求以上函数的极大值。

如果将上式前面加负号，然后用梯度下降法求取在w变化下的极值，那么这就是我们要求得的LR模型；

以上是理解的记录，如有不对的地方欢迎讨论！