逻辑回归里的sigmoid函数是何方神圣？

本篇文章主要介绍逻辑函数中的假设函数h(x)的由来。假设读者已经知道了逻辑函数的大概意义以及伯努利分布等概率知识。

今天学习了一下逻辑回归，之前在Ng的公开课中听他讲完后一直心里耿耿于怀，为什么我们的假设函数就是这个样子？

我们从逻辑回归的本质出发，逻辑回归(Logistic regression)一般适用于二分类的问题，即给一组数据，判断结果是0或1，这里的0或1当然在实际中有着它们实际的意义。比如垃圾邮件的分类，天气的预测，疾病的判断等等。所以，有没有想到什么。还记得伯努利分布吗，，我们的其实就是这里的p(p也是函数中x=1的概率，把这里记好了), 然后，我们让满足以下条件：

为什么呢，因为这是二分类法啊，如果结果y等于1的概率(也就是p)占了多半(>=0.5)那我们就说这次结果是1，反之则是0。那我们现在需要做什么，需要知道p怎么估计，我们知道，p代表的是概率，它的取值范围是0到1，我们需要用我们的一组抽样简称  去表示p，而我们现在能做的是给定一组简称  ,令

到这里我们会发现，这个方程也是线性回归的方程。有些人会说，用直接用z代替p不不好吗，注意了z的取值范围是R，概率的取值范围是0到1的闭区间。所以我们要想办法写一个函数g, 使得. 那问题来了，怎么选择这样的一个函数呢？

这里就要引入一个指数族分布（The exponential family distribution)的概念，别担心，一点也不难。

满足以下形式的分布，也就是一把一个分布化啊化，可以化成这个形式的，该分布就属于指数族分布

其中长的像n的那个，就是自然参数（natural parameter)，T(y)是充分统计量，什么是充分统计量，简单说就是说，这里y是一组抽样，T是关于抽样的一个函数，T(y) 包含了估计参数所需要的所有信息，我们不需要其他信息去估计参数，满足这样的T(y)我们称之为充分统计量。先暂时理解为一个关于自然参数的函数。 

经过观察可以发现，这里我们的自然参数就是，可以理解也就是在z作为参数的情况下去计算p(y)。

之前说过，逻辑回归是二分类问题，所以它服从伯努利分布, 让我们把伯努利方程试着变幻一下形式

对比刚才的指数族分布，可以发现，

                                                                         

而刚才我们说过，z即是自然参数，所以我们便有

                                                                        

最终，我们有了