为什么LR模型使用Sigmoid函数？

首先要说明的是，Sigmoid不是被选择出来的，而是被推导出来后给它署名Sigmoid.
逻辑回归模型是一种广义线性模型，而逻辑回归满足伯努利分布，伯努利分布是指数分布族的一种，而指数族分布有如下的形式：
$$p(y;\eta )=b(y)\exp \left({\eta }^{T}T(y)-a(\eta )\right)$$

• $\eta$ 是参数
• $T(y)$是充分统计量（充分统计量就是可以确定一个分布的统计量，比如平均值和方差这两个充分统计量可以确定一个正态分布）， （一般情况下$T(y)=y$）
• $a(\eta )$，是个归一化的常量，保证$\sum p(y;\eta )=1$

伯努利分布形式如下：
$$p(y=1;\varphi )=\varphi ;p(y=0;\dot{\varphi })=1-\varphi$$
根据伯努利分布的结果，逻辑回归的广义线性模型的形式可写为：
$$p(y;\varphi )={\varphi }^y(1-\varphi {)}^{1-y}$$
我们现在的目标就是求$\eta$的表达式：
写成如下的形式
$$\begin{array}{rl}p(y;\varphi )& ={\varphi }^y(1-\varphi {)}^{1-y}\\ & =\exp (y\log \varphi +(1-y)\log (1-\varphi ))\\ & =\exp \left(\left(\log \left(\frac{\varphi }{1-\varphi }\right)\right)y+\log (1-\varphi )\right)\end{array}$$
让逻辑回归的表达式满足伯努利分布的指数分布族表达式，即(1)式子，即让：

$$b(y)\exp \left({\eta }^{T}T(y)-a(\eta )\right)==\exp \left(\left(\log \left(\frac{\varphi }{1-\varphi }\right)\right)y+\log (1-\varphi )\right)$$
那么：

• $b(y)=1$
• $T(y)=y$
• $\eta =\log \left(\frac{\varphi }{1-\varphi }\right)$ （1）
• $\begin{array}{rl}a(\eta )& =-\log (1-\varphi )\end{array}$

从（1）式子可以推出
$$\varphi =\frac{1}{\left(1+e^{-\eta }\right)}$$
即Sigmoid函数的形式。

所以，LR是用Sigmoid 函数不是因为，LR选择了它当作越阶函数，而是根据线性模型和直属分布族的性质推导出了它。

参考资料

https://zhuanlan.zhihu.com/p/22876460