LR逻辑回归和sigmoid 函数

Q:

1, 逻辑回归为什么要使用sigmoid函数.
2, LR模型的意义,即为什么有了线性回归(linear regression)还需要逻辑回归(logistic regression)

 

A:

1、逻辑回归模型的定义:

逻辑回归的输入是一个线性组合,与线性回归一样,但输出变成了概率

那么需要一个函数将逻辑回归的输入(一个线性组合)与p联系起来。下面介绍这个函数,它的名字叫Logit.

我们定义:
Odds = \frac{p}{1-p}

上式很直观,表示成功的概率(p=1)是失败概率(p=0)的多少倍,中文叫做发生比。

logit\left ( p \right )=ln\left ( Odds \right )=ln\left ( \frac{p}{1-p} \right )=\theta ^{T}x

计算出

p=\frac{1}{1+e^{-\theta ^{T}x}}

其中p是y=1的概率

以上就是逻辑回归模型的定义。

从定义可知:逻辑回归=普通线性回归+sigmoid函数,即将线性回归的值域\left ( -\infty,\infty \right )压缩到\left ( 0,1 \right )内,从而概率化,实现分类目的。

 

2、sigmoid函数:

p\left ( t \right )=\frac{1}{1+e^{-t}}

图像是

LR逻辑回归和sigmoid 函数_第1张图片

值域刚好在\left ( 0,1 \right )​​​​​​​

你可能感兴趣的:(机器学习及统计学习)