解读Logistic回归模型

一、logistic回归的由来

logistic回归在百度百科是这样定义的:

        logistic回归又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域。

        由此可见 logistic回归是从线性回归模型推广而来的,线性回归模型如下:

h(x)=\theta _{0}+\theta _{1}x_{1}+\theta _{2}x_{2}+ ... +\theta _{n}x_{n}  -----------线性方程形式

h(x)=\Theta ^{T}X    ----------------向量形式

        h(x)输出为连续的值但是实际中会有"输出为离散型变量"这样的需求,例如:给定特征预测一次金融交易是否是欺诈(1表示是, 0表示不是),显然不能直接使用线性回归模型(上面的线性回归方程自变量的取值范围是-∞到+∞,右侧表达式的的值的范围也是-∞到+∞),而这时逻辑回归就派上用场了。

二、Logistic回归模型建立

        离散型变量涉及的问题通常称之为 分类问题,在分类问题中,尝试预测的是结果是否属于某一个类,下面我们从0-1二元分类问题开始理解。

        现假设因变量y取值为0和1,在自变量x的条件下因变量y=1的概率为p,记作p=P(y=1|x),那么y=0的概率就为1-p(因变量取1和取0的概率比值p/(1-p)   称为优势比),由 P(y=1|x) 推导 Sigmoid函数,推导过程如下:

Sigmoid函数公式:h(z)=\frac{1}{1+e^{-z}}         ----------------------- (1)

Sigmoid函数图形:(上下阈值无限逼近 1 和 0)

解读Logistic回归模型_第1张图片

Logistic回归可理解为是在线性回归的基础上加一个Sigmoid函数对线性回归的结果进行压缩,令其最终预测值y在一个范围内(0到1之间),或者说是在用线性回归模型的预测结果去逼近真实标记的对数几率。

上述由 P(y=1|x) 推导 Sigmoid函数的过程中,设置了:

\large z=ln \frac{P(x|y=1)P(y=1)}{P(x|y=0)P(y=0)}

这里,需要一个引经据典,才能进行下一步推导:

1730 年,法国数学家棣莫弗(1677年-1754年)出版的著作《分析杂论》中包含了著名的棣莫弗─拉普拉斯定理。他使用正态分布取估计n(很大)时抛掷硬币出现正面次数的分布,即二项分布B(n,0.5)。这就是概率论中第二个基本极限定理的雏形。将近80年后,拉普拉斯(1749年-1827年)在 1812 年出版的《概率的分析理论》中,首先明确地对概率作了古典的定义。他指出当n很大时,二项分布B(n,p)(0。所以后人称之为棣莫弗-拉普拉斯中心极限定理

所以,我们假设 类条件概率密度 服从正态分布。

高中的时候我们便学过一维正态分布的公式为:

N(x|\upsilon ,\sigma ^{2}) = \frac{1}{\sqrt{2\pi\sigma ^{2} }}e^{-\frac{1}{2\sigma ^{2}}(x-\upsilon )^{2}}

拓展到多维时,就变成:

N(\bar{x}|\bar{\upsilon},\Sigma ) = \frac{1}{(2\pi) ^{\frac{D}{2}}} \frac{1}{\left |\sum \right |^{\frac{1}{2}}} e^{[ -\frac{1}{2} (\bar{x} - \bar{\upsilon })^{T} \sum ^{-1} (\bar{x} - \bar{\upsilon}) ]}     --------------------------  (2)

其中,\bar{X} 表示维度为 D 的向量,\bar{u} 则是这些向量的平均值,Σ 表示所有向量 \bar{X} 的协方差矩阵。

(2)式写成概率的形式:

P(x|c_{k}) = \frac{1}{(2\pi) ^{\frac{D}{2}}} \frac{1}{\left |\sum \right |^{\frac{1}{2}}} e^{[ -\frac{1}{2} (x - \upsilon _{k})^{T} \sum ^{-1} (x - \upsilon _{k}) ]}    

下面开始下一步推导:

由此得到 \large z = w^{^{T}}x + b   

那么 \large f(x) = w^{^{T}}x + b , 什么时候不需要考虑偏置项b?

\(x\)\(b\)吸收入向量形式 \(\hat{w} = (w;b)\),此时就不用单独考虑\(b\)了。

因此令 \theta = (w;b)x ,则 z = w ^{^{T}}x + b = \theta ^{T}x

即:z = \theta ^{T}x   ----------------------- (3)

综合上述 (1)式 和 (3)式,得到Logistic回归模型

h(x) = \frac{1}{1+e^{-\theta ^{T}x}}

完毕。

 

你可能感兴趣的:(AI,sigmoid,Logistic回归,线性回归)