逻辑斯蒂回归（二项和多项）

逻辑斯蒂回归（二项和多项）

1. 逻辑斯蒂分布定义

设X是连续随机变量，则X服从逻辑斯蒂分布，是指X具有下列分布函数和密度函数：

F(x)=P(X<=x)=11+e−(x−μ)/γ

f(x)=F′(x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2

其中 μ是位置参数，γ>0是形状参数

F(x)图像如下：

1. 二项逻辑斯蒂回归模型

1.1
二项逻辑斯蒂回归模型是一种分类模型，由条件概率分布P（Y|X）表示。这里X取值为实数，Y取0或者1.概率模型如下：

P(Y=1|x)=exp(ω∗x+b)1+exp(ω∗x+b)

P(Y=0|x)=1−P(Y=1|x)=1)1+exp(ω∗x+b)

1.2
对数几率：如果事件发生的概率是p，那么该事件的几率是 p1−p ，改事件的对数几率是：

logit(p)=logp1−p

对二项逻辑斯蒂回归而言， logit(p)=logP(Y=1|x)1−P(Y=1|x)=ω∗x+b
1.3
模型参数估计，极大似然法
似然函数： L(ω,b)=ΠNi=1p(yi|xi;ω,b) ——即在参数 β=(ω,b) 的条件下，样本 xi 属于 yi 的概率
其中 p(yi|xi;ω,b)=yi∗p(y=1|xi;β)+(1−yi)∗p(y=0|xi;β)
取对数： logL(ω,b)=ΣNi=1logp(yi|xi;ω,b)
采用梯度下降或牛顿法求解

2. 多项逻辑斯蒂回归模型

概率模型

P(Y=k|x)=exp(ωK∗x+b)1+ΣK−1i=1exp(ωk∗x+b),k=1,2,...,K−1

P(Y=K|x)=11+ΣK−1i=1exp(ωk∗x+b)

1.原理：分类的思想其实与逻辑回归分类(默认是指二分类，binary classification)很相似——构造K个二分类LR假设函数即可
这里其实是“one VS all“的思想：对每一个类，有针对性地训练一个LR分类器。当输入一个新的样本，预测该样本为分类器得分最高的那一类即可

2.如下图，共有三类。每次训练某一类的时候，将其他所有类归位另一类进行训练，得到一个二分类的LR

3.参数估计
二项逻辑斯蒂回归的参数方法可以推广到多项