Logistic逻辑回归模型与参数估计

一、引言

线性回归的因变量是连续变量，而逻辑回归解决的是因变量是分类变量的问题。当然，自变量既可以是连续的也可以是分类的，但是分类变量做自变量前需要做哑变量处理。

逻辑回归将分类因变量的0、1等 值转换为取其值的概率，将二分类模型转换为线性函数模型，转换后模型课表示为
$$ln\frac{p(y=1)}{1-p(y=1)}={\beta }_0+{\beta }_1{x}_1+...+{\beta }_p{x}_p+\epsilon$$
即$ln\frac{E(y)}{1-E(y)}$是$x_1,x_2,...,x_p$的线性函数，$logit[p(y=1)]=ln[\frac{p(y=1)}{1-p(y=1)}]$就是Logit转换。也可以转换为
$$p(y=1)=\frac{exp({\beta }_0+{\beta }_1{x}_1+...+{\beta }_p{x}_p)}{1+exp({\beta }_0+{\beta }_1{x}_1+...+{\beta }_p{x}_p)}$$

二、回归模型估算方法

Logistic回归模型有两种估算方法，一种是加权最小二乘法估计，用于分组数据的Logistic回归模型；另一种是最大似然估计，用于未分组数据的Logistic回归模型。

2.1 分组数据的Logistic回归模型

分组数据的Logistic回归模型也可以称为分层逻辑回归，分类因变量的每一个可能取值 都能得到一个属于此取值的样本，且样本由此取值对应的原始数据统计得到，然后得到回归模型。这种方式的回归样本数 等于 分类因变量可能取值的个数。

下表9-5为例，分类因变量一共有9个可能取值，即 $i=1,2,...,9$。用家庭收入$x$作为自变量（由每一类可能取值对应的原始数据的平均值得到），回归模型为${p_i}^{\prime }={\beta }_0+{\beta }_{1}x，{p_i}^{\prime }=ln\frac{p_i}{1-p_i}$，回归样本数为9。

对于每一个因变量的取值（对于每一个样本 $i=1,2,...,9$）：
$$p_i=\frac{exp({\beta }_0+{\beta }_1{x}_{i1}+...+{\beta }_p{x}_{ip})}{1+exp({\beta }_0+{\beta }_1{x}_{i1}+...+{\beta }_p{x}_{ip})},i=1,2,...,9$$
即
$$ln\frac{p_i}{1-p_i}={\beta }_0+{\beta }_1{x}_{i1}+...+{\beta }_p{x}_{ip},i=1,2,...,n$$
用9个样本回归后，得到
$$p=\frac{exp({\beta }_0+{\beta }_1{x}_1+...+{\beta }_p{x}_p)}{1+exp({\beta }_0+{\beta }_1{x}_1+...+{\beta }_p{x}_p}$$
为了避免异方差，采用加权最小二程的方式获得回归参数的估计值${\beta }_0,{\beta }_1,...,{\beta }_p$，加权权重的计算方式为
$$w_i=n_i{p}_i(1-p_i)$$
注：分组数据的Logistic回归只适用于大样本的分组数据，对小样本的未分组数据不适用，并且组数即为回归拟合的样本数，容易造成拟合精度不够。一般情况下，多采用极大似然估计直接拟合未分组数据的Logistic回归模型。

2.2 未分组数据的Logistic回归模型

假设$n$组样本$(x_{i1},x_{i2},...,x_{ip};y_i),i=1,2,...,n$，其中 $y_1,y_2,...,y_n$是取值为0或1的随机变量，$x_1,x_2,...,x_p$是与 $y$ 相关的确定性变量。对于每一个样本有
$$p_i=\frac{exp({\beta }_0+{\beta }_1{x}_{i1}+...+{\beta }_p{x}_{ip})}{1+exp({\beta }_0+{\beta }_1{x}_{i1}+...+{\beta }_p{x}_{ip})},i=1,2,...,n$$
即
$$ln\frac{p_i}{1-p_i}={\beta }_0+{\beta }_1{x}_{i1}+...+{\beta }_p{x}_{ip},i=1,2,...,n$$
用$n$个样本回归后，得到
$$p=\frac{exp({\beta }_0+{\beta }_1{x}_1+...+{\beta }_p{x}_p)}{1+exp({\beta }_0+{\beta }_1{x}_1+...+{\beta }_p{x}_p}$$
与分组数据回归不同的是，样本存在相同的$y$值，$y$值相同的样本 $p_i$ 值和 $ln\frac{p_i}{1-p_i}$ 值相等。

利用$n$组样本回归得到Logistic回归模型，样本以表9-6为例 $n=28$

这种模型采用最大似然估计获得回归参数，假设为二分类逻辑回归模型，其思路定义因变量 $y$的联合概率密度为
$$P(y_i)={\pi }_i^{y_i}(i-{\pi }_i{)}^{1-y_i},y_i=0,1;i=1,2,...,n$$
其中${\pi }_i=\frac{exp({\beta }_0+{\beta }_1{x}_1+...+{\beta }_p{x}_p)}{1+exp({\beta }_0+{\beta }_1{x}_1+...+{\beta }_p{x}_p)}$,于是$y_1,y_2,...,y_n$的似然函数为：
$$L=\prod _{i=1}^{n}P(y_i)=\prod _{i=1}^n{\pi }_i^{y_i}(i-{\pi }_i{)}^{1-y_i}$$
取对数后
$$lnL=\sum _{i=1}^n{y}_i({\beta }_0+{\beta }_1{x}_{i1}+...+{\beta }_p{x}_{ip})-\sum _{i=1}^{n}ln[1+exp({\beta }_0+{\beta }_1{x}_{i1}+...+{\beta }_p{x}_{ip})]$$
用数值计算得到参数估计值${\beta }_0,{\beta }_1,...,{\beta }_p$。

参考书：《多元统计分析》何晓群