机器学习-逻辑斯蒂回归与最大熵模型概述-数学推导及乳腺癌数据分类python实现

1. 逻辑蒂斯回归

逻辑蒂斯回归（logistic regression）是统计学习中的经典分类方法。属于概率性判别模型。其基本思路是：给定输入实例$X$，分别利用二项逻辑蒂斯回归模型计算$P(Y=1|x)$和$P(Y=0|x)$，比较两个概率的大小，将$X$分类到概率大的一类。算法特点：通过逻辑斯谛回归模型的定义式$P(Y=1|x)$ 可以将线性函数$\omega \ast x$转换为概率值，线性函数值ω*x越接近正无穷，概率值越接近为1，线性函数越接近负无穷，概率值越接近为0。

1.1 二项逻辑斯蒂回归模型

二项逻辑斯蒂回归模型（binomial logistic regression model）是一种分类模型，由条件概率分布$P(Y|X)$表示，形式为参数化的逻辑斯蒂分布。这里，随机变量X取值为实数，随机变量$Y$取值为1或0。二项逻辑斯蒂回归模型是如下的条件概率分布：
$$P(Y=1\mid x)=\frac{\exp (\omega \cdot x+b)}{1+\exp (\omega \cdot x+b)}$$$$P(Y=0\mid x)=\frac{1}{1+\exp (\omega \cdot x+b)}$$
$x\in {\mathbb{R}}^n$为输入，$Y\in \{0,1\}$为输出，$\omega \in {\mathbb{R}}^n$和b \in R^{n}为参数，$\omega$为权值向量，$b$为偏置。将权值向量和输入向量加以补充，得：
$$P(Y=1\mid x)=\frac{\exp (\omega \cdot x)}{1+\exp (\omega \cdot x)}$$$$P(Y=0\mid x)=\frac{1}{1+\exp (\omega \cdot x)}$$

1.2 逻辑蒂斯回归模型的特点

引入几率的概念：事件发生的概率与事件不该发生的概率的比值。逻辑蒂斯回归模型的对数几率：
$$\log \frac{P(Y=1\mid x)}{1-P(Y=1\mid x)}=\omega \cdot x$$
模型实际的$\omega$，$x$的取值是没有范围限制的，所以对几率取对数，实现将对数线性函数$\omega \ast x$转换为概率值，线性函数的值越接近正无穷，概率值就越接近1，线性函数的值越接近负无穷，概率值就越接近0。

1.3 模型参数估计

采用极大似然法估计模型参数$\omega$，以对数似然函数为目标的最优化问题的方法采用梯度下降法和拟牛顿法。
设：
$$P(Y=1\mid x)=\pi (x),P(Y=0\mid x)=1-\pi (x)$$
似然函数为：
$$\prod _{i=1}^N{\left[\pi \left(x_i\right)\right]}^{y_i}{\left[1-\pi \left(x_i\right)\right]}^{1-y_i}$$
对数似然函数为：
$$\begin{array}{rl}L(\omega )& =\sum _{i=1}^N\left[y_i\log \pi \left(x_i\right)+\left(1-y_i\right)\log \left(1-\pi \left(x_i\right)\right)\right]\\ & =\sum _{i=1}^N\left[y_i\log \frac{\pi \left(x_i\right)}{1-\pi \left(x_i\right)}+\log \left(1-\pi \left(x_i\right)\right)\right]\\ & =\sum _{i=1}^N\left[y_i\left(\omega \cdot x_i\right)-\log \left(1+\exp \pi \left(\omega \cdot x_i\right)\right)\right]\end{array}$$
对$L(\omega )$求极大值，得到$\omega$的估计值$\hat{\omega }$。
那么学习到的逻辑蒂斯回归模型为：
$$P(Y=1\mid x)=\frac{\exp (\hat{\omega }\cdot x)}{1+\exp (\hat{\omega }\cdot x)}$$$$P(Y=0\mid x)=\frac{1}{1+\exp (\hat{\omega }\cdot x)}$$

2. 最大熵模型

2.1最大熵模型（Maximum Entropy Model）

是一种生成模型，是概率模型学习中一个准则。其思想为：在学习概率模型时，所有可能的模型中熵最大的模型是最好的模型；若概率模型需要满足一些约束，则最大熵原理就是在满足已知约束的条件集合中选择熵最大模型。最大熵原理指出，对一个随机事件的概率分布进行预测时，预测应当满足全部已知的约束，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小，因此得到的概率分布的熵是最大。

最大熵模型假设分类模型是一个条件概率分布$P(X|Y)$，$X$为特征，$Y$为输出。在给定训练集的情况下，我们可以得到总体联合分布$P(X,Y)$的经验分布和边缘分布$P(X)$的经验分布$P(X|Y)$和$P(X)$。
用特征函数$f(x,y)$描述输入$x$和输出$y$之间的某一个事实。定义为：
$$f(x,y)=\{\begin{array}{c}1,x\text{ 与 }y\text{ 满足某一事实 }\\ 0,\text{ 否 }\end{array}$$
它是一个二值函数，当$x$,$y$满足事实时取1，否则取值为0。例如，if y=”乘坐”and next x=”bus” 此时$f$取值为1 。
这个特征函数表征样本$X$特征中对$Y$的影响，形式化表示$X$的相关知识信息。

2.2 定义最大熵模型

假设满足所有约束条件的模型集合为:
$$C\equiv \left\{P\in p\mid E_P\left(f_i\right)=E_P\left(f_i\right)\right\},i=1,2\dots ,n$$
定义在条件概率分布$P(X|Y)$上的条件熵为：
$$H(P)=-\sum _{x,y}P(x)P(y\mid x)\log P(y\mid x)$$
则模型集合$C$中条件熵$H(P)$最大的模型成为最大熵模型。

3. Python实现

3.1 数据集

采用breast cancer 数据，在线性分类中调用LogisticRegression函数进行逻辑蒂斯回归。

3.2 代码及运行结果

程序运行结果：

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
cancer =datasets.load_breast_cancer()
cancer_X=cancer.data
cancer_y=cancer.target
X_train,X_test,y_train, y_test=train_test_split(
    cancer_X,cancer_y,test_size=0.2)

clf = LogisticRegression(max_iter=3000)#最大迭代次数
clf.fit(X_train,y_train)
clf_y_predict = clf.predict(X_test)
score=clf.score(X_test,y_test)
print('检测准确率：',score)

4. 总结

逻辑蒂斯回归模型是一种对数线性模型。经典的逻辑斯蒂回归模型（LR）可以用来解决二分类问题，但是它输出的并不是确切类别，而是一个概率，为判别模型。判别某类输出的概率。该模型计算代价不高，但是容易欠拟合，分类精度不高。
最大熵模型获取满足所有约束条件的模型中信息熵极大的模型，分类准确率，但也受约束函数数量和样本数量的影响，迭代过程的计算量大。