Logistic Regression 逻辑回归

Logistic Regression

Logistic Regression是一种广义的线性回归分析(generalized linear model)模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。

1. 因变量为二分类的分类变量或某事件的发生率，并且是数值型变量。但是需要注意，重复计数现象指标不适用于Logistic回归
2. 残差和因变量都要服从二项分布。二项分布对应的是分类变量，所以不是正态分布，进而不是用最小二乘法，而是最大似然法来解决方程估计和检验问题
3. 自变量和Logistic概率是线性关系
4. 各观测对象间相互独立

X为连续随机变量，X服从逻辑分布是指X具有下列分布函数和密度函数：

最大熵模型(maximum entropy model)

最大熵原理：在所有可能的概率模型(分布)中，熵最大的模型是最好的模型。

随机变量X的概率分布是P(X), 则其熵为

熵满足下列不等式：

Machine Learning with Python - Logistic Regression

​​​​​​​