Logistics回归模型

逻辑斯蒂回归模型定义

二项逻辑斯蒂回归模型是如下条件的概率分布：
$$P(Y=1|x)=\frac{e^{w\cdot x+b}}{1+e^{w\cdot x+b}}$$
$$P(Y=0|x)=\frac{1}{1+e^{w\cdot x+b}}$$
记 $w$ 为(w;b),记$x$为(x,1)上述两式可写成：
$$P(Y=1|x)=\frac{e^{w\cdot x}}{1+e^{w\cdot x}}$$
$$P(Y=0|x)=\frac{1}{1+e^{w\cdot x}}$$

假设有{X₁,X₂,X₃…X_n}的样本，正例类别记为y=1，反例类别记为y=0；则X_i服从未知参数为p的伯努利分布，那么每个X_i的概率质量函数为：
$$f=p^{y_i}(1-p{)}^{1-y_i}$$
其似然函数为：
$$L(p)=\prod _{i=1}^{n}f=p^{y_1}(1-p{)}^{1-y_1}\times p^{y_2}(1-p{)}^{1-y_2}\times ...\times p^{y_n}(1-p{)}^{1-y_n}$$
取对数似然可得：
$$lnL(p)=\sum _{i=1}^n[y_{i}ln(p)+(1-y_i)ln(1-p)]$$
将
$$P(Y=1|x)=\frac{e^{w\cdot x}}{1+e^{w\cdot x}}$$
代入化简得：
$$\sum _{i=1}^n[y_i(w\cdot x_i)-ln(1+e^{w\cdot x_i})]$$
以$w$为变量，最大化该似然函数即可。

从几何角度看逻辑回归

以对一维的样本数据分类为例，样本点为X={1,2,3,4,5,6}，对应的类别分别为Y={0,0,0,1,1,1}，经过逻辑回归训练后的结果为：w=7.316 b=25.470 。

即 $w=[7.316,25.470{]}^T$
根据$$P(Y=1|x)=\frac{e^{w\cdot x}}{1+e^{w\cdot x}}$$
带入$w$和测试样例$x_i$，求得P值：当P>0.5时将其判定为1（正例），否则判定为0（反例）。

意义：

只看样本而不看样本类别时，样本X里的元素就是数轴上的6个点；而使用加上样例类别时，变成了二维面上的点，从X={1,2,3,4,5,6}和Y={0,0,0,1,1,1}到 （X,Y）={(1,0),(2,0),(3,0),(4,1),(5,1),(6,1)}, 此时，就是寻找一条线拟合(X,Y)的这些点，这条线就是函数
$$f(x)=\frac{e^{w\cdot x}}{1+e^{w\cdot x}}$$
如下图：

此时该问题变成了线性回归问题，即寻找一条线，最大程度拟合(X,Y)={(1,0),(2,0),(3,0),(4,1),(5,1),(6,1)}这些点。

此时为样本只有1个特征的例子，当样本点有两个特征时，可以转化为求一个柱面拟合$(X_1,X_2,Y)$上的所有点（该柱面的垂直投影形状为$y=\frac{e^t}{1+et} $），更多特征时，类似寻找超平面拟合所有点$(X_{1},X_{2},…,X_{n},Y)$