多元逻辑回归公式推导

《统计学习方法》中关于多元逻辑回归公式推导，写的比较简单，正好前几天有同事对此比较疑惑，因此，在此进行详细推导，有助于大家共同学习。

首先，关于逻辑回归中二分类问题:
$$P(Y=1|x,\omega )=\frac{exp(\omega \cdot x+b)}{1+exp(\omega \cdot x+b)}$$
$$P(Y=0|x,\omega )=\frac{1}{1+exp(\omega \cdot x+b)}$$
事件发生对数几率定义如下：
$$log\frac{P(Y=1|x,\omega )}{1-P(Y=0|x,\omega )}=\omega \cdot x$$

其次，关于对分类问题，可以看做多个二分类问题：
$$log\frac{P(Y=1|x)}{P(Y=K|x)}={\omega }_1\cdot x$$
$$log\frac{P(Y=i|x)}{P(Y=K|x)}={\omega }_i\cdot x$$
$$log\frac{P(Y=K-1|x)}{P(Y=K|x)}={\omega }_{K-1}\cdot x$$
因此有：
$$P(Y=1|x)=P(Y=K|x)\ast e^{{\omega }_1\cdot x}$$
$$\cdot \cdot \cdot$$
$$P(Y=i|x)=P(Y=K|x)\ast e^{{\omega }_i\cdot x}$$
$$P(Y=K-1|x)=P(Y=K|x)\ast e^{{\omega }_{K-1}\cdot x}$$
概率之和为1：
$$\sum _i^{K}P(Y=i|x,\omega )=1$$
联合上述K-1个、概率和式子，则有：
$$(1+\sum _{i=1}^{K-1}{e}^{{\omega }_i\cdot x})\cdot P(Y=K|x,\omega )=1$$
则
$$P(Y=K|x,\omega )=\frac{1}{(1+{\sum }_{i=1}^{K-1}{e}^{{\omega }_i\cdot x})}$$
$$P(Y=i|x,\omega )=\frac{e^{{\omega }_i\cdot x}}{(1+{\sum }_{i=1}^{K-1}{e}^{{\omega }_i\cdot x})}$$
到此，全部推导完成。如果推导有疑问，欢迎大家一起交流！