【机器学习前置知识】多项式分布

多项式分布是二项式分布的推广。

在二项分布这篇文章中我们曾以抛硬币举例：在一次抛硬币实验中结果只有两种情况，正面或反面向上；在 $n$ 次抛硬币实验中，正面向上出现 $k$ 次的有 $C_n^k=\frac{n!}{k!(n-k)!}$ 种可能，概率表示为：

$P(X=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}$

其中， $k=0,1,...,n,\left(\genfrac{}{}{0ex}{}{n}{k}\right)=C_n^k=\frac{n!}{k!(n-k)!}$

如果在一次实验中，可能出现的结果不像硬币那样只有两种情况，比如掷一次骰子就可能出现六种结果。

假设掷了n次骰子，记 $X_1、X_2、...、X_6$ 分别表示每次掷骰子的点数1到6；

记n次中点数1出现的次数为 $x_1$，点数为2出现的次数为$x_2$，以此类推，则点数为1到6出现的次数为 $x_i$ $(i=1,2,...6)$ ，且 $x_1+x_2+...+x_6=n$ ；

记n次中点数1出现 $x_1$ 次的概率为 $p_i$ ，且 $p_1+p_2+...+p_6=1$ 。

在这n次实验中，点数1出现 $x_1$ 次的情况有 $C_n^{x_1}=\frac{n!}{x1!(n-x1)!}$ 种可能，然后在这个前提下，点数2出现 $x_2$ 次会有多少种情况？

因为在n次实验结果中已经有 $x_1$ 次实验结果是点数1了，所以只能在剩下的未知的 $n-x_1$ 次实验中看点数2出现 $x_2$ 次的情况有多少种，这个很简单，就是$C_{n-x_1}^{x_2}=\frac{(n-x_1)!}{x_2!(n-x_1-x_2)!}$ 个可能情况，根据乘法原理可得在点数1出现 $x_1$ 次、同时点数2出现 $x_2$ 次的情况共有：

$\left(\genfrac{}{}{0ex}{}{n}{x_1}\right)\left(\genfrac{}{}{0ex}{}{n-x_1}{x_2}\right)=C_n^{x_1}{C}_{n-x_1}^{x_2}=\frac{n!}{x_1!(n-x_1)!}\frac{(n-x_1)!}{x_2!(n-x_1-x_2)!}=\frac{n!}{x_1!x_2!(n-x_1-x_2)!}$

由此可知，在n次实验中点数为1到6出现的次数分别为 $x_i$ 的情况共有 $\frac{n!}{x_1!x_2!...x_6!}$ 种。

概率可表示为：

$P(X_1=x_1,X_2=x_2,...,X_6=x_6)=\frac{n!}{x_1!x_2!...x_6!}{p}_1^{x_1}{p}_2^{x_2}...p_6^{x_6}$

可以从6种情况推广到 $k$​ 种， 设 $n$ 、$k$ 是正整数，并设 $p\in [0,1]$ 。如果随机变量 $X$ 满足：

$P(X_1=x_1,X_2=x_2,...,X_k=x_k)=\frac{n!}{x_1!x_2!...x_k!}{p}_1^{x_1}{p}_2^{x_2}...p_k^{x_k}=\frac{n!}{{\prod }_{i=1}^K{x}_i!}{\prod }_{i=1}^K{p}_i^{x_i}(1)$

且 ${\sum }_1^k{x}_i=n$ 、${\sum }_1^k{p}_i=1$

那么称 $X$ 服从多项式分布 $M(n,p_1,p_2,...,p_k)$ ，$X$ 的期望 $E(x_i)=n{p}_i$ ，方差为 $D(x_i)=n{p}_i(1-p_i)$ 。

式 $(1)$ 其实就是多项式分布的概率质量函数。