多项分布

组合数与排列数

$$C_n^m=\frac{n!}{m!(n-m)!}$$
$$A_n^m=\frac{n!}{(n-m)!}$$

多项分布

多项分布允许将概率分配给离散变量的向量。举例：假设现在我们要在有$J$个词的字典中生成一个有$N$词的文本，一种表示这个文本的方法是：
$$\mathbf{y}=[y_1,y_2,...,y_n{]}^T$$
$y_i$表示第$i$个词出现的次数，值得注意的是这种方法忽略了词序，只是一种比较简单的模型。多项分布定义为：
$$P(Y=\mathbf{y})=P(\mathbf{y})=\frac{N!}{{\prod }_j{y}_j!}\prod _j{q}_j^{y_j}$$
$q_i$是每个词出现的概率，$\sum q_i=1$。
证明：
由样本二重性：
$$\begin{array}{rl}P(Y=\mathbf{y})& =P([Y_1,...,Y_J]=[y_1,...y_J])\\ & =C_N^{y_1}{q}_1^{y_1}\ast C_{N-y_1}^{y_2}{q}_2^{y_2}\ast ...\ast C_{y_J}^{y_J}{q}_J^{y_J}\\ & =\frac{N!}{y_1!(N-y_1)!}\ast \frac{N-y_1!}{y_1!(N-y_1-y_2)!}\ast ...\ast 1\ast \prod _j{q}_j^{y_j}\\ & =\frac{N!}{{\prod }_j{y}_j!}\prod _j{q}_j^{y_j}\end{array}$$