概率分布：Bernoulli分布，二项分布，multinoulli分布和多项分布

Bernoulli分布

在现实生活中，许多事件的结果往往只有两个，例如：抛硬币结果只有正面朝上或反面朝上，这类事件被称为伯努利试验。其概率分布称为Bernoulli分布，也称为两点分布、0-1分布，是最简单的离散型概率分布。
假设某个试验是伯努利试验，$x\in \{0,1\}$，$x$取1概率为p，取0的概率为1-p。则其概率质量函数为：
$$P(x)=p^x(1-p{)}^{(1-x)}$$

二项分布

二项分布(binomial distribution)用以描述N次独立的伯努利实验中有m次$x$取1的概率，可用下面公式来计算：
$$P(x=m)=\frac{N!}{m!(N-m)!}{p}^m(1-p{)}^{(N-m)}$$

multinoulli分布

mutinoulli分布也称作范畴分布、分类分布(categotical distribution)，是 Bernoulli分布从两个取值状态到多个取值状态的扩展。具体来说，mutinoulli分布是指在具有k个不同状态的单个离散型随机变量上的分布，其中k是一个有限值，且满足k个状态的概率之和为1。 例如：掷骰子游戏中，每次投掷可能出现6种结果，对应6个状态，每个状态的概率均为六分之一。
假设$x$服从multinoulli分布，$x\in \{0,1{\}}^k$，每次采样时$x$仅取一个状态，即$\sum _{i=1}^k{x}_i=1$。$x$取$x_i$的概率为$p_i$，且有$\sum _{i=1}^k{p}_i=1$，类似地，其概率质量函数可表示为：
$$P(x_i=1)=\prod _{i=1}^k{p}_i^{x_i}$$

多项分布

多项分布(nultinomial distribution)可看作multinoulli分布的扩展，表示当对mutinoulli分布采样N次时k个状态中的每一个被访问的次数。则在N次独立实验中有$m_i$次$x_i$取1的概率为：
$$P(m_1,m_2,...,m_k)=\frac{N!}{m_1!m_2!...m_k!}\prod _{i=1}^k{p}_i^{m_i}$$
此外，多项分布也可看作二项分布从两个取值状态到多个取值状态的扩展。