bernoulli vs binominal vs multinoulli vs multinomial
UTF8gbsn
本文主要介绍两个比较容易混淆的概念,
在很多书里面和文献里面常常混淆这两个概念. 这两个概念就是 multinoulli
distribution 和 multinomial distribution.
但是我们首先要看什么是伯努利分布.
bernoulli distribution
P ( x = 1 ) = p , P ( x = 0 ) = 1 − p , \left. \begin{aligned} P(x=1)&=p,\\ P(x=0)&=1-p, \end{aligned} \right. P(x=1)P(x=0)=p,=1−p,
举一个例子,
比如抛硬币.也就是一次试验只有两种状态的随机试验.如果将之推广到更一般的情况.我们就引出了
multinoulli distribution. 不过在介绍 multinoulli distribution
之前我们先来看看另一个分布 binominal distribution. 这个分布就是重复n词
bernoulli distribution.
binominal distribution
重复n次 bernoulli distribution的概率质量函数表示为, 其中n为实现次数,
而k位 x = 1 x=1 x=1发生的次数.
P ( n , k ) = ( n k ) p k q n − k P(n,k)=\left( \begin{array}{l} n \\ k \end{array}\right) p^{k} q^{n-k} P(n,k)=(nk)pkqn−k
multinoulli distribution.
现在我们来看看,假如一次实现结果不止两种的随机试验.比如抛掷色子.
这种情况下, 一次试验具有6中结果 { 1 , 2 , 3 , 4 , 5 , 6 } \{1,2,3,4,5,6\} {1,2,3,4,5,6}.
那么,我们可以写出这种试验的概率质量函数 1 = ∑ i = 1 k P ( x i ) 1 = \sum_{i=1}^{k}P(x_i) 1=i=1∑kP(xi)
注意multinoulli distribution的特别之处在于,它只进行一次试验. 和
bernoulli 试验一样它只进行一次.
如果进行多次试验那么就是多项式分布(multinomial distribution).
所以这里就引出了multinomial distribution.
multinomial distribution
它的概率密度函数为
P ( x ) = n ! x 1 ! ⋯ x k ! p 1 x 1 ⋯ p k x k P(\mathbf{x})=\frac{n !}{x_{1} ! \cdots x_{k} !} p_{1}^{x_{1}} \cdots p_{k}^{x_{k}} P(x)=x1!⋯xk!n!p1x1⋯pkxk
它的意思是, 重复n次试验.
发生 x = ( x 1 , x 2 , ⋯ , x k ) \mathbf{x}=\left( x_1, x_2, \cdots, x_k \right) x=(x1,x2,⋯,xk)的概率.
其中 ∑ i = 1 k x i = n \sum_{i=1}^{k}x_i=n ∑i=1kxi=n.
而 p i , i ∈ ( 1 , 2 , ⋯ , k ) p_i, i\in (1,2,\cdots, k) pi,i∈(1,2,⋯,k).表示一次试验 i i i状态发生的概率.
总结
现在我们可以捋清关系了.
| bernoulli distribution(1次试验, 两个状态) | binomial distribution(多次 bernoulli试验) |
|---|---|
| multinoulli distribution(1次试验, k个状态空间) | multinomial distribution(多次 multinoulli 试验) |