多项式分布

http://blog.csdn.net/tianguokaka/article/details/7710521

Multinomial Variables说白了就是多种选择选其一。比如随机变量X有三种取值x1，x2，x3，那么用一个三维向量表示Multinomial 的取值就是{1,0,0}，{0,1,0}，{0,0,1}分别代表选中x1，x2，x3，即必须选中一个，同时只能选一个这样的意思。

如果用μk表示xk=1时的概率，那么对于随机变量x的取值的概率分布可以表示为：

p(x|μ)=∏k=1Kμxkk

        其实这个式子的意思就是当K取值k的时候，只有xk是1，其他都是0，所以这个p(x|μ)的值就是μk的值而已，因为一个数的0次方是1，所以对于其他xi（i≠k）的那部分μi全部都乘以了一个1而已。搞了这么一个玄乎的式子，应该是为了数学表示全面点，事实上直接理解就是p(x|μ) = μk。

       上面所讲的这些其实只是多元分布的一次事件（或一次观察），如果有N多次观察，那么就需要用多元分布来描述了。就像伯努利分布只是描述一次抛硬币，而二项分布是描述N次抛硬币的一样。

        对于Multinomial 的极大似然估计其实可想而知，就是数数xk的个数然后取占整个集合的比例作为概率了。根据最大似然函数求某一分量的概率参数时，退化为伯努利分布。因而最大似然估计得结果与伯努利分布相同。

把二项分布公式再推广，就得到了多项分布（在一般概率书中很少介绍它，但是热力学中涉及到它）。

某随机实验如果有k个可能结局A₁，A₂，…，A_k，它们的概率分布分别是p₁，p₂，…，p_k，那么在N次采样的总结果中，A₁出现n₁次，A₂出现n₂次，…，A_k出现n_k次的这种事件的出现概率P有下面公式：

这就是多项分布的概率公式。把它称为多项式分布显然是因为它是一种特殊的多项式展开式的通项。

我们知道，在代数学里当k个变量的和的N次方的展开式 (p₁+ p₂+…+ p_k)^N是一个多项式，其一般项就是前面的公式给出的值。如果这k个变量恰好是可能有的各种结局的出现概率，那么，由于这些概率的合计值对应一个必然事件的概率。而必然事件的概率等于1，于是上面的多项式就变成了

(p₁+ p₂+…+ p_k)^N =1^N=1

即此时多项式的值等于1。

因为(p₁+ p₂+…+ p_k)^N的值等于1。我们也就认为它代表了一个必然事件进行了N次抽样的概率（=1，必然事件）。而当把这个多项式可以展开成很多项时，这些项的合计值等于1提示我们这些项是一些互不相容的事件（N次抽样得到的）的对应概率。即多项式展开式的每一项都是一个特殊的事件的出现概率。于是我们把展开式的通项作为A₁出现n₁次，A₂出现n₂次，…，A_k出现n_k次的这种事件的出现概率。这样就得到了公式。

如果各个单独事件的出现概率p₁，p₂，…，p_k都相等，即p₁=p₂=…=p_k=p（注意这里是小写的p），

注意到p₁+p₂+…+p_k =1，就得到p₁= p₂ =…=p_k =p=1/k。

把这个值代入多项式的展开式，就使展开式的各个项的合计值满足下式：

∑[N!/(n₁!n₂!…n_k!)](1/k)^N=1

即∑[N!/(n₁!n₂!…n_k!)]=k^N

以上求和中遍及各个n_i的一切可能取的正整数值，但是要求各个n_i的合计值等于N。   即

n₁+n₂+…n_k=N

在热力学讨论物质微观状态的可能个数时，经常用另外的思路引出N!/(n₁!n₂!…n_k!)式。并且称它为热力学几率。它是一个比天文数字还大很多的数，把它称为几率（概率）并不妥当。但是热力学里由于各个微观状态的出现概率相等，这对应我们在前面讨论的p₁= p₂ =…=p_k =p=1/k，于是

[N!/(n₁!n₂!…n_k!)]（1/k^N）

就真正具有数学上的概率的含义。换句话说，物理学里的热力学几率[N!/(n₁!n₂!…n_k!)]乘上（1/k^N）以后就是数学中定义的（具有归一性）的概率了。