证明:贝叶斯多条件的独立化的基础理论

花絮:

        非常喜欢《天才J》这部小剧,里面有个的偶然公式,包含3个要素:时间、空间、守恒。这个公式最后被J破解掉了,破解的思路却很有意思:当观察一个个体的时候偶然性是必然的,但是观察一个大的群体时,偶然性又会消失。这个剧的作者估计也是学过概率论的。


独立正交:

        我们假设有事件A,B相互独立,每次测量时 A发生的概率是p,B发生的概率是q;测量n后,A的发生向量为a,B的发生向量为b。通常记法中0表示未发生,1表示发生,a*b=pqn;ab向量不正交。但是我们做一个小小的变换:将a向量的每个元素减去p从而平均值设置为0计做向量a1b向量的每个元素减去q将平均值设置为0计做向量b1;这时 A发生计做(1-p)不发生计做(-p);B发生计做(1-q),不发生计做(-q)。这时候个元素乘积有一下四类情况:

AB同时发生期望次数:  pqn   ,该部分内积:   pqn(1-p)(1-q)

A发生B不发生:        p(1-q)n    ,  该部分内积:   p(1-q)n(1-p)(-q)

A不发生B发生:        (1-p)qn     , 该部分内积:   (1-p)qn(-p)(1-q)

AB都不发生:        (1-p)(1-q)n    , 该部分内积:  (1-p)(1-q)n(-p)(-q)

这时候我们对内积求和则有  a1·b1=0,如果我们记得协方差的计算方法,就会发现a1·b1其实就是ab之间的协方差。由上面的推导过程可以作出以下结论:

如果事件A与事件B相互独立,则事件A与事件B的发生向量组协方差期望为零。


协方差为零独立:

如果两个事件A和B他们的发生向量ab得到的协方差为0,那么事件A和B独立吗?

协方差为0,意味着什么呢?让我们来回想一下线性代数中相关系数的计算方法,其中分子就是协方差,也就是ab相关系数为0。虽然种种迹象表明:如果两个事件A和B的发生向量a、b的协方差期望为0,那么事件A和B独立。但是我还不会严格的推导证明。

这里我们先下一个论断:

事件A和B相互独立的充要条件为A与B的发生向量协方差期望为零。


        上面这句话和大多数定义一样让人一头雾水,不知道有什么用。但是他可以允许我们做一些矩阵正交化类似的事情:条件独立化——把一些相互关联的事件转化为一组相互独立事件。这样贝叶斯就能够走的更远了。

概率论与线性代数:

概率论与线性代数这两个东西怎么都觉得是对同一世界两种不同描述方法,就好像英文可以翻译为中文,概率论与线性代数在大数的极限条件下应该是是等价的。


你可能感兴趣的:(略谈数学)