说说贝叶斯估计

        首先容许我自我吐槽一下：++啊，到了烟酒生才知道有贝叶斯（bayes）这个神器----->概率记为pA；真是+++ 啊，还是修了机器学习课程才知道的-------->概率记为pB。pA*pB>0.01才导致了我知道贝叶斯。。好了，吐槽完毕！下面说说 贝叶斯。

    1.记得本科学过概率论，有一个公式当时只是做题用过：p(y|x)=p(x|y)*p(y)/p(x)。相当于由原因 x--->结果y的推断。也变形使用过：p(x|y)=p(y|x)*p(x)/p(y) ,相当于由结果y------>原因x的推断。清晰记得当时书上有个关于病人患癌症的例题，当时可是推导来推导去，终于算出了这个病人患癌症概率多 大。这个病人在患癌症的情况下，导致患癌症的病因x的概率多大。

    2.没想到，到了2014年，这家伙摇身一变，就成了机器学习中的贝叶斯估计【当然，这是我知道的时间，实际很早已经出来了，我本科在干些什么】。贝叶斯的理论基础的原型就是1.中所说的两个公式。

    3.垃圾邮件过滤或者文本分类也好，给定训练集，能事先学习到的概率有p(y(i)|x(i))、p(y(i))。那么此时如何计算p(y|x)?

    4.对贝叶斯做一个假设：x之间独立，也就是说原因i与原因j之间没有相互联系。虽然这个假设比较强（实际有点出入），但在实际应用中，效果还是不错的。这就是 朴素贝叶斯（naive bayes）的原型。此时有：p(x1,x2,x3,...,xn|y=c)=p(x1|y=c)*p(x2|y=c)*...*p(xn|y=c)。有 了这个假设，当有样本到来，就可以计算该样本所属的类别（取具有最大概率的类别）

    5.对于实际应用中，有些样本的概率为0，导致无法计算。那么此时需要进行拉普拉斯平滑（别那么深奥，就是分子分母个加上一个常数）

    6.前面说了，朴素贝叶斯是基于x独立的假设，如果x之间存在相互关系，此时变成了贝叶斯网络。

    7.有了上面的思想，相信你可以写一个简单的邮件过滤或文本分类系统

    8.机器学习上手推荐Andrew Ng视频与讲义、PRML、《统计学习方法》、《机器学习实战》。。。。。。

     每一个神奇而有效的算法必定是简单的。大道至简。

     ------stone8oy