2.贝叶斯决策理论

    上一节最后讲到了利用贝叶斯决策来确定一个字母是“C”还是“O”，这一节将深入学习其原理，以便更好的研究这次的主题——贝叶斯分类器。

---

    2.1 贝叶斯分类规则：

    首先关注只有两类的情况，设是样本所属的类别，并且假设先验概率是已知的。设N是总训练样本的个数，分别为属于类别的样本个数，则对应的先验概率为：及，记：。

    除此之外，假设条件概率密度函数也是已知的参数，用来描述每一类中特征向量的分布情况（若该类条件概率密度函数是未知的，可以通过已有的训练数据估算出来）。由贝叶斯公式可得：

                                                        

                                                                            

                                                                                    (1)

    如果，则属于；否则，属于。   

    即： ，由(1)式可知：