机器学习（7）

本章节是对我学习完机器学习（周志华）第七章 所做出来的总结

第七章 贝叶斯分类器

7.1 贝叶斯决策论

贝叶斯决策伦是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

贝叶斯判定准则：为最小化总体风险，只需在每个样本上选择那个能使条件风险R(c|x)最小的类别标记，即

最小化分类错误率的贝叶斯最有分类器为：

即对每个样本x，选择能使后验概率P(c|x)最大的类别标记。

要使用贝叶斯判定准则来最小化决策风险，首先要获得后概率P(c|x)。然而现实任务中这通常难以直接获得。从这个角度看，机器学习所要实现的是基于有限的训练样本集尽可能准确地估计出后验概率P(c|x)，大体来说，主要有两种策略：

判别式模型：给定x，可通过直接建模P(c|x)来预测c。

生成式模型：先对联合概率分布P(x,c)建模，然后再由此获得P(c|x)。

基于贝叶斯定理，P(c|x)可写为

其中P(c)是先验概率，P(c|x)是样本x相对于类标记c的类条件概率。

7.2 极大似然估计

关于极大似然估计可参考：https://blog.csdn.net/zengxiantao1994/article/details/72787849

7.3 朴素贝叶斯分类器

朴素贝叶斯分类器采用了“属性条件独立性假设”：对已知类别，假设所有属性相互独立。即，假设每个属性独立地对分类结果发生影响。

朴素贝叶斯分类器的应用可参考：http://www.ruanyifeng.com/blog/2013/12/naive_bayes_classifier.html