机器学习 西瓜书 第七章贝叶斯分类器 读书笔记

首先是学习了贝叶斯决策论，基于概率和误判损失来选择最优的类别标记，同时，贝叶斯分类器的目的是基于有限的训练样本集尽可能准确地估计出后验概率。然后是参数估计的内容，本章是介绍了频率主义学派的极大似然估计，即通过此方法找到可能性最大的参数。为了避免直接估计联合概率的问题，朴素贝叶斯分类器采用了属性条件独立假设，而为了解决条件独立假设很难成立的问题， 产生了半朴素贝叶斯分类器。

第七章 贝叶斯分类器
7.1 贝叶斯决策论
贝叶斯决策论(Bayesian decision theory) 是概率框架下实施决策的基本方法. 对分类任务来说在所有相关概率都己知的理想情形 ，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记.
概率
先验概率
先验概率（prior probability）：指根据以往经验和分析。在实验或采样前就可以得到的概率
P(A), P(B)
后验概率
后验概率（posterior probability）：指某件事已经发生，想要计算这件事发生的原因是由某个因素引起的概率。
given that, P(A|B)
使用
使用贝叶斯分类器的目的是为了寻找一个判定准则h，以此进行总体风险最小化
对每个样本x，若h能最小化条件风险R(h(x)|x)，则总体风险R(h)也将被最小化
贝叶斯判定准则(Bayes decision rule): 为最小化总体风险，只需要在每个样本上选择那个能使条件风险最小的类别标记，此时，这个标记h(x)被称为贝叶斯最优分类器（Bayes optimal classifier），与之对应的总体风险称为贝叶斯风险(Bayes risk), 1-R(h)反映了分类器所能达到的最好性能，即通过机器学习所能产生的模型精度的理论上限.
模型目的：基于有限的训练样本集尽可能准确地估计出后验概率
实现策略
“判别式模型” (discriminative models)
判别式模型直接学习决策函数Y=f(x)或者条件概率 P(Y|X)，不能反映训练数据本身的特性，但它寻找不同类别之间的最优分裂面，反映的是异类数据之间的差异，直接面对预测往往学习准确度更高。
判别式模型：要确定一个羊是山羊还是绵羊，用判别式模型的方法是从历史数据中学习到模型，然后通过提取这只羊的特征来预测出这只羊是山羊的概率，是绵羊的概率。
“生成式模型” (generative models)
生成式模型学习的是联合概率密度分布 P(X,Y)，可以从统计的角度表示分布的情况，能够反映同类数据本身的相似度，它不关心到底划分不同类的边界在哪里。生成式模型的学习收敛速度更快，当样本容量增加时，学习到的模型可以更快的收敛到真实模型，当存在隐变量时，依旧可以用生成式模型，此时判别式方法就不行了。
生成式模型：是根据山羊的特征首先学习出一个山羊的模型，然后根据绵羊的特征学习出一个绵羊的模型，然后从这只羊中提取特征，放到山羊模型中看概率是多少，再放到绵羊模型中看概率是多少，哪个大就是哪个。
联系：判断依据都是条件概率P(y|x)，但是生成式模型先计算了联合概率，再由贝叶斯公式计算得到条件概率。因此，生成式模型可以体现更多数据本身的分布信息，其普适性更广。
https://zhuanlan.zhihu.com/p/74586507
7.2 极大似然估计
先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计.
参数估计(parameter estimation)
频率主义学派(Frequentist) 认为参数虽然未知，但却是客观存在的固定值，因此，可通过优化似然函数等准则来确定参数值;
贝叶斯学派(Bayesian) 则认为参数是未观察到的随机变量其本身也可有分布，因此，可假定参数服从一个先验分布，然后基于观测到的数据来计算参数的后验分布.
7.3 朴素贝叶斯分类器
“属性条件独立性假设” (attribute conditional independence assumption): 对已知类别，假设所有属性相互独立.换言之，假设每个属性独立地对分类结果发生影响.
7.4 半朴素贝叶斯分类器
为了解决条件独立假设很难成立的问题，人们尝试对属性条件独立性假设进行一定程度的放松
“独依赖估计” (One-Dependent Estimator ，简称 ODE)：假设每个属性在类别之外最多依赖一个属性
7.5 贝叶斯网
7.5.1 结构
“边际独立性”
贝叶斯网 (Bayesian network) 亦称"信念网" (belief network) ，它借助有向无环图(Directed Acyclic Graph ，简称 DAG)来刻画属性之间的依赖关系，并使用条件概率表(Conditional Probability Table )简称 CPT 来描述属性的联合概率分布
7.5.2 学习
“评分搜索”
7.5.3 推断
7.6 EM算法
7.7 阅读材料