朴素贝叶斯

1. 相关概念（生成模型、判别模型）

生成式模型：能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在ML中，生成模型可以用来直接对数据建模，也可以用来建立变量间的条件分布。条件概率分布可以由生成模型根据bayes-navies定理形成。常用的生成模型算法有：高斯混合模型、朴素贝叶斯分类器。
生成式模型：判断一只羊是山羊还是绵羊，先根据山羊的特征训练出来一个山羊的模型，再利用生成式模型根据绵阳的特征训练出来一个绵阳的模型；然后将检测羊的特征放到山羊的模型中，训练出的概率；然后根据绵阳的特征，训练出来概率。哪个概率大，就是哪个。

判别式模型：在ML中，对未知数据y与已知数据x之间关系进行建模的方法。是一种基于概率理论的方法。输入变量x，判别模型构建条件概率分布P(y|x)预测y。常见的判别模型：逻辑回归、线性回归、支持向量机、随机森林。
判别式模型：从历史数据中学习到模型，然后通过提取这只羊的特征来预测这只羊是山羊的概率，是绵阳的概率。

生成模型是所有变量的全概率模型，而判别模型是在给定观测变量值(观测变量==历史值)前提下目标变量条件概率模型。因此生成模型能够用于拟合模型中任意变量的分布情况，而判别模型只能根据观测变量得到 目标变量的采样。 判别模型不对观测变量的分布建模( == “不会建一个好的，建一个坏的”)。 因此， 生成模型更适用于无监督 任务，如分类和聚类。

2. 先验概率、条件概率

条件概率：事件A在事件B发生的条件下发生的概率。
先验模型：某一不确定量p的先验概率是 在考虑“观测数据”前，能表达p不确定性的概率分布。 它意在表达不确定量的不确定程度，而不是不确定量的随机数。这个不确定量可以是一个参数，或者是一个隐含变量。
后验概率：在bayes统计中，一个不确定事件的后验概率是在考虑和给出相关证据或者数据后所得出的条件概率。 是基于实验和调查后所得到的概率分布。“后验概率”在本文中表示：被测试事件的相关证据。
=========
举例：
条件概率：在瓜为青绿的条件下，瓜为好瓜的概率；
先验模型：在常识、经验、统计学所透露出“因”的概率，即 瓜的颜色是青绿色的概率。
后验概率：在知道“果”之后，去推测“因”的概率。 ==> 知道瓜是好瓜，那么瓜的颜色是青绿的概率。 后验和先验的关系就需要运用贝叶斯决策理论来求解。

3. 贝叶斯决策理论

贝叶斯决策理论是概率框架下实施决策的基本方法。对于分类任务来说：在所有相关概率已知的理想情况下，贝叶斯决策理论考虑如何基于这些概率和误判损失来选择最优的类别标记。

产生bayes判定准则：为最小化总体风险，只需要在每个样本上选择哪个最使 条件风险R(c|x)最小的类别标记。

若目标是最小化分类错误率(0/1损失)，则lambda(ij)可以用0/1损失（不懂）改写，得到条件风险和最小化分类错误率的最优分类器。

4. 贝叶斯定理公式

5. 极值问题情况下的每个类的分类概率

6. 下溢问题如何解决

7. 零概率问题如何解决

8. 优缺点

9. sklearn参数详解，Python绘制决策树