谈谈判别式模型与生成式模型

判别式模型与生成式模型是机器学习领域中的基本概念，今天将两者的特点总结一下，如下表所示：

对比	判别式模型	生成式模型
特点	寻找不同类别之间的最优分类面，反映异类数据之间的差异	以统计的角度表示数据的分布情况，能够反映同类数据本身的相似度
区别（假如输入特征x,类别标签y）	估计的是条件概率分布：P(y|x)	估计的是联合概率分布 P(x,y)
联系	由判别式模型不能得到生成式模型	由生成式模型可以得到判别式模型（贝叶斯公式）
优势	(1)能清晰地分辨出多类或某一类与其他类之间的差异特征；（2）适用于较多类别的识别；（3）模型更简单	（1）研究单类问题比判别式模型更灵活；（2）模型可以通过增强学习得到；（3）能用于数据不完整的情况。
缺点	不能反映训练数据本身的特性；	学习和计算过程比较复杂
性能	较好（因为利用了训练数据的类别标识信息）	较差
常见模型举例	KNN，SVM，决策树，线性回归，LR，boosting，线性判别分析（LDA），条件随机场，感知机，传统神经网络	朴素贝叶斯，隐马尔科夫模型，高斯混合模型，限制玻尔兹曼机
主要应用场景	图像文本分类，时间序列预测	NLP，医疗诊断

最后再对上表中的条件概率与联合概率做一下回顾总结：

为便于理解，这里给出一个通俗的例子：

说是大飞哥要玩掷飞镖的游戏，飞镖偏离靶心的偏离其实是不确定的，所以适合用概率模型来描述。概率就是衡量可能性的指标。飞镖偏离靶心小于1厘米的概率，和风速，标靶距离都有关系。假定标靶距离可以是10到20米，风速可以是1米/秒到10米/秒，我们可以把每个距离下，每个风速情况下的偏离小于1厘米的概率，大于1厘米的概率整理成一个表格，就是距离与风速的联合概率分布。如下表所示：

距离	风速	偏离小于1厘米的概率	偏离大于1厘米的概率
10	1	99%	1%
11	1	98%	2%
12	1	97%	3%
……	……	……	……
10	3	89%	11%
11	3	88%	12%
12	3	87%	13%

所谓条件概率，即有条件的联合概率，比如，如果风速确定为1不变，那么偏离小于1厘米的概率就只和距离有关系了。如距离为10时，概率为99%和1%。这就是条件概率（风速是条件）。