监督学习下的判别式模型和生成式模型

(一) 、监督学习下的判别式和生成式模型

监督学习的任务就是学习一个模型,应用这一模型,对给定特征的的输入样本，预测样本相应的输出。这个模型的一般形式为决策函数:Y=f(X)或者条件概率分布:P(Y|X)

1. 决策函数Y=f(X)：输入一个特征为X的样本，模型输出一个Y，这个Y与一个阈值比较，根据比较结果判定X属于哪个类别。例如二分类（Y1和Y2）问题，如果Y大于阈值，特征为X的样本就属于类Y1，如果Ｙ小于阈值就属于类Y2。通过决策函数的输出直接就能得到特征为X的样本对应的类别了。

2. 条件概率分布P(Y|X)：输入一个特征为X的样本，模型通过比较它属于的所有可能类别的概率，然后输出概率最大的那个，作为特征为X的样本所属的类别。例如二分类问题，如果模型计算出P(Y1|X) > P(Y2|X)，那么就认为特征为X的样本是属于Y1类的。

监督学习方法又可以分为生成方法(generative approach)和判别方法(discriminative　approach)。所学到的模型分别称为生成模型(generative　model)和判别模型(discriminative model)。

1. 生成方法：先由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的
   模型，即生成模型的形式：P(Y|X)＝P(Y,X) / P(X)．这样的方法之所以称为生成方法，是因为模型表示了给定输入X产生输出Y的生成关系。生成模型有:朴素贝叶斯法和隐马尔可夫模型。

2. 判别方法：由数据直接学习决策函数f(X)或者条件概率分布P(Y|X)作为预测的模型，即是判别模型。判别方法关心的是对给定的输入X，应该预测什么样的输出Y，它在有限样本条件下建立判别函数，不考虑样本的产生模型。典型的判别模型包括**：k近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法和条件随机场。

(二) 、判别式和生成式模型各自的特点
在监督学习中，生成方法和判别方法各有优缺点，适合于不同条件下的学习问题。

生成方法的特点:

1. 生成方法可以还原出联合概率分布P(X,Y)，而判别方法则不能;

2. 生成模型需要学习联合概率分布P(Y,X)和特征的概率分布P(X)，准确的估计概率分布才能得到更好的模型，而P(x)是基于统计来得到的，直觉告诉我们样本越多，那么有限数据体现出的概率分布P(x)越能够接近无限数据的真实分布，因此生成模型对样本数据量需求较大。

3. 生成方法的学习收敛速度更快，即当样本容量增加的时候，学到的模型可以更快地收敛于真
   实模型;

4. 当存在隐变量时，仍可以用生成方法学习，此时判别方法就不能用。

判别方法的特点:

1. 判别方法直接学习的是条件概率P(Y|X)或决策函数f(X)，直接面对预测，往往学习的准确率更高;

2. 判别模型对数据样本数量要求不严格，样本数量或多或少都能进行模型的学习。

3. 判别模型由于直接学习了P(Y|X)或f(X)，可以对数据进行各种程度上的抽象、定义特征并使用特征，因此可以简化学习问题。

判决模型有一个很关键的因素就是要先人为的选择一个判决机制（例如LR，SVM是构造决策超平面进行分类等等），生成模型基于统计学和贝叶斯理论。

参考：
[1]《神经网络与深度学习》吴岸城
[2]《统计学习方法》李航
[3]https://blog.csdn.net/zouxy09/article/details/8195017