生成式模型与判别式模型

定义：

  判别式模型是对 P(y|x) P ( y | x ) 进行建模或者直接学习输入空间到输出空间的映射关系，其中 x x 是某样例的特征， y y 是某类样例的分类标记。而生成式方法是对 P(x|y) P ( x | y ) (条件概率)和 P(y) P ( y ) (先验概率)进行建模，然后按贝叶斯公式求出后验概率 P(y|x) P ( y | x ) ：

P(y|x)=P(x|y)P(y)P(x) P ( y | x ) = P ( x | y ) P ( y ) P ( x )

使得后验概率最大的类别 y y 即是新样例的预测值：

argmaxyP(y|x)=argmaxyP(x|y)P(y)P(x)=argmaxyP(x|y)P(y) a r g m a x y P ( y | x ) = a r g m a x y P ( x | y ) P ( y ) P ( x ) = a r g m a x y P ( x | y ) P ( y )