生成模型(generative model)与判别模型(discriminate)的联系及区别

• 生成模型与判别模型的联系及区别
  
  • 监督学习——学习一个模型
    
    • 模型的一般形式
      
      • 决策函数 Y=f(X)
      • 条件概率分布： P(Y|X)
  • 生成方法
    
    • 由数据学习联合概率分布 P(Y,X) 作为预测的模型，即生成模型 P(Y|X)=P(Y,X)P(X)
    • 模型表示了给定输入 X ,产生输出 Y 的生成关系
    • examples
      
      • 朴素贝叶斯、隐马尔科夫模型
  • 判别方法
    
    • 由数据直接学习决策函数 f(X) 或者条件概率分布 P(Y|X) 作为预测模型
    • 比较关心：给定输入 X ,输出什么样的 Y
    • examples
      
      • 感知机、决策树、logistic regression，最大熵，SVM，Adaboost,条件随机场
  • 联系与区别
    
    • 生成学习法
      
      • 还原出联合概率分布 P(Y,X)
      • 学习收敛速度快
      • 样本容量增加时，模型快速收敛于真实的model
    • 判别方法
      
      • 直接学习的是 Y=f(X) 或 P(Y|X)
      • 可以对数据进行各种程度上的抽象
      • 定义特征并使用特征可以简化学习问题