判别模型、生成模型与贝叶斯方法

一、判别模型与生成模型

     判别模型：用特征值来求结果的概率，形式化表示为，在参数确定的情况下，求解条件概率。通俗的解释为在给定的特征后预测结果出现的概率。

     生成模型：   或p(y)

 - 生成模型：无穷样本==》概率密度模型 = 产生模型==》提取特征，预测（求条件概率）

 - 判别模型：有限样本==》判别函数 = 预测模型==》提取特征，求概率大小（求联合概率）

常见的判别模型：线性回归、对数回归、线性判别分析、支持向量机、Boosting、条件随机场、神经网络等

常见的生成模型：隐马尔可夫模型、朴素贝叶斯模型、LDA、restricted、Boltzmann Machine

详情见：判别模型与生成模型详解

二、高斯判别分析（Gaussian discriminsnt analysis GDA）

如果输入特征是连续型随机变量，那么可以使用高斯判别模型来确定。（GDA可以完成特征值分类）

                       

其中：fai是训练样本中结果y=1占有的比例，miu0是y=0的样本中特征均值，miu1是y=1的样本中特征均值，Sigma是样本特征方差均值。

注：形式上类似于逻辑回归，但是GDA的假设条件和约束更强，逻辑回归应用效果更强。（训练数据满足多元高斯分布，GDA才能在训练集上训练出好的模型。但我们往往不知道训练集满足什么样的分布，所以采用逻辑回归的方法。）

三、朴素贝叶斯模型

GDA中特征向量x是连续实数向量，如果x是离散值的情况下，采用朴素贝叶斯的分类方法。

朴素贝叶斯假设：假设x中的特征是条件独立的。

注：独立假设（在给定z的情况下，x和y条件独立）

朴素贝叶斯模型：   （注：联合概率，生成模型）

朴素贝叶斯方法有一个致命的缺点就是对数据稀疏问题过于敏感。所以有了拉普拉斯平滑。

拉普拉斯平滑：分子+1，分母+k。（k是离散型随机变量对应k个值，也就是观察值对应k个值）