线性分类模型(二)——生成式模型

本文首发于我的个人博客Suixin's Blog

生成式方法：对类条件概率密度和类先验概率分布建模，然后使用贝叶斯定理计算后验概率密度，从而进行预测。

二分类模型

类别的后验概率为

其中，，是sigmoid函数。
假设类条件概率密度是高斯分布，且所有的类别协方差阵相同。则

则后验可化为

其中，定义了，

多分类模型

类别的后验概率为

其中，。
在同样的假设下，有

其中，，

极大似然解

首先考虑二分类的情形。
假设有一个数据集，其中，分别表示类别，把先验记为，则有

根据全概率公式可得似然函数为

其中，。
分别对各个参数求导可得极大似然解为

其中，，。详细求解过程见参考。
而对于多分类问题，很容易得到极大似然解。
注：该方法对于离群点不鲁棒。

参考

“Pattern Recognition and Machine Learning”