极大似然估计 EM算法 Kmeans收敛性

极大似然估计

估计类条件概率的一种常用策略是先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计。

贝叶斯决策

首先先看贝叶斯公式

p(w)为先验概率，表示了每一种标签类别分布的概率
p(x|w)表示条件概率，表示了在某种类别的前提下，出现某类特征的概率
p(w|x)表示后验概率，表示出现了某些特征，并且此时这个样本属于某一类别的概率，可以根据后验概率的大小，进行分类

极大似然估计

极大似然估计就是为了利用已知的样本结果，反推最有可能导致这种结果的参数值。

原理：极大似然估计提供了一种给定观察数据，来评估模型参数的方法，即：模型已定，参数位置，需要估计参数，通过多次试验，观察结果，利用试验实验结果得到某个参数值能使样本出现的概率最大。

记关于类别c的类条件概率为P(x|c)，假设P(x|c)具有确定的形式并且被参数向量θc唯一确定，则我们的任务就是利用训练集D估计参数θc，为了明确起见，将P(x|c)记为P(x|θc)

朴素贝叶斯的前提就是假设样本集中的样本独立分布，可以只考虑一类样本集D，来估计参数θ。

似然函数（linkehood function）：