最大似然估计（MLE）

前言：学习《统计学习方法》，到了实现朴素贝叶斯分类器的时候了。

网上博客资料稂莠不齐，介绍「最大似然估计」的时候喜欢和「贝叶斯公式」纠缠在一起，在我看来，完全没有必要。

为什么要引进「最大似然估计」

举个例子，「投硬币」（假设硬币可以不均匀）。

• 投五次硬币，出现正正反反反的概率是多少（硬币均匀）？
• 投了五次硬币，请问当出现正面的概率是多少时，出现正正反反反的概率最大（硬币不均匀）？

为了解决类似已知数据反推最有可能的模型的问题，引入「最大似然估计」

例子

通过一个小例子，来理解「最大似然估计」

• 投了五次硬币，请问当出现正面的概率是多少时，出现正正反反反的概率最大（硬币不均匀）？

写出这个问题的关键「似然函数」。

似然函数：给定输出 x 时，关于参数 θ 的似然函数 L(θ|x)（在数值上）等于给定参数 θ 后变量 X 的概率：

似然函数

由此我们推出这个问题的似然函数

假设出现正面的概率是 theta 所以出现正正反反反的概率是

硬币似然函数

这个函数就是似然函数。

求出这个似然函数的最大值

画出这个似然函数。

似然函数

通过取对数求导我们求出 theta 值 从而解出这个问题，这个方法就是「最大似然估计」
快速画图的 python 代码

总结一下

解决类似本文硬币问题的步骤

• 写出出现这个情况的「似然函数」
• 取对数求导求「最大似然函数」

现在对「最大似然函数」有了大概的了解，但是这样距离实现朴素贝叶斯还差一点。

---

关注我的公众号，我们一起进步。还有福利哟。

akoder