极大似然法

原文链接https://zhuanlan.zhihu.com/p/273246971,原文作者小米粥，本文是对其文章的概要总结

极大似然法

一个盒子中有很多一模一样的小球，你从中取出10次，其中6次是黑球。请问黑球的概率是多少？

你的回答应该是0.6。

尽管采样次数很少，实际上也许与0.6偏离很大，但是0.6是最有可能的答案。如果用数学解释，假设黑球的概率是p，取10次得到6次黑球的可能性是$p^6(1-p{)}^4$,对该式求导可得：p=0.6时取得最大值。也就是说，当p=0.6时，可以使得实验所出现的可能性最大。那么就可以认为，p最好取0.6。

做出以上预测的前提是：实验所满足的分布是已知的，只有参数未知。前面的实验可以认为满足二项分布，所以可以使用式子$p^6(1-p{)}^4$求解。

理解角度1

将以上过程抽象，可以得到极大似然法的一般步骤：

• 在极大似然法中，首先使用所有样本计算似然函数$L(\theta )$：
  
• 似然函数是一个关于模型参数$\theta$的函数，当选择不同的参数$\theta$时，似然函数的值是不同的，它描述了在当前参数下，使用模型分布$p_g(x,\theta )$产生数据集中所有样本的概率。一个朴素的想法是：在最好的模型参数${\theta }_{ML}$下，产生数据集中的所有样本的概率是最大的，即
  $${\theta }_{ML}=argmaxL(\theta )$$
  乘法往往会增加计算量，所以最好采用取对数的形式：
  

理解角度2

另一种对极大似然估计的理解是: 极大似然估计本质在最小化训练集上的经验分布${\hat{p}}_{data}$和模型分布$p_g(x;\theta )$之间的KL散度值，即

KL散度的表达式为：

第一项与$\theta$无关，所以只考虑第二项，可以发现这和角度1的式子本质是一样的。

很多生成模型可以用极大似然的原理进行训练。