AI知识问答

7/16

介绍一下贝叶斯、最大似然估计（东南大学，2021）

答：

（1）最大似然估计(MLE)：从字面理解，即估计出最像这样特征的参数。其属于频率派，认为参数为一个固定的值。目标是求未知参数使数据发生的概率最大，根据已知样本得出每种情况发生的概率，将他们相乘，maxP(x|θ)；通常通过取对数将连乘转为连加，即最大似然转为对数似然求解。在样本很少时，会发生过拟合，这时频率派会加入正则化来解决。

（2）贝叶斯估计(MAP)：从字面理解，即估计出最像这样特征的参数分布。属于贝叶斯派，认为参数符合一个分布。目标是求数据发生的情况下，哪一个参数的概率最大（即最大化后验概率）maxP(θ|x)；贝叶斯公式：P(θ|x)=P(x|θ)P(θ)/P(x)，其中P(θ)为先验概率，P(x|θ)为似然函数，当θ符合均匀分布时，则等价于最大似然估计；当θ符合高斯分布时，则等价于最大似然估计+L2正则化；当θ符合拉普拉斯分布时，则等价于最大似然估计+L1正则化。

两者相差了一个先验概率，本质上，先验概率对应的就是正则化项。在神经网络的理解中，使用贝叶斯派去理解更容易：w符合某个分布，w的初始值（通过先验知识设定的置信度），即先验概率，然后通过已知的样本数