最大似然估计与最大后验概率估计

概率与统计

概率是已知模型、参数推数据，而统计是已知数据推模型和参数。
似然和概率是两个意思很相似的词，但含义不同。相当于从不同视角理解同一个东西。
对于函数 ，其中x为数据，为参数。

• 若参数是确定的，数据x是未知的，则P叫概率函数。描述的是，对于不同的样本x，其出现时的概率是多少；
• 若数据x是已知的，参数是未知的，则P就叫似然函数。描述的是，对于不同的参数，出现样本点x的概率是多少；

贝叶斯公式

最大似然估计

已知一组样本 ，和模型，估计其参数。
似然估计认为，已经出现的事件就是发生可能性最大的事件。
任一样本，发生的概率为。因此对于这组样本，其整体发生的概率，即联合分布概率为
只需要对L求极大值即可，一般会根据情况取ln，求导。若不可导，则利用函数特性求解。

最大后验概率估计

最大似然估计时，估计的是 （P即f）。而最大后验概率估计，估计的是，即将参数本身的概率也考虑进去，既希望概率最大，也希望参数自身先验概率也最大，相当于是一个期望更大值的正则项。举例解释见例子
，其中P(x)已知了，所以估计就是估计，即后验概率。
在求解时可将代入，同理求解最大值，得到得到最大后验概率估计。

参考：最大似然与最大后验·理解，二者的具体计算,例子