MLE与MAP的关系

设数据集为$D$，参数为$\theta$

对于MLE有

$$P(D|\theta )=P(x_1,x_2...x_n|\theta )=\prod _{i=1}^{n}P(x_i|\theta )$$

取对数

$$logP(D|\theta )=\sum _{i=1}^{n}logP(x_i|\theta )$$

对于MAP有

$$logP(\theta |D)=\sum _{i=1}^{n}logP(x_i|\theta )+P(\theta )$$

当$P(\theta )$服从高斯分布$P(\theta )\sim N(0,{\mu }^2)$时

$$P(\theta )=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{{\theta }^2}{2{\sigma }^2})$$

取对数

$$logP(\theta )=-log\sqrt{2\pi }\sigma -\frac{{\theta }^2}{2{\sigma }^2}$$

则有

$$logP(\theta |D)=\sum _{i=1}^{n}logP(x_i|\theta )-log\sqrt{2\pi }\sigma -\frac{{\theta }^2}{2{\sigma }^2}$$

其中$\sigma$是一个常数，所以$-log\sqrt{2\pi }\sigma$可以忽略，所以有

$$logP(\theta |D)=\sum _{i=1}^{n}logP(x_i|\theta )-\frac{1}{2{\sigma }^2}\cdot {\theta }^2$$

令$\frac{1}{2{\sigma }^2}$为L2正则的惩罚项$\lambda$，所以当$P(\theta )$服从高斯分布时，其实MAP就等于MLE加上L2正则

当$P(\theta )$服从拉普拉斯分布$P(\theta )\sim L(0,b)$时

$$P(\theta )=\frac{1}{2b}exp(-\frac{|\theta |}{b})$$

取对数

$$logP(\theta )=-log2b-\frac{|\theta |}{b}$$

则有

$$logP(\theta |D)=\sum _{i=1}^{n}logP(x_i|\theta )-log2b-\frac{|\theta |}{b}$$

其中$b$是一个常数，所以$log2b$可以忽略，所以有

$$logP(\theta |D)=\sum _{i=1}^{n}logP(x_i|\theta )-\frac{1}{b}\cdot |\theta |$$

令$\frac{1}{b}$为L1正则的惩罚项$\lambda$，所以当$P(\theta )$服从拉普拉斯分布时，其实MAP就等于MLE加上L1正则

由于MAP是MLE加上一个先验概率，即

$$logP(\theta |D)=\sum _{i=1}^{n}logP(x_i|\theta )+P(\theta )$$

当数据量越来越大时，${\sum }_{i=1}^{n}logP(x_i|\theta )$的值会越来越大，而$P(\theta )$的值是不会变的，最终MAP的值就会趋向于MLE的值