学习笔记-拉普拉斯先验与L1正则化和高斯先验与L2正则化

在之前的笔记中记录了L1与L2正则化，现在我们来看为什么拉普拉斯先验等同于L1正则化，高斯先验等同于L2正则化。

拉普拉斯先验与L1正则化

1. 拉普拉斯分布
   

2. 拉普拉斯先验
   假设数据服从拉普拉斯分布，即参数遵循拉普拉斯分布
   2.1 将式（1.1）中的替换为
   
   2.2 取log
   
   2.3 设
   
   2.4 令
   
   从这里我们可以看出拉普拉斯先验等同于常数+L1正则化，即MLE+L1正则化

高斯先验与L2正则化

1. 高斯分布
   假设随机变量X分布的期望为,方差为
   
2. 假设数据服从高斯分布，即参数服从高斯分布
   2.1 将式(2.1)中的替换为
   
   2.2 取log
   
   2.3 令
   
   2.4 令
   
   从这里我们可以看出高斯先验等同于一个常数+L2正则化即 MLE+L2正则化