L1正则先验分布是Laplace分布，L2正则先验分布是Gaussian分布

https://www.cnblogs.com/heguanyou/p/7688344.html
https://blog.csdn.net/m0_38045485/article/details/82147817
https://www.zhihu.com/question/23536142

---

image.png

含有白噪音的测量得到的，与真实的有均值为0的高斯分布误差：

因为我们要求的是

• 但是，我们很快遇到了small n, large p的问题，如果里面的变量太多会导致模型变得复杂，既然确定了的概率分布，那就把的概率分布一块弄个联合概率分布呗（显然和相互独立）

---

拉普拉斯(Laplace)分布

Laplace.png

可以看到Laplace分布集中在μ附近，而且b越小，数据的分布就越集中。

---

Laplace先验导出L1正则化

• 注意：号变成号

最终，我们惊讶地推出的结果，说明其实是由该拉普拉斯分布推出的

---

如果我们使用的高斯分布，那么就会推出

---

当然也可以把组成复合式：

image.png

中间那个就是.png