2021-04-10 ch4模型泛化和过拟合

泛化和过拟合

构建泛化能力强的模型

1. 正确的数据
2. 合适的模型（图像：CNN）
3. 合适的优化算法（梯度下降、adam）
4. 避免模型过拟合

过拟合：训练集上拟合好，但在测试集上表现差
通常，一个模型存在过拟合现象的时候，它的参数趋向于变大。

L1和L2正则
由于使用L1正则之后，很多参数变成了0，这自然就起到了特征选择的目的。让模型的参数变稀疏。
L1正则所存在的潜在的问题:
1、计算上的挑战 无法很好地融合到梯度下降法，对于||w||, w=0时，0点没有梯度。
2、特征选择上的挑战。 对于相似特征上，是随机筛选。解决方法可以是结合L1+L2 。在成千上万个特征选某几个时会用L1.

关于L2参数λ：绝对值变大的时候，L2范数的值也会相应地变大，这就跟最小化目标函数是矛盾的。所以加入L2范数之后，优化过程倾向于选择绝对值小的参数

image.png

---

MAP 和 MLP

最大似然估计（MLE, Maximum Likelihood Estimation）和最大后验估计 MAP之间也有着特殊的关系:当数据量无穷多的时候，最大后验估计的结果会逼近于最大似然估计的结果。这就说明，当数据越来越多的时候，先验的作用会逐步减弱。

MLE 寻找θ使得 P(D|θ) 最大
MAP 寻找θ使得 P(θ|D) 最大

image.png

θ_MAP = argmax P(D|θ)·P(θ) 似然概率·先验概率

image.png

当样本量很小的时候，应加入先验概率，否则容易被样本迷惑，参考癌症看病的例子 4-4 PART1。同时也相当于一个正则项，不同先验概率分布相当于不同正则项，比如高斯分布=L2正则。

参数服从高斯分布=L2正则

参数服从拉普拉斯分布=L1正则

当样本量无穷大时，MAP趋向于MLP。因为MLE部分权重随N变大而变大，prior权重相应变小

image.png