《深度学习500问》外链笔记

1.这个是什么意思

2.核函数

3.公式理解

4.L1和L2正则

L1和L2正则化是机器学习中常用的两种正则化技术，它们通过在损失函数中添加一个惩罚项来防止模型过拟合。这两种技术的主要区别在于惩罚项的形式。

L1正则化（Lasso正则化）

L1正则化通过向损失函数添加权重的绝对值的总和来工作

L1正则化的效果之一是它倾向于产生稀疏的权重矩阵，即模型中很多权重会变为0，这有助于特征选择，因为模型会忽略不那么重要的特征。

L2正则化（岭回归正则化）

L2正则化通过添加权重的平方的总和来工作

和L1正则化一样，( \lambda ) 控制了正则化的强度。不同的是，L2正则化倾向于分散权重值而不是让它们为0，因为对权重的惩罚与权重的大小成正比。

L2正则化对模型的权重添加了平方项惩罚，这使得模型权重不能太大，从而控制了模型的复杂度。

举例说明

假设我们正在训练一个线性回归模型来预测房价，模型的特征包括房屋的大小、位置、年龄等。

• 使用L1正则化：如果我们希望模型只集中于少数几个最重要的特征（例如，可能只有房屋的大小和位置真正影响房价），我们可以使用L1正则化。这会鼓励模型将其他不那么重要的特征的权重设为0，从而产生一个稀疏的模型，其中只有最关键的特征被选中。

• 使用L2正则化：如果我们认为所有特征都应该对预测有所贡献，但我们想要防止模型对数据中的噪声过于敏感，那么我们可以使用L2正则化。这会鼓励模型找到一个权重较小、更加分散的解决方案，降低了模型对单个数据点的敏感度，增强了模型的泛化能力。

在实际应用中，选择L1还是L2正则化通常基于问题的性质以及是否需要模型稀疏性。有时，也会结合使用L1和L2正则化，这在机器学习中被称为Elastic Net正则化。

5.为什么残差块能解决梯度弥散的问题

关于梯度弥散：https://www.bilibili.com/video/BV1M3411j7LG/

6.残差块的残差值