w的L1范数和L2范数

L1范数

权重向量 $w$ 的 L1 范数，也称为曼哈顿范数或 1-范数，是一个向量的长度或模的度量。它的定义如下：

对于一个 n 维的实数向量 $w=[w_1,w_2,...,w_n]$，其 L1 范数（Manhattan 范数）表示为：

$$\Vert w{\Vert }_1=|w_1|+|w_2|+...+|w_n|$$

其中 $\Vert w{\Vert }_1$ 表示 $w$ 的 L1 范数，$w_i$ 表示向量 $w$ 的第 i 个分量。

L1 范数实际上是向量 $w$ 的各个分量的绝对值之和。与 L2 范数不同，L1 范数更加注重向量中每个分量的绝对大小，而不是它们的平方。

在机器学习中，L1 范数也常常用作正则化项的一部分，以限制模型参数的大小，防止过拟合。当我们希望模型的参数不仅小，而且尽可能稀疏时，可以在损失函数中添加 $\Vert w{\Vert }_1$ 作为正则化项。L1 正则化有助于将某些模型参数推向零，从而实现特征选择（feature selection），即选择对任务最重要的特征。这对于高维数据的处理和模型解释非常有用。

L2范数

权重向量 $w$ 的 L2 范数，也称为 Euclidean 范数或 2-范数，是一个向量的长度或模的度量。它的定义如下：

对于一个 n 维的实数向量 $w=[w_1,w_2,...,w_n]$，其 L2 范数（Euclidean 范数）表示为：

$$\Vert w{\Vert }_2=\sqrt{w_1^2+w_2^2+...+w_n^2}$$

其中 $\Vert w{\Vert }_2$ 表示 $w$ 的 L2 范数，$w_i$ 表示向量 $w$ 的第 i 个分量。

L2 范数实际上是向量 $w$ 到原点的欧几里德距离，它是向量 $w$ 的各个分量的平方和的平方根。L2 范数通常用于表示向量的长度或模，它的值永远是非负的。

在机器学习中，L2 范数常常用来作为正则化项的一部分，以限制模型参数的大小，防止过拟合。当我们希望模型的参数不要过大时，可以在损失函数中添加 $\Vert w{\Vert }_2$ 作为正则化项，从而鼓励模型选择较小的参数值。这有助于提高模型的泛化性能。