【Pytorch】data.norm（几种范数(norm)的详细介绍）

1. 范数(norm)的简单介绍

什么是范数？

我们知道距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念，它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解，我们可以把范数当作距离来理解。

在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。

一种非严密的解释就是，对应向量范数，向量空间中的向量都是有大小的，这个大小如何度量，就是用范数来度量的，不同的范数都可以来度量这个大小，就好比米和尺都可以来度量远近一样；对于矩阵范数，学过线性代数，我们知道，通过运算$AX=B$，可以将向量X变化为B，矩阵范数就是来度量这个变化大小的。

这里简单地介绍以下几种向量范数的定义和含义:

1.1 L-P范数

与闵可夫斯基距离的定义一样，L-P范数不是一个范数，而是一组范数，其定义如下：

根据P 的变化，范数也有着不同的变化，一个经典的有关P范数的变化图如下：

上图表示了p从无穷到0变化时，三维空间中到原点的距离（范数）为1的点构成的图形的变化情况。以常见的L-2范数（p=2）为例，此时的范数也即欧氏距离，空间中到原点的欧氏距离为1的点构成了一个球面。

1.2 L0范数

当P=0时，也就是L0范数，由上面可知，L0范数并不是一个真正的范数，它主要被用来度量向量中非零元素的个数。

1.3 L1范数

L1范数是我们经常见到的一种范数，它的定义如下：

表示向量 x 中非零元素的绝对值之和。

L1范数有很多的名字，例如我们熟悉的曼哈顿距离、最小绝对误差等。使用L1范数可以度量两个向量间的差异，如绝对误差和（Sum of Absolute Difference）：

1.4 L2范数

L2范数是我们最常见最常用的范数了，我们用的最多的度量距离欧氏距离就是一种L2范数，它的定义如下：

Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方，pytorch调用函数norm(x, 2)。

像L1范数一样，L2也可以度量两个向量间的差异，如平方差和（Sum of Squared Difference）: SSD

L2范数通常会被用来做优化目标函数的正则化项，防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。

1.5 ∞-范数

即所有向量元素绝对值中的最小值，matlab调用函数norm(x, -inf)。

2. 矩阵范数

2.1 1-范数

列和范数，即所有矩阵列向量绝对值之和的最大值，matlab调用函数norm(A, 1)。

2.2 2-范数

对于实矩阵A，它的谱范数定义为：

其中，eig(X)为计算方阵$X$特征值，它返回特征值向量：谱范数，即A’A矩阵的最大特征值的开平方。matlab调用函数norm(x, 2)。

2.3 ∞-范数

行和范数，即所有矩阵行向量绝对值之和的最大值，matlab调用函数norm(A, inf)。

2.4 F-范数

Frobenius范数，即矩阵元素绝对值的平方和再开平方，matlab调用函数norm(A, ’fro‘)。

2.6 核范数

是A的奇异值，核范数即奇异值之和。

3. pytorch中x.norm(p=2,dim=1,keepdim=True)的理解

3.1 方法介绍

• 代码：x.norm(p=2,dim=1,keepdim=True)
• 功能：求指定维度上的范数
• 函数原型：返回输入张量给定维dim 上每行的p范数
  • torch.norm(input, p, dim, out=None,keepdim=False) → Tensor
• 注：范数求法：对N个数据求p范数（上面已介绍）
  

3.2 函数参数

• input (Tensor) – 输入张量
• p (float) – 范数计算中的幂指数值
• dim (int) – 缩减的维度，dim=0是对0维度上的一个向量求范数，返回结果数量等于其列的个数，也就是说有多少个0维度的向量，将得到多少个范数。dim=1同理。
• out (Tensor, optional) – 结果张量
• keepdim（bool）– 保持输出的维度 。当keepdim=False时，输出比输入少一个维度（就是指定的dim求范数的维度）。而 keepdim=True时，输出与输入维度相同，仅仅是输出在求范数的维度上元素个数变为1。这也是为什么有时我们把参数中的dim称为缩减的维度，因为norm运算之后，此维度或者消失或者元素个数变为1。

3.3 实例演示

import torch

data = torch.tensor([
            [1., 2., 3., 4.],
            [ 2., 4., 6., 8.],
            [ 3., 6., 9., 12.]
        ])

3.3.1 dim参数

分别对其行和列分别求2范数:

# 按行
torch.norm(data, p=2, dim=1, keepdim=True)

tensor([[ 5.4772],
        [10.9545],
        [16.4317]])

# 按列
torch.norm(data, p=2, dim=0, keepdim=True)

tensor([[ 3.7417,  7.4833, 11.2250, 14.9666]])

3.3.2 keepdim参数

torch.norm(data, p=2, dim=1, keepdim=False)

tensor([ 5.4772, 10.9545, 16.4317])

可以看到输出少了一维，其实就是dim=1（求范数）那一维(列)少了，因为从4列变成1列，就是3行中求每一行的2范数，就剩1列了，不保持这一维不会对数据产生影响。或者也可以这么理解，就是数据每个数据有没有用[]扩起来。

不写keepdim，则默认不保留dim的那个维度

torch.norm(data, p=2, dim=1)

tensor([ 5.4772, 10.9545, 16.4317])

不写dim，则计算Tensor中所有元素的2范数

torch.norm(data, p=2)

tensor(20.4939)

与上面一样的效果，默认是L2范数

torch.norm(data)

tensor(20.4939)

首先，它对张量y每个元素进行平方，然后对它们求和，最后取平方根。 这些操作计算就是所谓的L2或欧几里德范数。

参考：Link Link Link Link

---

加油!

感谢!

努力!