【深度学习中的线性代数理解】中的各种量理解:标量、向量、矩阵、张量

 

标量、向量、矩阵、张量之间的联系

    在深度学习中,大家肯定都知道这几个词:标量(Scalar),向量(Vector),矩阵(Matrix),张量(Tensor)。但是要是让我们具体说下他们,可能一下子找不出头绪。下面介绍一下他们之间的关系:

标量(scalar)

一个标量表示一个单独的数,它不同于线性代数中研究的其他大部分对象(通常是多个数的数组)。我们用斜体表示标量。标量通常被赋予小写的变量名称。如:a

 向量(vector)

​一个向量表示一组有序排列的数。通过次序中的索引,我们可以确定每个单独的数。通常我们赋予向量粗体的小写变量名称。当我们需要明确表示向量中的元素时,我们会将元素排列成一个方括号包围的纵柱:a.

【深度学习中的线性代数理解】中的各种量理解:标量、向量、矩阵、张量_第1张图片

矩阵(matrix)​

矩阵是一个二维数组,其中每一个元素由两个索引所确定。一个有m行,n列,每个元素都属于 RR 的矩阵记作 A∈Rm×n. 通常使用大写变量名称,如A

 

张量(tensor)

超过两维的数组叫做张量

在某些情况下,我们会讨论坐标超过两维的数组,一般的,一个数组中的元素分布在若干维坐标的规则网格中,我们称之为张量。我们使用字体 A 来表示张量“A”。张量A中坐标为(i,j,k) 的元素记作 Ai,j,k .

 

四者之间关系

 

标量是0阶张量,向量是一阶张量

举例:

标量就是知道棍子的长度,但是你不会知道棍子指向哪儿。

向量就是不但知道棍子的长度,还知道棍子指向前面还是后面。

张量就是不但知道棍子的长度,也知道棍子指向前面还是后面,还能知道这棍子又向上/下和左/右偏转了多少。

 

 

向量和矩阵的范数归纳

    

 向量的范数(norm)

 

 向量的1范数:

向量的2范数:

 

 向量的负无穷范数:

 

  向量的正无穷范数:

 

  向量的p范数:

 

 

矩阵的范数

  【深度学习中的线性代数理解】中的各种量理解:标量、向量、矩阵、张量_第2张图片

  当向量取不同范数时, 相应得到了不同的矩阵范数。

 矩阵的1范数(列范数): 

 矩阵的每一列上的元素绝对值先求和,再从中取个最大的,(列和最大);

【深度学习中的线性代数理解】中的各种量理解:标量、向量、矩阵、张量_第3张图片

 矩阵的2范数:

矩阵的无穷范数(行范数):

矩阵的每一行上的元素绝对值先求和,再从中取个最大的,(行和最大).

上述矩阵A的行范数先得到[6;16] ,再取最大的最终结果就是:16。


矩阵的核范数:

矩阵的奇异值(将矩阵svd分解)之和,这个范数可以用来低秩表示(因为最小化核范数,相当于最小化矩阵的秩——低秩)


矩阵的L0范数:

矩阵的非0元素的个数,通常用它来表示稀疏L0范数越小0元素越多,也就越稀疏.

上述矩阵最终结果就是:6


矩阵的L1范数:

矩阵中的每个元素绝对值之和,它是L0范数的最优凸近似,因此它也可以表示稀疏.

上述矩阵AAA最终结果就是:22。


矩阵的F范数:

矩阵的各个元素平方之和再开平方根,它通常也叫做矩阵的L2范数,它的有点在它是一个凸函数,可以求导求解,易于计算.

上述矩阵A最终结果就是:10.0995。

  矩阵的 p范数:

 其他线性代数的标量学习

 

行列式:(数学上定义为一个函数)

转置(transpose)

【深度学习中的线性代数理解】中的各种量理解:标量、向量、矩阵、张量_第4张图片 

  【深度学习中的线性代数理解】中的各种量理解:标量、向量、矩阵、张量_第5张图片

  注意:

  向量可以看作只有一列的矩阵, 对应地,向量的转置结果可以看作只有一行的矩阵
  标量的转置等于自身。

矩阵运算

   矩阵可以进行加法、乘法计算。

矩阵乘法(Matrix Product)

   两个矩阵的标准乘积不是两个矩阵中对应元素的乘积。 

【深度学习中的线性代数理解】中的各种量理解:标量、向量、矩阵、张量_第6张图片

  向量的点积(dot Product):(可以理解成矩阵乘积Matrix Product)

  注意:

  向量点积结果必然是一个实数,即一个一行一列的矩阵。

矩阵乘法分配律 

 

矩阵乘积结合律 

  注意:矩阵乘积并不满足交换律,然而,两个向量的点积满足交换律

 

  矩阵乘积的转置有着简单的形式

 

 单位矩阵(identity matrix)

 单位矩阵所有沿对角线的元素都是1, 而其它位置的所有元素都是0。

【深度学习中的线性代数理解】中的各种量理解:标量、向量、矩阵、张量_第7张图片

任意向量和单位矩阵相乘,都不会改变。

 逆矩阵

 

【深度学习中的线性代数理解】中的各种量理解:标量、向量、矩阵、张量_第8张图片

 

 

 

 

 

 

 

 

 

 

 

 

endl;

 

转载于:https://www.cnblogs.com/icmzn/p/11176298.html

你可能感兴趣的:(【深度学习中的线性代数理解】中的各种量理解:标量、向量、矩阵、张量)