【深度学习中的线性代数理解】中的各种量理解：标量、向量、矩阵、张量

 

标量、向量、矩阵、张量之间的联系

    在深度学习中，大家肯定都知道这几个词：标量（Scalar），向量（Vector），矩阵（Matrix），张量（Tensor）。但是要是让我们具体说下他们，可能一下子找不出头绪。下面介绍一下他们之间的关系：

标量（scalar)

​一个标量表示一个单独的数，它不同于线性代数中研究的其他大部分对象（通常是多个数的数组）。我们用斜体表示标量。标量通常被赋予小写的变量名称。如：a

 向量（vector）

​一个向量表示一组有序排列的数。通过次序中的索引，我们可以确定每个单独的数。通常我们赋予向量粗体的小写变量名称。当我们需要明确表示向量中的元素时，我们会将元素排列成一个方括号包围的纵柱：如 a.

矩阵（matrix）​

矩阵是一个二维数组，其中每一个元素由两个索引所确定。一个有m行，n列，每个元素都属于 RR 的矩阵记作 A∈R^m×n. 通常使用大写变量名称，如A

 

张量（tensor）

超过两维的数组叫做张量。

在某些情况下，我们会讨论坐标超过两维的数组，一般的，一个数组中的元素分布在若干维坐标的规则网格中，我们称之为张量。我们使用字体 A 来表示张量“A”。张量A中坐标为(i,j,k) 的元素记作 A_i,j,k .

 

四者之间关系

 

标量是0阶张量，向量是一阶张量。

举例：

​标量就是知道棍子的长度，但是你不会知道棍子指向哪儿。

​向量就是不但知道棍子的长度，还知道棍子指向前面还是后面。

​张量就是不但知道棍子的长度，也知道棍子指向前面还是后面，还能知道这棍子又向上/下和左/右偏转了多少。

 

 

向量和矩阵的范数归纳

　　　　

 向量的范数(norm)

 

 向量的1范数：

向量的2范数：

 

 向量的负无穷范数：

 

  向量的正无穷范数：

 

  向量的p范数：

 

 

矩阵的范数

　　

　　当向量取不同范数时, 相应得到了不同的矩阵范数。

 矩阵的1范数（列范数）： 

 矩阵的每一列上的元素绝对值先求和，再从中取个最大的,（列和最大）；

 矩阵的2范数：

矩阵的无穷范数（行范数）：

矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大）.

上述矩阵A的行范数先得到[6；16] ，再取最大的最终结果就是：16。

矩阵的核范数：

矩阵的奇异值（将矩阵svd分解）之和，这个范数可以用来低秩表示（因为最小化核范数，相当于最小化矩阵的秩——低秩）

矩阵的L0范数：

矩阵的非0元素的个数，通常用它来表示稀疏，L0范数越小0元素越多，也就越稀疏.

上述矩阵A 最终结果就是：6

矩阵的L1范数：

矩阵中的每个元素绝对值之和，它是L0范数的最优凸近似，因此它也可以表示稀疏.

上述矩阵AAA最终结果就是：22。

矩阵的F范数：

矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的L2范数，它的有点在它是一个凸函数，可以求导求解，易于计算.

上述矩阵A最终结果就是：10.0995。

  矩阵的 p范数:

 其他线性代数的标量学习

 

行列式：（数学上定义为一个函数）

转置（transpose）

 

  

　　注意：

　　向量可以看作只有一列的矩阵， 对应地，向量的转置结果可以看作只有一行的矩阵。
　　标量的转置等于自身。

矩阵运算

 　　矩阵可以进行加法、乘法计算。

矩阵乘法（Matrix Product）

   两个矩阵的标准乘积不是两个矩阵中对应元素的乘积。 

  向量的点积（dot Product）：（可以理解成矩阵乘积Matrix Product）

  注意：

　　向量点积结果必然是一个实数，即一个一行一列的矩阵。

矩阵乘法分配律 

 

矩阵乘积结合律 

　　注意：矩阵乘积并不满足交换律，然而，两个向量的点积满足交换律

 

　　矩阵乘积的转置有着简单的形式

 

 单位矩阵（identity matrix）

 单位矩阵所有沿对角线的元素都是1， 而其它位置的所有元素都是0。

任意向量和单位矩阵相乘，都不会改变。

 逆矩阵

 

 

 

 

 

 

 

 

 

 

 

 

 

endl;

 

转载于:https://www.cnblogs.com/icmzn/p/11176298.html