线性代数学习1 标量、向量、矩阵和张量

标量（scalar）

一个标题就是一个单独的数。用斜体表示标量。标量通常使用小写变量名称。
在介绍标题时，会明确它是哪种类型的数，如：
定义实数标量时，可能会说：
“令 s∈R s ∈ R 表示一条线的斜率”；
在定义自然数标量时，可能会说
“令 n∈N n ∈ N ”表示元素的数目。

向量（vector）

一个向量是一列数，这些数是有序排列的。向量中的元素可以用 x1 x 1 这样来表示 。

我们可以把向量看作空间中的点，每个元素是不同坐标轴上的坐标。
如果要定义包含元素索引的集合，如 x1、x3、x6 x 1 、 x 3 、 x 6 ， 我们定义集合
S=1,3,6 S = 1 , 3 , 6
然后写作： xS x S 。
使用符号 − − 表示集合补集中的索引，如
x−1 x − 1 表示 x x 中除了 x1 x 1 外的所有元素。
x−S x − S 表示除了 x1、x3、x6 x 1 、 x 3 、 x 6 外所有元素构成的向量。

行列式

行列式在数学中，是一个函数，其定义域为det的矩阵A，取值为一个标量，写作det(A)或 | A | 。无论是在线性代数、多项式理论，还是在微积分学中(比如说换元积分法中)，行列式作为基本的数学工具，都有着重要的应用。

行列式可以看做是有向面积或体积的概念在一般的欧几里得空间中的推广。或者说，在 n 维欧几里得空间中，行列式描述的是一个线性变换对”体积”所造成的影响。

矩阵（matrix）

矩阵是一个二维数组，通常使用大写变量名称，如 A A
一个实数矩阵高m宽度n，可以表示为 A∈Rm∗n A ∈ R m ∗ n
A1,1 A 1 , 1 表示左上的元素
Am,n A m , n 表示右下的元素
通过 “:” 来表示水平坐标， 以表示垂直坐标 i i 中的所有元素。如：
Ai,: A i , : 表示 A A 中垂直坐标 i i 上的一横排元素。这也被称为 A A 的第 i i 行。
同样的，通过” A:,i A : , i 来表示 A A 的第 i i 列。

张量（tensor）

在某些情况下，我们会讨论坐标超过两维的数组，一般的，一个数组中的元素分布在若干维坐标的规则网格中，我们称之为张量。我们使用字体 A 来表示张量“A”。张量A中坐标为 (i,j,k) ( i , j , k ) 的元素记作 Ai,j,k A i , j , k .

转置（transpose）

以对角线为轴的矩阵的镜像，从左上到右下称为主对角线（main diagonal）。
定义为：
(AT)i,j=Aj,i ( A T ) i , j = A j , i

向量可以看作只有一列的矩阵， 对应地，向量的转置可以看作只有一行的矩阵。
标题的转置等于自身。

矩阵运算

矩阵可以进行加法、乘法计算。

深度学习中，允许矩阵和向量相加：
C=A+b C = A + b ，其中 Ci,j=Ai,j+bj C i , j = A i , j + b j ，即向量b和矩阵A的每一行相加。这是一种隐式地复制向量b到很多位置的方式，称为广播（broadcasting）。

矩阵乘法

两个矩阵的标准乘积不是两个矩阵中对应元素的乘积。
两个矩阵 A A 和 B B 的矩阵乘积（matrix product）是第三个矩阵 C C 。
为了使乘法可被定义，矩阵 A A 的列数和矩阵 B B 的行数相等。如果矩阵 A A 的形状是 m∗n m ∗ n ， 矩阵 B B 的形状是 m∗p m ∗ p ， 我们可以通过将两个或多个矩阵并列放置以书写矩阵乘法。例如：

C=AB C = A B

，
具体地，该乘法操作定义为

Ci,j=∑kAi,kBk,j C i , j = ∑ k A i , k B k , j

示例：

[100223]∗⎡⎣⎢120103⎤⎦⎥=[1479] [ 1 0 2 0 2 3 ] ∗ [ 1 1 2 0 0 3 ] = [ 1 7 4 9 ]

元素对应乘积（Hadamard乘积）
如果是元素对应乘积（element-wise product）或者Hadamard乘积，记为 :

点积
两个相同维数的向量 x x 和 y y 的点积（dot poduct）可看作矩阵乘积 xTy x T y 。我们可以把矩阵乘积 C=AB C = A B 中计算 Ci,j C i , j 的步骤看作 A A 的第 i i 行和 B B 的第 j j 列之间的点积。

矩阵乘法分配律

A(B+C)=AB+AC A ( B + C ) = A B + A C

矩阵乘积结合律

A(BC)=(AB)C A ( B C ) = ( A B ) C

矩阵乘积并不满足交换律，然而两个向量的点积满足交换律：

xTy=yTx x T y = y T x

矩阵乘积的转置有着简单的形式：

(AB)T=BTAT ( A B ) T = B T A T

单位矩阵（identity matrix）

单位矩阵所有沿对角线的元素都是1， 而其它位置的所有元素都是0.如：

⎡⎣⎢100010001⎤⎦⎥ [ 1 0 0 0 1 0 0 0 1 ]

任意向量和单位矩阵相乘，都不会改变。我们将保持 n n 维向量不变的单位矩阵记作 In I n 。形式上， In∈Rn∗n I n ∈ R n ∗ n 。

∀x∈Rn,Inx=x ∀ x ∈ R n , I n x = x

逆矩阵

矩阵 A A 的逆矩阵记作 A−1 A − 1 ， 其定义的矩阵满足如下条件：

A−1A=In A − 1 A = I n

求解 Ax=b A x = b

Ax=b A x = b
A−1Ax=A−1b A − 1 A x = A − 1 b
Inx=A−1b I n x = A − 1 b
x=A−1b x = A − 1 b

这取决于我们能否找到一个逆矩阵 A−1 A − 1 。
当逆矩阵 A−1 A − 1 存在时，有几种不同的算法都能找到它的闭解形式。理论上，相同的逆矩阵可用于多次求解不同向量 b b 的议程。然而，逆矩阵 A−1 A − 1 主要是作为理论工具使用的，并不会在大多数软件应用程序中实际使用。这是因为逆矩阵 A−1 A − 1 在数字计算机上只能表现出有限的精度，有效使用向量 b b 的算法通常可以得到更精确的 x x 。