线性代数（2）
目录
- 线性相关性
- 基
- 四个基本子空间
- 行空间
- 左零空间
- 矩阵空间
- 秩1矩阵
- 正交向量
线性相关性
给定一组向量 x ⃗ 1 , x ⃗ 2 , x ⃗ 3 , . . . , x ⃗ n \vec{x}_1,\vec{x}_2,\vec{x}_3,...,\vec{x}_n x1,x2,x3,...,xn，如果存在不全为0的数 c 1 , c 2 , c 3 , . . . , c n c_1,c_2,c_3,...,c_n c1,c2,c3,...,cn，使得 c 1 x ⃗ 1 + c 2 x ⃗ 2 + . . . + c n x ⃗ n = 0 c_1\vec{x}_1+c_2\vec{x}_2+...+c_n\vec{x}_n=0 c1x1+c2x2+...+cnxn=0则称这组向量线性相关，否则称其线性无关
设 v ⃗ 1 , . . . v ⃗ n \vec{v}_1,...\vec{v}_n v1,...vn是矩阵 A A A的列向量（组成列空间 C ( A ) C(A) C(A)）
当 A A A的零空间 N ( A ) N(A) N(A)仅包含零向量时，这些列向量线性无关，矩阵A的秩 r ( A ) = n r(A)=n r(A)=n， C ( A ) C(A) C(A)的维数是 n n n
否则，这些列向量线性相关，矩阵A的秩 r ( A ) < n r(A)
(秩是矩阵才有的概念，对应向量组的维数)
(回忆秩的定义：矩阵 A A A的主列数目)
基
给定一组向量 v ⃗ 1 , v ⃗ 2 , . . . v ⃗ d \vec{v}_1,\vec{v}_2,...\vec{v}_d v1,v2,...vd，如果满足
1）线性无关
2）可以生成(通过线性组合)一个向量空间 p p p
则称这组向量是空间 p p p的一组基
1）一个空间的基有无数组
2）一个空间的所有基向量个数相等，称为这个空间的维数（如定义里空间 p p p的维数是 d d d）
四个基本子空间
给定一个矩阵 A m × n A_{m\times n} Am×n，可以构造如下4种基本子空间
| 名称 | 符号 | 维数 | 基 |
|---|---|---|---|
| 列空间 | C ( A ) C(A) C(A) | r r r | 消元后得到的 r r r个主列 |
| 零空间 | N ( A ) N(A) N(A) | n − r n-r n−r | 消元后得到的 n − r n-r n−r个自由列 |
| 行空间 | C ( A T ) C(A^T) C(AT) | r r r | 最简型 R R R的前 r r r行 |
| 左零空间 | N ( A T ) N(A^T) N(AT) | m − r m-r m−r | 左乘 E E E矩阵的后 m − r m-r m−r行 |
- 矩阵列空间的维数 = 行空间的维数=矩阵的秩
- 列空间的秩与零空间的秩参考线性代数（1）的“零空间”
行空间
初等行变换化简
A = [ 1 2 3 1 1 1 2 1 1 2 3 1 ] ⇒ [ 1 2 3 1 0 − 1 − 1 0 0 0 0 0 ] ⇒ [ 1 0 1 1 0 1 1 0 0 0 0 0 ] (1) A=\left[\begin{matrix}1&2&3&1\\1&1&2&1\\1&2&3&1\end{matrix}\right]\Rightarrow \left[\begin{matrix}1&2&3&1\\0&-1&-1&0\\0&0&0&0\end{matrix}\right]\\\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \Rightarrow \left[\begin{matrix}1&0&1&1\\0&1&1&0\\0&0&0&0\end{matrix}\right] \tag{1} A=⎣⎡111212323111⎦⎤⇒⎣⎡1002−103−10100⎦⎤ ⇒⎣⎡100010110100⎦⎤(1)
式(1)第一行最右的矩阵是常见的阶梯型，根据该矩阵就可以获知主列和自由列的情况
第二行的矩阵是最简型 R R R
因为 R R R是由 A A A行向量通过线性变换得到的，因此并没有改变行空间 C ( A T ) C(A^T) C(AT)，非0行就是行空间的基，非0行的数量就是行空间的维数（同时也是列空间的维数）
左零空间
先解释“左零”的由来：
N ( A T ) N(A^T) N(AT)表示的是 A T X = 0 A^TX=0 ATX=0的解空间，而
A T X = 0 ⇒ ( A T X ) T = 0 ⇒ X T A = 0 (2) A^TX=0\Rightarrow (A^TX)^T=0\Rightarrow X^TA=0 \tag{2} ATX=0⇒(ATX)T=0⇒XTA=0(2)
左零空间的基可以通过先转置 A A A然后求其自由列获得，也可以由以下方式获得：
以(1)式的 A A A为例
1）初等行变换 [ A m × n ∣ I m × m ] [A_{m\times n}|I_{m\times m}] [Am×n∣Im×m]，左侧消元为最简型 R ⇒ [ R m × n ∣ E m × m ] R\Rightarrow [R_{m\times n}|E_{m\times m}] R⇒[Rm×n∣Em×m]
[ 1 2 3 1 1 0 0 1 1 2 1 0 1 0 1 2 3 1 0 0 1 ] ⇒ [ 1 0 1 1 − 1 2 0 0 1 1 0 1 − 1 0 0 0 0 0 − 1 0 1 ] (3) \left[\begin{array}{lccr|lcr}1&2&3&1&1&0&0\\1&1&2&1&0&1&0\\1&2&3&1&0&0&1\end{array}\right]\Rightarrow \left[\begin{array}{lccr|ccr}1&0&1&1&-1&2&0\\0&1&1&0&1&-1&0\\0&0&0&0&-1&0&1\end{array}\right] \tag{3} ⎣⎡111212323111100010001⎦⎤⇒⎣⎡100010110100−11−12−10001⎦⎤(3)
可以验证， E A = R EA=R EA=R
2）取 E E E的后 m − r m-r m−r行即为基
对比 E A = R EA=R EA=R与式(2)，可以发现 E E E的最后 m − r m-r m−r行可以使得 A A A的左乘为0
在式(3)的例子中就是最后 3 − 2 = 1 3-2=1 3−2=1行 [ − 1 0 1 ] [-1\ 0\ 1] [−1 0 1]为 N ( A T ) N(A^T) N(AT)的基
矩阵空间
向量空间表示的是一个对向量加法和数乘封闭的向量集合，实际上空间这个概念可以扩展：
由于矩阵也支持加法和数乘计算，因此
对矩阵加法和数乘封闭的矩阵集合组成矩阵空间
记 M M M为 3 × 3 3\times 3 3×3的矩阵空间，显然对应的基有9个，可以为：
[ 1 0 0 0 0 0 0 0 0 ] , [ 0 1 0 0 0 0 0 0 0 ] , . . . , [ 0 0 0 0 0 0 0 0 1 ] (4) \left[\begin{matrix}1&0&0\\0&0&0\\0&0&0\end{matrix}\right],\left[\begin{matrix}0&1&0\\0&0&0\\0&0&0\end{matrix}\right],...,\left[\begin{matrix}0&0&0\\0&0&0\\0&0&1\end{matrix}\right] \tag{4} ⎣⎡100000000⎦⎤,⎣⎡000100000⎦⎤,...,⎣⎡000000001⎦⎤(4)
记 S S S为 3 × 3 3\times 3 3×3的对称矩阵组成的矩阵空间，显然 S S S是 M M M的子空间，对应的基有6个，可以为：
[ 1 0 0 0 0 0 0 0 0 ] , [ 0 0 0 0 1 0 0 0 0 ] , [ 0 0 0 0 0 0 0 0 1 ] , [ 0 1 0 1 0 0 0 0 0 ] , [ 0 0 1 0 0 0 1 0 0 ] , [ 0 0 0 0 0 1 0 1 0 ] (5) \left[\begin{matrix}1&0&0\\0&0&0\\0&0&0\end{matrix}\right],\left[\begin{matrix}0&0&0\\0&1&0\\0&0&0\end{matrix}\right],\left[\begin{matrix}0&0&0\\0&0&0\\0&0&1\end{matrix}\right],\left[\begin{matrix}0&1&0\\1&0&0\\0&0&0\end{matrix}\right],\left[\begin{matrix}0&0&1\\0&0&0\\1&0&0\end{matrix}\right],\left[\begin{matrix}0&0&0\\0&0&1\\0&1&0\end{matrix}\right] \tag{5} ⎣⎡100000000⎦⎤,⎣⎡000010000⎦⎤,⎣⎡000000001⎦⎤,⎣⎡010100000⎦⎤,⎣⎡001000100⎦⎤,⎣⎡000001010⎦⎤(5)
记 U U U为 3 × 3 3\times 3 3×3的上三角矩阵组成的矩阵空间， U U U是 M M M的子空间，对应的基有6个，可以为：
[ 1 0 0 0 0 0 0 0 0 ] , [ 0 0 0 0 1 0 0 0 0 ] , [ 0 0 0 0 0 0 0 0 1 ] , [ 0 1 0 0 0 0 0 0 0 ] , [ 0 0 1 0 0 0 0 0 0 ] , [ 0 0 0 0 0 1 0 0 0 ] (6) \left[\begin{matrix}1&0&0\\0&0&0\\0&0&0\end{matrix}\right],\left[\begin{matrix}0&0&0\\0&1&0\\0&0&0\end{matrix}\right],\left[\begin{matrix}0&0&0\\0&0&0\\0&0&1\end{matrix}\right],\left[\begin{matrix}0&1&0\\0&0&0\\0&0&0\end{matrix}\right],\left[\begin{matrix}0&0&1\\0&0&0\\0&0&0\end{matrix}\right],\left[\begin{matrix}0&0&0\\0&0&1\\0&0&0\end{matrix}\right] \tag{6} ⎣⎡100000000⎦⎤,⎣⎡000010000⎦⎤,⎣⎡000000001⎦⎤,⎣⎡000100000⎦⎤,⎣⎡000000100⎦⎤,⎣⎡000000010⎦⎤(6)
记 D D D为 3 × 3 3\times 3 3×3的对角矩阵组成的矩阵空间， D D D是 M M M的子空间，同时也是 S S S和 U U U的交集，对应的基有3个，可以为：
[ 1 0 0 0 0 0 0 0 0 ] , [ 0 0 0 0 1 0 0 0 0 ] , [ 0 0 0 0 0 0 0 0 1 ] (7) \left[\begin{matrix}1&0&0\\0&0&0\\0&0&0\end{matrix}\right],\left[\begin{matrix}0&0&0\\0&1&0\\0&0&0\end{matrix}\right],\left[\begin{matrix}0&0&0\\0&0&0\\0&0&1\end{matrix}\right] \tag{7} ⎣⎡100000000⎦⎤,⎣⎡000010000⎦⎤,⎣⎡000000001⎦⎤(7)
秩1矩阵
任何一个秩为1的矩阵都可以分解为列向量与行向量的乘积，即 A = U V T A=UV^T A=UVT
令 A = [ 1 4 5 2 8 10 ] A=\left[\begin{matrix}1&4&5\\2&8&10\end{matrix}\right] A=[1248510]，有
A = [ 1 4 5 2 8 10 ] = [ 1 2 ] [ 1 4 5 ] (8) A=\left[\begin{matrix}1&4&5\\2&8&10\end{matrix}\right]=\left[\begin{matrix}1\\2\end{matrix}\right]\left[\begin{matrix}1&4&5\end{matrix}\right] \tag{8} A=[1248510]=[12][145](8)
正交向量
两条向量正交的充要条件是 X T Y = 0 X^TY=0 XTY=0
设 X X X和 Y Y Y分别是直角三角形的两条直角边，显然有
∣ ∣ X ∣ ∣ 2 + ∣ ∣ Y ∣ ∣ 2 = ∣ ∣ X + Y ∣ ∣ 2 ⇒ X T X + Y T Y = X T X + Y T Y + 2 X T Y ⇒ X T Y = 0 (9) ||X||^2+||Y||^2=||X+Y||^2\\\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \Rightarrow X^TX+Y^TY=X^TX+Y^TY+2X^TY\\\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \Rightarrow X^TY=0 \tag{9} ∣∣X∣∣2+∣∣Y∣∣2=∣∣X+Y∣∣2 ⇒XTX+YTY=XTX+YTY+2XTY ⇒XTY=0(9)
如果两个子空间 A A A与 B B B正交，那么 A A A中的任意向量与 B B B的任意向量正交
由此可得：行空间 C ( A T ) C(A^T) C(AT)正交于零空间 N ( A ) N(A) N(A)