《线性代数》学习笔记 1
《麻省理工公开课：线性代数》—— 网易公开课
1 方程组的几何解释
二元一次方程组：
{ 2 x − y = 0 − x + 2 y = 3 \begin{cases} 2x-y=0 \\ -x+2y=3 \\ \end{cases} {2x−y=0−x+2y=3
矩阵形式：
[ 2 − 1 − 1 2 ] [ x y ] = [ 0 3 ] \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} 0 \\ 3 \end{bmatrix} [2−1−12][xy]=[03]
记为： A x = b Ax = b Ax=b
列的组合形式：
x [ 2 − 1 ] + y [ − 1 2 ] = [ 0 3 ] x \begin{bmatrix} 2 \\ -1 \end{bmatrix} + y \begin{bmatrix} -1 \\ 2 \end{bmatrix} = \begin{bmatrix} 0 \\ 3 \end{bmatrix} x[2−1]+y[−12]=[03]
乘法运算：
[ 2 5 1 3 ] [ 1 2 ] = 1 [ 1 2 ] + 2 [ 5 3 ] = [ 12 7 ] \begin{bmatrix} 2 & 5 \\ 1 & 3 \end{bmatrix} \begin{bmatrix} 1 \\ 2 \end{bmatrix} = 1 \begin{bmatrix} 1 \\ 2 \end{bmatrix} + 2 \begin{bmatrix} 5 \\ 3 \end{bmatrix} = \begin{bmatrix} 12 \\ 7 \end{bmatrix} [2153][12]=1[12]+2[53]=[127]
或者
[ 2 5 1 3 ] [ 1 2 ] = [ 2 × 1 + 5 × 2 1 × 1 + 3 × 2 ] = [ 12 7 ] \begin{bmatrix} 2 & 5 \\ 1 & 3 \end{bmatrix} \begin{bmatrix} 1 \\ 2 \end{bmatrix} = \begin{bmatrix} 2 \times 1 + 5 \times 2 \\ 1 \times 1 + 3 \times 2 \end{bmatrix} = \begin{bmatrix} 12 \\ 7 \end{bmatrix} [2153][12]=[2×1+5×21×1+3×2]=[127]
2 矩阵消元
{ x + 2 y + z = 2 3 x + 8 y + z = 12 4 y + z = 2 \begin{cases} x + 2y + z = 2 \\ 3x + 8y + z = 12 \\ 4y + z = 2 \\ \end{cases} ⎩⎪⎨⎪⎧x+2y+z=23x+8y+z=124y+z=2
记为： A x = b Ax = b Ax=b
消元过程：
[ 1 2 1 3 8 1 0 4 1 ] → [ 1 2 1 0 2 − 2 0 4 1 ] → [ 1 2 1 0 2 − 2 0 0 5 ] \begin{bmatrix} 1 & 2 & 1 \\ 3 & 8 & 1 \\ 0 & 4 & 1 \end{bmatrix} \rightarrow \begin{bmatrix} 1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 4 & 1 \end{bmatrix} \rightarrow \begin{bmatrix} 1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 0 & 5 \end{bmatrix} ⎣⎡130284111⎦⎤→⎣⎡1002241−21⎦⎤→⎣⎡1002201−25⎦⎤
最后一个矩阵中，对角线1 2 5为主元，主元不能为0
扩展到增广矩阵：
[ 1 2 1 2 3 8 1 12 0 4 1 2 ] → [ 1 2 1 2 0 2 − 2 6 0 4 1 2 ] → [ 1 2 1 2 0 2 − 2 6 0 0 5 − 10 ] \begin{bmatrix} 1 & 2 & 1 & 2 \\ 3 & 8 & 1 & 12 \\ 0 & 4 & 1 & 2 \end{bmatrix} \rightarrow \begin{bmatrix} 1 & 2 & 1 & 2 \\ 0 & 2 & -2 & 6 \\ 0 & 4 & 1 & 2 \end{bmatrix} \rightarrow \begin{bmatrix} 1 & 2 & 1 & 2 \\ 0 & 2 & -2 & 6 \\ 0 & 0 & 5 & -10 \end{bmatrix} ⎣⎡1302841112122⎦⎤→⎣⎡1002241−21262⎦⎤→⎣⎡1002201−2526−10⎦⎤
回代：
{ x + 2 y + z = 2 2 y − 2 z = 6 5 z = 10 \begin{cases} x + 2y + z = 2 \\ 2y -2z = 6 \\ 5z = 10 \\ \end{cases} ⎩⎪⎨⎪⎧x+2y+z=22y−2z=65z=10
记为： U x = c Ux = c Ux=c
用矩阵乘法表示消元第一步：
[ 1 0 0 − 3 1 0 0 0 1 ] [ 1 2 1 3 8 1 0 4 1 ] = [ 1 2 1 0 2 − 2 0 4 1 ] \begin{bmatrix} 1 & 0 & 0 \\ -3 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} 1 & 2 & 1 \\ 3 & 8 & 1 \\ 0 & 4 & 1 \end{bmatrix}= \begin{bmatrix} 1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 4 & 1 \end{bmatrix} ⎣⎡1−30010001⎦⎤⎣⎡130284111⎦⎤=⎣⎡1002241−21⎦⎤
整个消元过程为： E 32 ( E 21 A ) = ( E 32 E 21 ) A = U E_{32} ( E_{21} A) = (E_{32} E_{21}) A = U E32(E21A)=(E32E21)A=U
矩阵乘法满足结合律，不满足交换律。
逆矩阵：
[ 1 0 0 3 1 0 0 0 1 ] [ 1 0 0 − 3 1 0 0 0 1 ] = [ 1 0 0 0 1 0 0 0 1 ] \begin{bmatrix} 1 & 0 & 0 \\ 3 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} 1 & 0 & 0 \\ -3 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix}= \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} ⎣⎡130010001⎦⎤⎣⎡1−30010001⎦⎤=⎣⎡100010001⎦⎤
E − 1 E = I E^{-1} E = I E−1E=I
3 乘法和逆矩阵
矩阵乘法：
A m × p B p × n = C m × n A_{m \times p} B_{p \times n} = C_{m \times n} Am×pBp×n=Cm×n
其 中 ： C i j = ∑ k = 1 p a i k b k j ， C i j 为 A 的 第 i 行 乘 以 B 的 第 j 列 其中：C_{ij} = \sum_{k=1}^{p} a_{ik} b_{kj} ， C_{ij} 为 A 的第 i 行乘以 B 的第 j 列 其中：Cij=∑k=1paikbkj，Cij为A的第i行乘以B的第j列
C 的 每 一 列 可 看 作 A 的 列 的 线 性 组 合 C的每一列可看作A的列的线性组合 C的每一列可看作A的列的线性组合
C 的 每 一 行 可 看 作 B 的 行 的 线 性 组 合 C的每一行可看作B的行的线性组合 C的每一行可看作B的行的线性组合
A B = A 的 每 一 列 乘 以 B 的 每 一 行 的 和 A B = A的每一列乘以B的每一行的和 AB=A的每一列乘以B的每一行的和
可以将矩阵分成块进行乘法。
逆矩阵：
非奇异矩阵：可逆
奇异矩阵：不可逆
G-J消元法求逆：
[ 1 3 1 0 2 7 0 1 ] → [ 1 3 1 0 0 1 − 2 1 ] → [ 1 0 7 − 3 0 1 − 2 1 ] \left[ \begin{array}{cc|cc} 1 & 3 & 1 & 0 \\ 2 & 7 & 0 & 1 \end{array} \right] \rightarrow \left[ \begin{array}{cc|cc} 1 & 3 & 1 & 0 \\ 0 & 1 & -2 & 1 \end{array} \right] \rightarrow \left[ \begin{array}{cc|cc} 1 & 0 & 7 & -3 \\ 0 & 1 & -2 & 1 \end{array} \right] [12371001]→[10311−201]→[10017−2−31]
4 A的LU分解
公 式 ： 公式： 公式：
( A B ) − 1 = B − 1 A − 1 (AB)^{-1}=B^{-1}A^{-1} (AB)−1=B−1A−1
( A − 1 ) T = ( A T ) − 1 , A T 为 A 的 转 置 {(A^{-1}})^T={(A^{T}})^{-1}, A^{T}为A的转置 (A−1)T=(AT)−1,AT为A的转置
A 的 L U 分 解 ： A的LU分解： A的LU分解：
E A = U EA=U EA=U
A = L U A=LU A=LU
令 A = [ 1 2 1 2 1 1 1 5 3 ] 令A=\begin{bmatrix} 1 & 2 & 1 \\ 2 & 1 & 1 \\ 1 & 5 & 3 \end{bmatrix} 令A=⎣⎡121215113⎦⎤
计 算 E A = U ： 计算EA=U： 计算EA=U：
[ 1 0 0 − 2 1 0 − 1 0 1 ] [ 1 2 1 2 1 1 1 5 3 ] = [ 1 2 1 0 − 3 − 1 0 3 2 ] \begin{bmatrix} 1 & 0 & 0 \\ -2 & 1 & 0 \\ -1 & 0 & 1 \end{bmatrix} \begin{bmatrix} 1 & 2 & 1 \\ 2 & 1 & 1 \\ 1 & 5 & 3 \end{bmatrix}= \begin{bmatrix} 1 & 2 & 1 \\ 0 & -3 & -1 \\ 0 & 3 & 2 \end{bmatrix} ⎣⎡1−2−1010001⎦⎤⎣⎡121215113⎦⎤=⎣⎡1002−331−12⎦⎤
[ 1 0 0 0 1 0 0 1 1 ] [ 1 2 1 0 − 3 − 1 0 3 2 ] = [ 1 2 1 0 − 3 − 1 0 0 1 ] = U \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 1 & 1 \end{bmatrix} \begin{bmatrix} 1 & 2 & 1 \\ 0 & -3 & -1 \\ 0 & 3 & 2 \end{bmatrix}= \begin{bmatrix} 1 & 2 & 1 \\ 0 & -3 & -1 \\ 0 & 0 & 1 \end{bmatrix}=U ⎣⎡100011001⎦⎤⎣⎡1002−331−12⎦⎤=⎣⎡1002−301−11⎦⎤=U
则：
E = [ 1 0 0 0 1 0 0 1 1 ] [ 1 0 0 − 2 1 0 − 1 0 1 ] = [ 1 0 0 − 2 1 0 − 3 1 1 ] E=\begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 1 & 1 \end{bmatrix} \begin{bmatrix} 1 & 0 & 0 \\ -2 & 1 & 0 \\ -1 & 0 & 1 \end{bmatrix}= \begin{bmatrix} 1 & 0 & 0 \\ -2 & 1 & 0 \\ -3 & 1 & 1 \end{bmatrix} E=⎣⎡100011001⎦⎤⎣⎡1−2−1010001⎦⎤=⎣⎡1−2−3011001⎦⎤
计 算 A = L U ， 同 上 ： 计算A=LU，同上： 计算A=LU，同上：
L = [ 1 0 0 2 1 0 1 0 1 ] [ 1 0 0 0 1 0 0 − 1 1 ] = [ 1 0 0 2 1 0 1 − 1 1 ] L=\begin{bmatrix} 1 & 0 & 0 \\ 2 & 1 & 0 \\ 1 & 0 & 1 \end{bmatrix} \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & -1 & 1 \end{bmatrix}= \begin{bmatrix} 1 & 0 & 0 \\ 2 & 1 & 0 \\ 1 & -1 & 1 \end{bmatrix} L=⎣⎡121010001⎦⎤⎣⎡10001−1001⎦⎤=⎣⎡12101−1001⎦⎤
A=LU的形式比EA=U更好，因为L中的元素就是消元的乘数。
5 转置-置换-向量空间R
转置：将矩阵的行变成列，列变成行，记做 A T A^T AT
( A T ) i j = A j i (A^T)_{ij}=A_{ji} (AT)ij=Aji
置换：交换矩阵的行或列
置换矩阵是行重新排列的单位矩阵，记做 P P P
n阶置换矩阵个数为 n ! n! n!
P T = P − 1 P^T=P^{-1} PT=P−1
对称矩阵： A T = A A^T=A AT=A
对 任 意 矩 阵 R ， ( R T R ) T = R T R 对任意矩阵R，(R^TR)^T=R^TR 对任意矩阵R，(RTR)T=RTR
对A进行置换后的LU分解：
P A = L U PA=LU PA=LU
向量空间：
有加法和数乘运算，空间中向量经过加法和数乘运算得到的新向量仍在该空间内（对线性组合封闭）。
举例：
R 2 ： 实 数 组 成 的 2 维 空 间 R^2：实数组成的2维空间 R2：实数组成的2维空间
R 3 ： 实 数 组 成 的 3 维 空 间 R^3：实数组成的3维空间 R3：实数组成的3维空间
R n ： 实 数 组 成 的 n 维 空 间 R^n：实数组成的n维空间 Rn：实数组成的n维空间
子空间：
举 例 ， R 2 的 子 空 间 ： 举例，R^2的子空间： 举例，R2的子空间：
1 、 R 2 自 己 1、R^2自己 1、R2自己
2 、 经 过 零 点 的 直 线 2、经过零点的直线 2、经过零点的直线
3 、 单 个 0 向 量 ， 记 做 Z 3、单个0向量，记做Z 3、单个0向量，记做Z
矩阵构造子空间：
A = [ 1 3 2 3 4 1 ] A= \begin{bmatrix} 1 & 3 \\ 2 & 3 \\ 4 & 1 \end{bmatrix} A=⎣⎡124331⎦⎤
A 中 每 一 列 是 R 3 中 的 向 量 ， 这 两 列 组 成 的 空 间 为 R 3 的 子 空 间 ， 称 作 列 空 间 ， 记 做 C ( A ) 。 A中每一列是R^3中的向量，这两列组成的空间为R^3的子空间，称作列空间，记做C(A)。 A中每一列是R3中的向量，这两列组成的空间为R3的子空间，称作列空间，记做C(A)。
几 何 上 ， C ( A ) 构 成 一 个 平 面 。 几何上，C(A)构成一个平面。 几何上，C(A)构成一个平面。
6 列空间和零空间
对 任 意 子 空 间 S 和 T ， 交 集 S ⋂ T 是 子 空 间 。 对任意子空间S和T，交集 S \bigcap T 是子空间。 对任意子空间S和T，交集S⋂T是子空间。
设 A = [ 1 1 2 2 1 3 3 1 4 4 1 5 ] ， 则 C ( A ) 是 R 4 的 子 空 间 。 设A=\begin{bmatrix} 1 & 1 & 2 \\ 2 & 1 & 3 \\ 3 & 1 & 4 \\ 4 & 1 & 5 \end{bmatrix}，则C(A)是R^4的子空间。 设A=⎣⎢⎢⎡123411112345⎦⎥⎥⎤，则C(A)是R4的子空间。
A x = b 有 解 ， 当 且 仅 当 b 属 于 A 的 列 空 间 。 Ax=b有解，当且仅当b属于A的列空间。 Ax=b有解，当且仅当b属于A的列空间。
零 空 间 ： A x = 0 的 解 构 成 的 子 空 间 。 零空间：Ax=0的解构成的子空间。 零空间：Ax=0的解构成的子空间。
在 本 例 中 零 空 间 是 一 条 直 线 。 在本例中零空间是一条直线。 在本例中零空间是一条直线。