矩阵论(零):线性代数基础知识整理(2)——矩阵的秩与向量组的秩

矩阵论专栏:专栏(文章按照顺序排序)

本篇博客承接上篇矩阵论(零):线性代数基础知识整理(1)——逆矩阵、初等变换、满秩分解,主要整理秩相关的结论。

  • 线性方程组的解与向量组的秩
    • 线性方程组的解(初步讨论)
    • 向量组的秩
    • 线性方程组的解(进一步讨论)
  • 零矩阵的判定定理
  • 关于秩的重要结论(结合向量组的秩、分块矩阵的秩的方法进行总结)
    • 矩阵的秩与向量组的秩的关系
    • 常用矩阵秩相关的等式和不等式
      • 公式1: ∣ r ( A ) − r ( B ) ∣ ⩽ r ( A ± B ) ⩽ r ( A ) + r ( B ) |r(A)-r(B)|\leqslant r(A\pm B)\leqslant{}r(A)+r(B) r(A)r(B)r(A±B)r(A)+r(B)以及取等号的条件
      • 公式2: r ( A B ) ⩽ m i n { r ( A ) , r ( B ) } r(AB)\leqslant{}min\{r(A),r(B)\} r(AB)min{ r(A),r(B)}
      • 公式3(Sylvester不等式): r ( A ) + r ( B ) − n ⩽ r ( A B ) r(A)+r(B)-n\leqslant{}r(AB) r(A)+r(B)nr(AB)以及取等号的条件
      • 公式4(Frobenius不等式): r ( A B C ) ⩾ r ( A B ) + r ( B C ) − r ( B ) r(ABC)\geqslant r(AB)+r(BC)-r(B) r(ABC)r(AB)+r(BC)r(B)以及取等号的条件
      • 公式5: r ( I − A B ) ⩽ r ( I − A ) + r ( I − B ) r(I-AB)\leqslant r(I-A)+r(I-B) r(IAB)r(IA)+r(IB)
      • 公式6:若 A B = B A AB=BA AB=BA,则 r ( A + B ) ⩽ r ( A ) + r ( B ) − r ( A B ) r(A+B)\leqslant r(A)+r(B)-r(AB) r(A+B)r(A)+r(B)r(AB)
      • 公式7: r ( A H A ) = r ( A A H ) = r ( A ) r(A^HA)=r(AA^H)=r(A) r(AHA)=r(AAH)=r(A)
      • 公式8:若 W = Y T A X W=Y^TAX W=YTAX非奇异,则 r ( A − A X W − 1 Y T A ) = r ( A ) − r ( A X W − 1 Y T A ) r(A-AXW^{-1}Y^TA)=r(A)-r(AXW^{-1}Y^TA) r(AAXW1YTA)=r(A)r(AXW1YTA)
        • 推论:Wedderburn秩1化简公式
      • 公式9:设 A A A n n n阶方阵,则 r ( A n ) = r ( A n + 1 ) = r ( A n + 2 ) = . . . r(A^n)=r(A^{n+1})=r(A^{n+2})=... r(An)=r(An+1)=r(An+2)=...
    • 常见相关推论
      • 矩阵方程 A X = B AX=B AX=B有解的充要条件
      • 同解方程组的充要条件
      • 幂等矩阵的充要条件
      • 对合矩阵的充要条件

由于篇幅太长,加上公式太多打开网页渲染慢的原因,目录中的内容分两个博客写,下篇是矩阵论(零):线性代数基础知识整理(3)——矩阵的秩与向量组的秩。本篇博客包含:目录中公式3及其之前的所有内容,包括定理1~20和所有提到的定义。其他内容在下篇博客中。


线性方程组的解与向量组的秩

线性方程组的解(初步讨论)
  • 对任意线性方程组 A x = b Ax=b Ax=b,其中A是 m × n m\times{n} m×n矩阵,称 B = [ A b ] B=\begin{bmatrix}A&b\end{bmatrix} B=[Ab]是A的增广矩阵,通过对B进行初等行变换化为B的行最简形(或行阶梯型),可以证明方程组的解有且仅有以下三种情形:
    • r ( A ) + 1 = r ( B ) r(A)+1=r(B) r(A)+1=r(B),则方程组无解
    • r ( A ) = r ( B ) = n r(A)=r(B)=n r(A)=r(B)=n,则方程组有唯一解
    • r ( A ) = r ( B ) < n r(A)=r(B)r(A)=r(B)<n,则方程组有无穷多解
  • 对齐次线性方程组 A x = 0 Ax=0 Ax=0,其中A是 m × n m\times{n} m×n矩阵,可视作上述方程组的特例,故有如下结论:
    • r ( A ) = n r(A)=n r(A)=n,则方程组有唯一解(零解)
    • r ( A ) < n r(A)r(A)<n,则方程组有无穷多解(即一定有非零解)

由上述结论可见 A x = b Ax=b Ax=b有解的充要条件为 r ( A ) = r [ A b ] r(A)=r\begin{bmatrix}A&b\end{bmatrix} r(A)=r[Ab]
利用上述对线性方程组的解的初步讨论的结果,接下来就可以研究向量组的秩的相关结论。

向量组的秩

【注】给定任一数域F,下面提到的向量,是指 F n F^n Fn中向量,即n个数构成的有序元组。一般来说,为方便起见, F n F^n Fn F n × 1 F^{n\times 1} Fn×1不作区分,即直接将 F n F^n Fn中向量视作列向量。

线性相关与线性无关
  • 定义1:设 α 1 , α 2 , ⋯   , α m \alpha_1,\alpha_2,\cdots,\alpha_m α1,α2,,αm是n维向量组,若存在不全为零的常数 k 1 , k 2 , ⋯   , k m k_1,k_2,\cdots,k_m k1,k2,,km使得 ∑ i = 0 m k i α i = 0 \sum_{i=0}^m k_i\alpha_i=0 i=0mkiαi=0,则称该向量组线性相关;否则,称该向量组线性无关
  • 定义2:若存在一组常数 k 1 , k 2 , ⋯   , k s k_1,k_2,\cdots,k_s k1,k2,,ks使得向量 b = ∑ i = 1 s k i a i b=\sum_{i=1}^sk_ia_i b=i=1skiai,则称b可由 a 1 , a 2 , ⋯   , a s a_1,a_2,\cdots,a_s a1,a2,,as线性表示;若向量组A中的每个向量都可由向量组B线性表示,则称A可由B线性表示;若向量组A和B可相互线性表示,则称A和B等价
  • 定理1:向量组 a 1 , a 2 , ⋯   , a s a_1,a_2,\cdots,a_s a1,a2,,as线性相关等价于齐次线性方程组 [ a 1 ⋯ a s ] x = 0 \begin{bmatrix}a_1&\cdots&a_s\end{bmatrix}x=0 [a1as]x=0有非零解,等价于矩阵 [ a 1 ⋯ a s ] \begin{bmatrix}a_1&\cdots&a_s\end{bmatrix} [a1as]的秩小于s
  • 定理2:若n维向量组U含有 s > n s\gt{n} s>n个向量,则U线性相关
    证明:
    设U中向量分别为 u 1 , u 2 , . . . , u s u_1,u_2,...,u_s u1,u2,...,us,它们按列构成矩阵 A = [ u 1 u 2 . . . u s ] A=\begin{bmatrix}u_1&u_2&...&u_s\end{bmatrix} A=[u1u2...us],由于 r ( A ) ⩽ n < s r(A)\leqslant nr(A)n<s,故方程组 A x = 0 Ax=0 Ax=0有非零解,即存在不全为零的常数 k 1 , k 2 , . . . , k s k_1,k_2,...,k_s k1,k2,...,ks使得 k 1 u 1 + k 2 u 2 + . . . + k s u s = 0 k_1u_1+k_2u_2+...+k_su_s=0 k1u1+k2u2+...+ksus=0,故U线性相关。
  • 定理3:向量组线性相关的充要条件为该向量组中至少存在一个向量可用其他向量线性表示
  • 定理4:若向量组 a 1 , a 2 , ⋯   , a s a_1,a_2,\cdots,a_s a1,a2,,as线性无关,而 a 1 , a 2 , ⋯   , a s , b a_1,a_2,\cdots,a_s,b a1,a2,,as,b线性相关,则b可由 a 1 , a 2 , ⋯   , a s a_1,a_2,\cdots,a_s a1,a2,,as唯一地线性表示
  • 定理5:若线性无关向量组 a 1 , a 2 , . . . , a s a_1,a_2,...,a_s a1,a2,...,as可由向量组 b 1 , b 2 , . . . , b t b_1,b_2,...,b_t b1,b2,...,bt线性表示,则 s ⩽ t s\leqslant t st
    证:(反证法)
    假设 s > t s>t s>t,设矩阵 A = [ a 1 a 2 . . . a s ] , B = [ b 1 b 2 . . . b t ] A=\begin{bmatrix}a_1&a_2&...&a_s\end{bmatrix},B=\begin{bmatrix}b_1&b_2&...&b_t\end{bmatrix} A=[a1a2...as],B=[b1b2...bt],则由已知,A的列向量组可由B的列向量组线性表示,即存在 t × s t\times s t×s矩阵C使得 A = B C A=BC A=BC。考察线性方程组 A x = 0 Ax=0 Ax=0,由于A的列向量组线性无关,故该方程组只有零解,即 B C x = 0 BCx=0 BCx=0只有零解。但由于 s > t s>t s>t r ( C ) ⩽ t < s r(C)\leqslant t r(C)t<s,故线性方程组 C x = 0 Cx=0 Cx=0有非零解 x 0 x_0 x0,故 B C x 0 = 0 BCx_0=0 BCx0=0,即 B C x = 0 BCx=0 BCx=0有非零解 x 0 x_0 x0,矛盾。故假设不成立,即 s ⩽ t s\leqslant t st,得证。
  • 定理6:等价的线性无关向量组所含向量个数相同
    证明:
    设两个线性无关向量组分别为 a 1 , a 2 , . . . , a s a_1,a_2,...,a_s a1,a2,...,as b 1 , b 2 , . . . , b t b_1,b_2,...,b_t b1,b2,...,bt,它们可相互线性表示,由定理5知, s ⩽ t s\leqslant t st t ⩽ s t\leqslant s ts,故 s = t s=t s=t,得证。
  • 定理7:若向量组的某个子组线性相关,则该向量组线性相关;逆否命题为,若向量组线性无关,则该向量组的任意子组线性无关
  • 定理8:若向量组 a 1 , a 2 , . . . , a s a_1,a_2,...,a_s a1,a2,...,as线性无关,则其延伸组 ( a 1 b 1 ) , ( a 2 b 2 ) , . . . , ( a s b s ) \begin{pmatrix}a_1\\b_1\end{pmatrix},\begin{pmatrix}a_2\\b_2\end{pmatrix},...,\begin{pmatrix}a_s\\b_s\end{pmatrix} (a1b1),(a2b2),...,(asbs)线性无关
极大无关组与秩
  • 定义3:若向量组U有一个子组u满足:u线性无关,且U中任意向量均可由u线性表示,则称u是U的极大无关组
  • 定理9:若n维向量组U含有非零向量,则U的极大无关组必存在
    证明:
    若U含有不多于 n n n个向量,取出U的所有线性无关子组,其中包含向量个数最多的子组一定是U的一个极大无关组。
    若U含有不少于 n + 1 n+1 n+1个向量(包括了U是无穷集的情况),任取U的一个含有 n + 1 n+1 n+1个向量的子组 U ′ U^{'} U,则 U ′ U^{'} U是线性相关的。显然 U ′ U^{'} U存在线性无关的子组,且 U ′ U^{'} U的任意一个线性无关子组所含向量个数不大于n。设 U ′ U^{'} U的线性无关子组所含向量个数最大值为 f ( U ′ ) f(U^{'}) f(U)

你可能感兴趣的:(机器学习的数学基础,线性代数,矩阵论,机器学习)