矩阵论 - 9 - 线性无关、基、维数

线性无关、基、维数

线性无关 Independence

假定有 \(m\times n\) 的矩阵 \(A\) ,以列向量形式表示:\(\begin{bmatrix}v_1 & v_2 & \cdots & v_n\end{bmatrix}\)

  • 如果 \(Ac=0\) 只有零解 \(c=0\)(即 \(A\) 零空间中有且仅有 \(0\) 向量),则各向量线性无关。

    • 如果矩阵 \(A\) 的列向量为线性无关,则 \(A\) 所有的列均为主元列,没有自由列,矩阵的秩为n。\(rank(A)=n\)
  • 如果存在非零向量 \(c\) 使得 \(Ac=0\),则存在线性相关向量。

    • \(A\) 的列向量为线性相关,则矩阵的秩小于n,并且存在自由列。\(rank(A)\lt n\)

例子:

\(\mathbb{R}^2\) 空间中,两个向量只要不在一条直线上就是线性无关的。

\(\mathbb{R}^3\) 空间中,三个向量线性无关的条件是它们不在一个平面上。

张成空间 Spanning a space

当一个空间是由向量 \(v_1,\ v_2,\ \cdots,\ v_k\) 的所有线性组合组成时,我们称这些向量张成了这个空间。例如矩阵的列向量张成了该矩阵的列空间。

如果向量 \(v_1,\ v_2,\ \cdots,\ v_k\) 张成空间 \(S\),则 \(S\) 是包含这些向量的最小空间。

基与维数 Basis and dimension

向量空间的基(basis)是具有如下两个性质的一组向量 \(v_1,\ v_2,\ \cdots,\ v_d\)

  1. 他们线性无关;
  2. 他们可以张成(span)该向量空间。

空间的基告诉我们了空间的一切信息。


对于向量空间 \(\mathbb{R}^n\),如果 \(n\) 个向量组成的矩阵为可逆矩阵,则这 \(n\) 个向量为该空间的一组基,而数字 \(n\) 就是该空间的维数(dimension)。

对于任何矩阵 \(A\) 均有:矩阵的秩r=矩阵主元列的数目=列空间的维数

例子:
对于 \( A= \begin{bmatrix} 1 & 2 & 3 & 1 \\ 1 & 1 & 2 & 1 \\ 1 & 2 & 3 & 1 \\ \end{bmatrix} \),A的列向量线性相关,其零空间中有非零向量,所以 \(rank(A)=2=主元存在的列数=列空间维数\)

可以求得 \(Ax=0\)​ 的两个解,即\( x_1= \begin{bmatrix} -1 \\ -1 \\ 1 \\ 0 \\ \end{bmatrix}, x_2= \begin{bmatrix} -1 \\ 0 \\ 0 \\ 1 \\ \end{bmatrix} \)

特解的个数就是自由变量的个数,所以\(n-rank(A)=2=自由变量存在的列数=零空间维数\)

所以有:列空间维数 \(dim C(A)=rank(A)\),零空间维数 \(dim N(A)=n-rank(A)\)

总结

  1. 线性无关与线性相关:
    • 线性无关:\(Ax=0\) 只存在 \(x=0\) 的解
    • 线性相关:\(Ax=0\) 存在解非 \(0\)
  2. 对于向量空间 \(\mathbb{R}^n\),如果 \(n\) 个向量组成的矩阵为可逆矩阵,则这 \(n\) 个向量为该空间的一组基,而数字 \(n\) 就是该空间的维数(dimension)。
  3. 列空间维数 \(dim C(A)=rank(A)\),零空间维数 \(dim N(A)=n-rank(A)\)

reference

[1] textbook

[2] mit18.06学习笔记-0

[3] mit18.06学习笔记-1

你可能感兴趣的:(机器学习,线性代数,matlab,人工智能,支持向量机)