线性代数 --- 线性相关与线性无关（个人学习笔记）

线性相关的定义：

        给定一组列向量v1,v2...vk与一组对应的权重c1,c2...ck以及他们的线性组合c1v1+c2v2+...+ckvk。显然，令所有权重都为0的组合一定会得到：0v1+0v2+...+0vk=0。实际上，这也就是我们常说的齐次方程Ax=0平凡解。

        Tips: 这里我说一下，为什么Ax=0的全零解叫做平凡解。因为，我在学习数学的过程中，逐渐发现，每一个数学术语的出现和创造，大概率都不会是空穴来风，一定都包含着特殊的意义。而之前的我就一直不明白什么叫平凡解，只是上大学的时候，似乎经常听同学和老师说这个词。现在，大学毕业接近十年以后，我重新学习数学。依然会觉得，为什么不叫“全零解”（后续我依然会使用这一术语）。这样非常便于记忆和理解，而平凡二字并不能很客观的去反应这个词的具体意义。今天我查字典，看了一下，平凡解，trivial的意义。发现trivial这个词的另外两个解释，更好理解，也更加便于人们接受，尤其是“不费吹灰之力的”这个解释，可不就是这个意思吗？要想让齐次方程Ax=0的左边全部为0，只需要让x全部为0就行了，而得到这个全零解的过程不费吹灰之力。

        言归正传，我在这里所关注的并不是全零解，而是我们能不能找到全零解以外的权重组合 ，依然可以使得线性组合的结果0。如果只能找到“全零解”的组合，那么我们说，这一组列向量v是线性无关的。如果可以找到令全部为0以外的方法，使得Cv的线性组合结果为0，那么这一组列向量v就是线性有关的。 这时，v1,v2,...vk中至少有一个向量可以用其他向量的线性组合表示。

        注意：这里我们所说的列向量v1到vk中，不能有全0向量，只要有一个全零向量，这组向量就线性相关。例如，假设v1为0，我们取c1=3，然后令剩下的权重都为0，就可以得到一个令线性组合Cv的结果为0的非全零的权重组合，即，C=[3，0，0，。。。。0]'。

一个线性相关的例子：

         矩阵A的行与行之间线性相关。第三行等于两倍的第二行减去五倍的第一行。且，矩阵A的列与列之间也线性相关，第二列是第一列的三倍，第四列等于第一列加上第三列的三分之一。通过高斯消元后（行消元），我们能更直接的看到这层关系，消元后的矩阵U出现了全零行，这说明原始矩阵A中的三行，有一行（不一定是第三行，因为，消元过程中会出现行交换）是“多余的”，多余的这一行可以用另外两行合成。

        也就是说，对于矩阵A的各个列向量而言，当且仅当Ax=0有非平凡解时，矩阵A的各列是线性相关的。而Ax=0是否有平凡解，需要由高斯消元后的U矩阵来决定。

        对于一个nxn矩阵A而言，如果A的秩为n，那么消元后的矩阵U就不存在全零行，该矩阵也就不存在自由变量，对应的零空间只有0（除了，x=0这个平凡解）。如果A的秩小于n, 则至少有一个自由变量。如果让这个自由变量取非零值，而其他的变量全部取零，求得非平凡解，说明列向量是线性相关的。我们上面的矩阵A就是一个很好的例子，矩阵的秩等于U的非零行个数，就上例来说U的秩r=2，n=3。

        因此，对于未知数个数大于方程个数的情况，也就是对于n>m的mxn矩阵A。A的秩rank永远不会大于m(行数)，永远小于n(列数)。则，齐次方程组Ax=0，必有自由变量，因此，必有非平凡解，也就是x=0以外的解，说明，矩阵A的各列必定线性相关。

            

---

线性相关与线性无关的图示说明

左上图说明：向量v1和向量v2在同一直线上。向量V1可以通过对V2进行缩放来得到，方向相同大小不同。

右上图说明：向量v1和向量v2不在同一直线上。向量V1不能通过对V2进行缩放来得到，方向不同。

左上图说明：向量w和向量u，v在同一平面上。可以通过向量u,v线性组合而成。

右上图说明：向量w不在向量u，v所处的平面上。不能通过向量u,v线性组合而成。

对于下面的两幅图，从空间的角度 ，我们可以说：

左上图：w属于u,v的列空间。

左下图：w不属于u,v的列空间。

（全文完）

作者 --- 松下J27

格言摘抄：摩西为人极其谦和，胜过世上众人。《圣经》民数记12章3节

 （配图与本文无关）

版权声明：所有的笔记，可能来自很多不同的网站和说明，在此没法一一列出，如有侵权，请告知，立即删除。欢迎大家转载，但是，如果有人引用或者COPY我的文章，必须在你的文章中注明你所使用的图片或者文字来自于我的文章，否则，侵权必究。 ----松下J27