线性代数基础概念与重要定义汇总

马上要开始一大波夏令营面试了，前不久thu叉院的一面问到了概率分布，没有准备好，用了一周左右的时间断断续续的复习了一下线性代数，后面再概率论吧，主要总结了一些基础知识，概念和性质。

一、行列式-计算方法与重要性质

$$\text{行列式定义}$$
行列式的定义依赖于逆序数与全排列，需要注意的是，行列式只是方阵的概念。

---

$$\text{行列式计算以及性质}$$
行列式的计算除了直接用定义以外，可以使用如下性质进行计算的简化。

1、三角形行列式的值，等于对角线元素的乘积。计算时，一般需要多次运算来把行列式转换为上三角型或下三角型
2、交换行列式中的两行（列），行列式变号（交换）
3、行列式中某行（列）的公因子，可以提出放到行列式之外。（倍乘）（注：矩阵是全部元素都乘，都提取）
4、行列式的某行乘以a，加到另外一行，行列式不变，常用于消去某些元素。（倍加）
5、若行列式中，两行（列）完全一样，则行列式为0；可以推论，如果两行（列）成比例，行列式为0。
6、行列式展开：行列式的值，等于其中某一行（列）的每个元素与其代数余子式乘积的和；但若是另一行（列）的元素与本行（列）的代数余子式乘积求和，则其和为0

---

$$\text{行列式重要公式}$$

拉普拉斯展开式中，m，n分别是A,B矩阵的阶数。

---

$$\text{方阵的行列式}$$

• $|A^T|=|A|$
• $|kA|=k^n|A|$
• $|AB|=|A||B|$
• $|A^{\ast }|=|A{|}^{n-1}$，A是n阶矩阵。
• $|A{|}^{-1}=|A^{-1}|$
• A的行列数是A所有特征值的乘积。

---

相关博文：

https://blog.csdn.net/xuejianbest/article/details/85051344utm_medium=distribute.pc_relevant.none-task-blog-baidujs-2
https://blog.csdn.net/xuejianbest/article/details/85050784?ops_request_misc=&request_id=&biz_id=102&utm_term=%E8%A1%8C%E5%88%97%E5%BC%8F&utm_medium=distribute.pc_search_result.none-task-blog-2_allsobaiduweb~default-6-85050784
https://blog.csdn.net/wuxintdrh/article/details/98424632?ops_request_misc=&request_id=&biz_id=102&utm_term=%E8%A1%8C%E5%88%97%E5%BC%8F%E7%9A%84%E4%B8%BB%E8%A6%81%E5%85%AC%E5%BC%8F&utm_medium=distribute.pc_search_result.none-task-blog-2_allsobaiduweb~default-0-98424632

二、矩阵的秩，特征值与特征多项式

矩阵的特征值刻画矩阵的奇异性、反映矩阵所有对角元素的结构、刻画矩阵的正定性。

---

$$\text{秩}$$
一个矩阵A的列秩是A的线性独立的纵列的极大数目。类似地，行秩是A的线性无关的横行的极大数目。即如果把矩阵看成一个个行向量或者列向量，秩就是这些行向量或者列向量的秩，也就是极大无关组中所含向量的个数。

如果A中，存在一个i阶子式不为0，且所有i+1阶子式对应的行列式值为0，那么r(A)=i（所谓的i阶子式即在矩阵中人去一个i*i的方阵）

求矩阵的秩时，除了利用定义法和上面的观察法，主要是通过性质，经过初等变换，矩阵秩不变。若A可逆，则r(AB)=r(BA)=r(B)

---

$$\text{特征值与特征向量}$$

物理意义：我们可以将矩阵看成是一个力的混合体，但需要注意的是，这个力的混合体中各个力是相互独立的！即特征向量之间线性无关，是无法做力的合成（这里只是假设其无法合成，有更好的解释以后会补充）的。其中力的个数为矩阵的秩，力的大小为特征值的大小，力的方向即为特征向量的方向。

详细解释见深度理解矩阵的奇异值，特征值

$$\text{特征多项式}$$
A为n阶矩阵，若数λ和n维非0列向量x满足Ax=λx，那么数λ称为A的特征值，x称为A的对应于特征值λ的特征向量。式Ax=λx也可写成( A-λE)x=0，并且|λE-A|叫做A 的特征多项式。当特征多项式等于0的时候，称为A的特征方程，特征方程是一个齐次线性方程组，求解特征值的过程其实就是求解特征方程的解。

---

$$\text{特征值相关的重要性质}$$

• 设$A$是n阶矩阵，${\lambda }_1,..,{\lambda }_n$是矩阵$A$的特征值，那么我们有如下两条性质$1:\sum {\lambda }_i=\sum a_{ii}，2:\prod {\lambda }_i=|A|$。
• 不同特征值对应的特征向量线性无关。
• 实对阵矩阵$A$的不同特征值${\lambda }_i$所对应的特征向量${\alpha }_i$必然正交。实对称矩阵A的特征值都是实数，特征向量都是实向量。
• 下三角矩阵，上三角矩阵，对角矩阵的特征值就是矩阵主对角线上的元素。

三、逆，奇异，正交，伴随，实对称，正定矩阵

$$\text{理解矩阵}$$
一片很好的文章，在线性空间中，当你选定一组基之后，不仅可以用一个向量来描述空间中的任何一个对象，而且可以用矩阵来描述该空间中的任何一个运动（变换）。而使某个对象发生对应运动的方法，就是用代表那个运动的矩阵，乘以代表那个对象的向量。

简而言之，在线性空间中选定基之后，向量刻画对象，矩阵刻画对象的运动，用矩阵与向量的乘法施加运动。这就是线性代数中所说的坐标变换。

是的，矩阵的本质是运动的描述。如果以后有人问你矩阵是什么，那么你就可以响亮地告诉他，矩阵的本质是运动的描述。（chensh，说你呢！）

---

$$\text{矩阵的逆以及计算}$$

设$A$是$n$阶矩阵，如果存在$n$阶矩阵$B$，使得$AB=BA=E(单位矩阵)$成立，那么称$A$为可逆矩阵或者非奇异矩阵。

求出逆矩阵的3种手算方法：

• 待定系数法：对矩阵$A$，直接设一个全为未知数的矩阵$B$，使得$AB=E$，解方程得到$B$的所有值。
• 伴随矩阵法、A的伴随矩阵是一个n×n的矩阵（记作adj(A)），使得其第i 行第j 列的元素是A关于第j 行第i 列的代数余子式。
• 初等变换法（初等行变化用的比较多），将矩阵$A$，增广为$A|E$的形式，通过初等变化将其变为$E{A}^{-1}$。

这三种方法百度百科讲的无比清楚

---

$$\text{奇异矩阵和非奇异矩阵}$$
以下内容来自于这里

首先需要说明的值奇异矩阵和非奇异矩阵都是针对方阵而言的。奇异矩阵是线性代数的概念，就是对应的行列式等于0的矩阵。

非奇异矩阵的英文是nonsingular matrices，从对应的英文单词nonsingular上来讲，singular有一个含义是单数的，那么nonsingular是非单数，与非奇异矩阵的性质对上了，即有矩阵A，矩阵B，满足条件:AB=BA=I，I是一个单元矩阵，那么矩阵A和矩阵B均为非奇异矩阵。非奇异，即A不是单个的，是成对的。

奇异矩阵的判定方法：

行列式|A|是否等于0，若等于0，称矩阵A为奇异矩阵；

非奇异矩阵的判定方法：

一个矩阵非奇异当且仅当它的行列式不为零。
一个矩阵非奇异当且仅当它代表的线性变换是个自同构。
一个矩阵非奇异当且仅当它的秩为n。
(R(A)

---

$$\text{正交矩阵及其性质}$$
如果：$A{A}^T=E$（E为单位矩阵，$A^T$表示“矩阵A的转置矩阵”。）或$A^{T}A=E$，则$n$阶实矩阵$A$称为正交矩阵。

正交矩阵的性质：

1)$A^T$是正交矩阵
2)$A$的各行是单位向量且两两正交
3)$A$的各列是单位向量且两两正交
4)$|A|=1$或-1

---

$$\text{实对称矩阵}$$

如果有n阶矩阵A，其矩阵的元素都为实数，且矩阵A的转置等于其本身（aij=aji）(i,j为元素的脚标），则称A为实对称矩阵。
主要性质：
1.实对称矩阵A的不同特征值对应的特征向量是正交的。
2.实对称矩阵A的特征值都是实数，特征向量都是实向量。
3.n阶实对称矩阵A必可相似对角化，且相似对角阵上的元素即为矩阵本身特征值。
4.若A具有k重特征值λ0　必有k个线性无关的特征向量，或者说秩r(λ0E-A)至多为n-k，其中E为单位矩阵。

---

$$\text{正定，半正定矩阵定义与重要性质}$$

在线性代数里，正定矩阵 (positive definite matrix) 有时会简称为正定阵。在线性代数中，正定矩阵的性质类似复数中的正实数。与正定矩阵相对应的线性算子是对称正定双线性形式（复域中则对应埃尔米特正定双线性形式）。

（1）广义定义：设$M$是$n$阶方阵，如果对任何非零向量$z$，都有${\mathbf{z}}^{\mathbf{T}}\mathbf{M}\mathbf{z}>0$，其中$z^T$ 表示$z$的转置，就称$M$为正定矩阵。

例如：B为n阶矩阵，E为单位矩阵，a为正实数。在a充分大时，aE+B为正定矩阵。（B必须为对称阵）

（2）狭义定义：一个$n$阶的实对称矩阵M是正定的的条件是当且仅当对于所有的非零实系数向量z，都有$z^{T}Mz>0$。其中$z^T$表示$z$的转置。

---

重要性质：

正定矩阵有以下性质 ：
（1）正定矩阵的行列式恒为正；
（2）实对称矩阵A正定当且仅当A与单位矩阵合同；
（3）若A是正定矩阵，则A的逆矩阵也是正定矩阵；
（4）两个正定矩阵的和是正定矩阵；
（5）正实数与正定矩阵的乘积是正定矩阵。

---

等价命题：

对于n阶实对称矩阵A，下列条件是等价的：
（1）A是正定矩阵；
（2）A的一切顺序主子式均为正；
（3）A的一切主子式均为正；
（4）A的特征值均为正；
（5）存在实可逆矩阵C，使A=C′C；
（6）存在秩为n的m×n实矩阵B，使A=B′B；
（7）存在主对角线元素全为正的实三角矩阵R，使A=R′R [3] 。

---

判定方法：

根据正定矩阵的定义及性质，判别对称矩阵A的正定性有两种方法：
（1）求出A的所有特征值。若A的特征值均为正数，则A是正定的；若A的特征值均为负数，则A为负定的。
（2）计算A的各阶主子式。若A的各阶主子式均大于零，则A是正定的；若A的各阶主子式中，奇数阶主子式为负，偶数阶为正，则A为负定的。

四、向量组与线性相关（无关）

$$\text{线性无关的定义}$$
在线性代数里，矢量空间的一组元素中，若没有矢量可用有限个其他矢量的线性组合所表示，则称为线性无关或线性独立 (linearly independent)，反之称为线性相关(linearly dependent)。

线性相关(Linear dependent)与线性无关(Linear independent)对于理解子空间的基，子空间的维数，以及矩阵的秩等等是重要的.

数学定义：

如果线性空间X中的向量组${\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{j}}$存在如下线性关系：

$${\mathbf{k}}_1{\mathbf{x}}_1+{\mathbf{k}}_2{\mathbf{x}}_2+,...,+{\mathbf{k}}_{\mathbf{j}}{\mathbf{x}}_{\mathbf{j}}=0,$$

其中$k_1,...,k_j$为不全为零的实数.则称${\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{j}}$线性相关.如果只有当$k_1,...,k_j$全为零时才满足上式,则称${\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{j}}$线性无关.

---

$$\text{向量组的秩}$$
通俗的说，就是把这一组向量中的垃圾向量踢出后剩下的高品质向量的个数，假设这一组有5个向量，踢出两个垃圾，还剩3个。

那么这个向量组的秩就是3。那什么是垃圾向量呢？就是能被别人线性表示的向量。比如说向量α1能被α2和α3线性表示，也就是它的工作能被别人取代。那么α1就是垃圾向量！

正式定义：

一个向量组的极大线性无关组所包含的向量的个数，称为向量组的秩；若向量组的向量都是0向量，则规定其秩为0.向量组α1，α2，···，αs的秩记为R{α1，α2，···，αs}或rank{α1，α2，···，αs}。

极大线性无关组：

极大线性无关组（maximal linearly independent system）是线性空间的基对向量集的推广。设V是域P上的线性空间，S是V的子集。若S的一部分向量线性无关，但在这部分向量中，加上S的任一向量后都线性相关，则称这部分向量是S的一个极大线性无关组。V中子集的极大线性无关组不是惟一的，例如，V的基都是V的极大线性无关组。它们所含的向量个数（基数）相同。V的子集S的极大线性无关组所含向量的个数（基数），称为S的秩。只含零向量的子集的秩是零。V的任一子集都与它的极大线性无关组等价。特别地，当S等于V且V是有限维线性空间时，S的秩就是V的维数。–百度百科

五、线性方程组的解，与秩的关系

先给出两个写的很好的blog，1，2，然后结合他俩&书总结一下。

$$\text{线性方程组什么时候无解？多个解？唯一解?}$$
$$非齐次线性方程组$$
非齐次线性方程组:化简后的有效方程组个数小于未知数个数，有多个解。
非齐次线性方程组:化简后的有效方程组个数等于未知数个数，有唯一解。
非齐次线性方程组:化简后的有效方程组出现(0=d)型式不兼容方程，则无解 。

下面从左到右依次是原方程，增广矩阵（非齐次线性方程组，就是方程组的等式右边不为0的方程组，系数加上方程等式右边的矩阵，叫做增广矩阵），以及化简后的增广矩阵，化简后的方程组。

这样，x2可以通过x3来表示，x1也可以通过x3来表示，这样x3就叫做自由变量，x3可以取任意值。所以x1,x2,x3就有无穷多个解。即化简后的有效方程组个数，小于未知数个数。这样的方程组有无穷多个解

---

$$齐次线性方程组$$

齐次线性方程组，就是方程组的等式右边全部是0的方程组，只有系数矩阵，不需要增广矩阵，所以不会出现{0=d}形式的不相容方程。所以不会出现无解的情况，那么显然，齐次线性方程组的秩与其系数矩阵的秩肯定是相等（因为增广了一列0，不影响秩的，也就是说它肯定有解。这个也好理解，零向量肯定是他的解嘛。关键问题在于，它什么时候会有非零解。

对于Ax=0的齐次线性方程组，列出其系数矩阵（不需要增广矩阵），使用高斯消元法化简，化为阶梯形矩阵，化简后，判断有效方程组个数是否小于未知数个数，

如果有效方程组个数小于未知数个数，叫做有非零解（多个解）
如果等于，叫做只有零解（唯一解）

---

$$\text{通过矩阵的秩判断线性方程组的解}$$
线性方程组什么时候无解，有多个解，唯一解？

对于非齐次线性方程组，用矩阵的秩r(A)来判断

对线性方程组进行初等变换（高斯消元法），化为最简型（阶梯形）矩阵，

考查系数矩阵$r(A)$，增广矩阵$r(A,b)$，以及方程组未知数个数$n$

• 如果系数矩阵的秩$r(A)$小于增广矩阵的秩$r(A,b)$，$r(A)<r(A,b)$，那么方程组无解$r(A)<r(A,b)$，那么方程组无解，即$b$不能由$A$的列向量线性表出；
• 如果系统矩阵的秩小于方程组未知数个数，$r(A)=r(A,b)<n$，那么方程组有多个解$r(A)=r(A,b)<n$，那么方程组有多个解。
• 如果系统矩阵的秩等于方程组未知数个数，$r(A)=r(A,b)=n$，那么方程组有唯一解$r(A)=r(A,b)=n$，那么方程组有唯一解。

对于齐次线性方程组，用行列式的值 detA来判断。

• 不存在无解的情况

• $r(A)<n$时，等价于$A$的列向量线性相关，那么方程的数目小于未知数的数目，一定有非零解。

• $r(A)=n$，即$|A|\ne 0$，$A$满秩，则只有零解（只有唯一解）

• 设齐次方程组系数矩阵的秩$r(A)=r<n$，则$Ax=0$的基础解系由$n-r(A)$个线性无关的解向量所构成。

---

$$\text{线性方程组的求解}$$
写出系数矩阵 -> 行初等变换为行简化矩阵 -> 求基础解系 -> 写出通解

这个例子还不错，就是增广矩阵不断的进行初等变换，化为行最简矩阵（在阶梯形矩阵中，若非零行的第一个非零元素全是1，且非零行的第一个元素1所在列的其余元素全为零，就称该矩阵为行最简形矩阵。）

然后每个方程中的第一个未知量通常称为主变量，其余的未知量称之为自由变量。对自由变量$x_1,...,x_k$依次取1，其余取0时求得的解向量即方程的一个解向量，有多少个自由变量，就能求出多少解向量。总结一下：

对非齐次线性方程组而言：

六、二次型的基本内容和重要结论

$$\text{二次型的定义}$$

二次型（quadratic-form）：n个变量的二次多项式称为二次型，即在一个多项式中，未知数的个数为任意多个，但每一项的次数都为2的多项式。线性代数的重要内容之一，它起源于几何学中二次曲线方程和二次曲面方程化为标准形问题的研究。二次型理论与域的特征有关。

二次型是n个变量上的二次齐次多项式。下面给出一个、两个、和三个变量的二次形式：（注意齐次这个定义很重要，每一项都是二次的，而不是二次函数可以有一次项，可以有常数项。）

将上面的多项式写成矩阵的形式：
$$f(x_1,x_2,...,x_i)={\mathbf{x}}^{\mathbf{T}}\mathbf{A}\mathbf{x}$$
其中$\mathbf{A}=[a_{ij}]$且${\mathbf{A}}^T=\mathbf{A}$是一个对称矩阵，那么称$A$是二次型的矩阵，秩$r(A)$称为二次型的秩，记为$r(f)$

---

$$\text{标准形，规范形，正定二次型}$$

1. 标准形：如果二次型中只含有变量的平方项。
2. 规范形：在标准形中，各平方项的系数为1，-1，0。
3. 正负惯性指数:在二次型$x^{T}Ax$的标准形中，正平方项的个数称为二次型的正惯性指数，负平方项的系数称为二次型的负惯性指数。
4. 正定二次型：对二次型$x^{T}Ax$，如果对任何$x\ne 0$，恒友$x^{T}Ax>0$，则称二次型是正定二次型，且实对称矩阵$A$是正定矩阵。