Linear Algebra Review - SYSU-SoftEng15

Chapter 4 Vector Spaces

Theorems

1. If v1, ... ,vp are in a vector space V, then Span{v1, ... ,vp} is a subspace of V.
   张成集性质，说明张成集是一个子空间。向量空间的一些向量的张成集必定是这个向量空间的子集。

2. The null space of an m*n matrix A is a subspace of Rn. Equivalently, the set of all solutions to a system Ax = 0 of m homogeneous linear equations in n unknowns is a subspace of Rn.
   一个m*n的矩阵A的零空间是Rn的子空间。（定义域的感觉）

3. The column space of an m*n matrix A is a subspace of Rm.
   一个m*n矩阵的列空间是Rm的子空间。（值域的感觉）

4. An indexed set {v1, ... , vp} of two or more vectors, with v1 != 0, is linearly depedent if and only if some vj (with j > 1) is a linear combination of the preceding vectors, v1, ... , vj-1.
   线性相关性定理，有一个向量是前面不全为零向量的线性组合，则集合线性相关

5. 张成集定理
   a.对于一个可以张成H的张成集中的一个向量v，是其余向量的线性组合，那么去掉这个向量v，这个张成集仍然可以张成H。（导致线性相关的老鼠屎可以去掉）
   b.如果一个张成集不张成零子空间， 那么这个张成集的某一个子集是H的一个基。（张成集中必有一个线性无关集）

6. 矩阵A的主元列构成Col A的一个基。（A化为阶梯型后，阶梯型的主元列通常不在Col A中）

7. 唯一表示定理
   向量空间中关于一组基的表示是唯一的，一组基对应的线性组合的权是唯一的。

8. 坐标映射是一对一的线性变换 （例如从多项式空间到Rn空间的坐标映射就是线性变换）（单射）

9. 向量个数多于基的个数的向量集合必定线性相关（基是极大线性无关集）

10. 同一个向量空间中，基的个数是一样多的

11. 子空间维数 ≤ 向量空间维数

12. 基定理
    在一个非零维的向量空间中，一组基中，基的个数 = 向量空间的维数

13. 若两个矩阵A和B行等价，则他们的行空间相同。若B是阶梯形矩阵， 则B的非零行构成A的行空间的一个基的同时也是B的行空间的一个基。（行变换对矩阵的行不保持线性相关关系）

14. 秩定理（m*n矩阵A）
    rank A + dim Nul A = n 且 dim Row A = dim Col A = rank A = 主元位置的个数

Important skills

• Determine if a set of vectors spans (or is a basis for) Rn.
  这个向量集合必须是线性无关集合
  c1v1 + c2v2 + ... + cnvn = 0 当且仅当 c1 = c2 = ... = cn = 0
• Determine if a set is a subspace (using theorem 1,2,or 3 inchapter 4).
  只需判断这个集合的向量的生成集是否是这个子空间 th3 th1
  这个集合能否表示成另一个矩阵的零空间 th2
• Determine if a vector is in Nul *A *or in Col A.
  零空间：Ax 是否 = 0
  列空间：[A b]是否相容，行化简
• Determine if a set is a basis for a subspace.
• Find a basis for Nul *A *or in Col A, or other subspace.
  零空间： 解Ax = 0 写出x的解集
  列空间： 行化简[A 0] 主元位置对应着A的主元列，A的主元列向量就是基的元素
• Find the coordinate vector of a vector relative to a basis.
  x = Pβ[x]β 其中 β = {b1, ... ,bn}
  那么[x]β = Pβ^-1x
• Use coordinate vectors to check if a set is linearly independent.
• Find the dimension of Nul *A *,Col A, Row A, or other subspace.
• Determine the rank of a matrix.
  (1)转置后秩不变
  (2)r(A)<=min(m,n),A是m*n型矩阵 秩最大不超过A的行数和列数中较少的那一个
  (3)r(kA)=r(A),k不等于0
  (4)r(A)=0 <=> A=0
  (5)r(A+B)<=r(A)+r(B)
  (6)r(AB)<=min(r(A),r(B))
  (7)r(A)+r(B)-n<=r(AB)
• Use the Rank Theorem to determine facts about a system of linear equations.

Chapter 5 Eigenvalues and Eigenvectors

Theorems

1. 三角矩阵矩阵的主对角元素是其特征值 (不能用行化简来求特征值)

2. 不同特征值对应的特征向量线性无关

3. 行列式的性质：
   只有是方阵才能谈行列式：
   A 可逆 <===> det A != 0
   det AB = (det A)(det B) 这个重要
   det A的转置 = det A
   行变换中倍加不会改变行列式的值

4. 方阵A、B相似
   <===> 特征多项式相同
   <===> 特征值相同（代数重数也相同）
   相似性和行等价不是一回事，行变换通常会改变特征值！！

5. 对角化定理
   方阵A可对角化
   <===> A有n个线性无关的特征向量
   <===> 有足够的特征向量形成Rn的基（特征向量基）
   <===> 每个特征值对应的 dim 特征空间 = 代数重数

6. n*n的一个方阵有n个不同的特征值 ===> 可对角化 （反推不成立）

7. 对于n*n 方阵A
   <===> 一个特征值对应的dim 特征空间 小于等于 这个特征值的代数重数

8. 对角矩阵表示：

   
   
   

   两个举证表示的相似性.png

Important skills

• Determine if a number (vector) is an eignenvalue (eigenvector)of a matrix.
  ｜A-λI｜ = 0 或验证方法 Ax = λx 则 λ是一个A的特征值
• Find the characteristic equation and eigenvalues of a 3×3matrix.
• Find an basis for an eigenspace.
• If A is diagonalizable, find *P *and D such that A=PDP^-1.
  1.｜A-λI｜ = 0 得到λ的特征方程，计算出λ的值

2. 对于每一个特征值单独讨论，解方程 (A-λI)x = 0 得到x的解集，并用向量表示出来，得到的向量就是特征向量
   3.用步骤2中的特征向量构造P
   4.用对应的特征值构造D

• Show how to compute high powers of a diagonalizable matrix.
  A^k = PD^k*P*-1
• Find the B-matrix [T]B of a linear transformation T:V→*V *relative toa basis *B of V.
  1.计算出T(b1), T(b2), ... , T(bn) 先把B的分量线性变换过去
  2.分别把这些分量做“相对于B”的处理，合起来就是[T]B *
• Find complex eigenvalues and corresponding eigenvectors.
  求特征向量用倍数关系？
• A and B are similar, then A=PBP-1, and det(A-λI)= det(B-λI)

CHAPTER 6 Orthogonality and Least Squares

Theorems

1. 内积 uTv = u·v

2. 勾股定理

定理三.png

4. 非零向量构成的正交集
   ===> 线性无关

5. 一个子空间的向量y 可以分解成为 正交基的线性组合
   且权值为

权值.png

6. U的列向量是单位正交集 <===> UTU = I

7. U的列单位正交
   ===> ||Ux|| = ||x|| 保长度
   ===> (Ux)·(Uy) =** x·y** 保正交
   任何列单位正交的方正 ===> 是正交矩阵
   ===> 行也单位正交

8. 正交分解定理
   
   

   正交分解定理
   
   关键： 唯一表示性 W是Rn的一个子空间
   正交投影只依赖于子空间的选择，而不依赖于基的选择

9. 最佳逼近定理
   正交投影是 y尖 在W这个空间中 最接近y的一点

   
   
   

   最佳逼近.png

定理10

U的列是正交的（不一定是单位的），且构成了W的基

定理11.png

12. QR分解** R = QTA **

13. 最小二乘解：

最小二乘解.png

Important skills

• Compute length of a vector, distance between two vectors.
• Normalize a vector.
• Check a set for orthogonality.
  单位正交矩阵 U的转置 = U的逆
• Compute the orthogonal projection onto a line (through 0) or other subspace.
• Decompose a vector into a component in the direction of ***u ***and a component orthogonal to u.
• Decompose a vector into the sum of a vector in W and a vector inW⊥.
• Determine if a set is orthogonal, normalize a vector, constructan orthonormal set from an orthogonal set.
  线性无关集变到正交集，层层分解
• Know ||x||2=xTx=x⋅x. 有用
• Compute orthogonal projection of a vector onto a subspace,find the closest point in a subspace, find the distance from avector to a subspace, decompose a vector as in the orthogonalde composition theorem.
  b尖 = proj Col A b 是最接近的向量
• Perform the Gram-Schmidt process on a linearly independentset of vectors.
  v1 = x1;
  v2 = x2 - (x2*v1)/(v1*v1)v1; 减去投影到span{v1}
  v3 = x3 - (x3*v1)/(v1*v1)v1- (x3*v2)/(v2*v2)v2; 减去投影到span{v1，v2}
  ....
• Construct a *QR *factorization of a matrix.
  1.把A的列向量化为正交向量 v1, v2, v3, ... ,vn
  2.将正交向量单位化为 u1,u2,...,un
  3.用u1,u2,...,un，构造Q。
  4.将A左乘Q的转置得到R。QTA = QT(QR) = IR = R
• Find a least-squares solution to Ax=b, find the least-squareserror associated with this solution, know the normal equations,or solve it by QR factorization.
  最小二乘解：法方程 AT Ax' = AT b
  误差为：||b - proj Col A b|| = ||b - Ax'||
  利用QR分解求最小二乘解：Rx = QTb
• AT*A *is invertible if and only if the columns of *A *are lineraly independent.
  Ax = 0 只有平凡解 可以推出 ATAx = 0 也只有平凡解 ATA是可逆矩阵

CHAPTER 7 Symmetric Matrices and Quadratic Forms

Theorems

1. A是对称矩阵 <===> 不同特征空间的任意两个特征向量正交
   （至于同一个特征空间，没有说）

2. 方阵A 可以正交对角化 <===> A是对称矩阵

3. 谱定理：
   A是对称矩阵（n×n的）
   <===> 有n个实数特征值（包括重根）
   <===> dim 特征空间 = λ 的代数重数

4. 主轴定理：
   A是对称矩阵（n×n的）
   ===> 存在一个正交变量变换 x = Py，可以去除交叉项

• orthogonally diagonalize a symmetric matrix.
  A是对称矩阵当且仅当A可正交对角化！！
  对称矩阵不同特征空间的向量是正交的！！
  如何正交对角化一个对称矩阵A？
  1.计算A的特征值和对应的特征向量v1, v2, v3, ... ,vn
  2.将同一特征值对应的同一个特征空间的不同特征向量正交化z1, z2...
  保证所有特征向量都是正交的。
  3.将所有特征向量单位化得到u1,u2,...,un
  4.用u1,u2,...,un，构造P （相当于是QR分解中的Q）
  5.用对应特征值构造D
  6.A = PDP^-1 = PDPT.
• Find the matrix of the quadratic form. (Q(x)=xTAx)
• Classifying Quadratic Forms (positive definite , negative definite ,indefinite)
  二次型与特征值
  A的一个二次型是正定的当且仅当A的所有特征值都是正数。
  A的一个二次型是负定的当且仅当A的所有特征值都是负数。
  A的一个二次型是不定的当且仅当A的既有正特征值又有负特征值。
  特征值之积 = 行列式， 行列式无法判断二次型
  det A = det PDP-1 = det(PP-1)det D = det D = λ1*λ2*...*λn
• Make a change of x=Py transforms xTAx into a quadratic form with nocross-product term.
  主轴定理：
  对于对称矩阵A，存在一个正交变量变换 x = Py， 它将二次型xTAx变换为不含交叉项的二次型yTDy
  1.计算A的特征值和对应的特征向量v1, v2, v3, ... ,vn
  2.将同一特征值对应的同一个特征空间的不同特征向量正交化z1, z2...
  保证所有特征向量都是正交的。
  3.将所有特征向量单位化得到u1,u2,...,un
  4.用u1,u2,...,un，构造P （相当于是QR分解中的Q）
  5.用对应特征值构造D = PTAP
  6.二次型 Q(x) = xTAx = (Py)TA(Py) = yT PT A P y = yT D y