线性代数(MIT)

Chapter 1 Introduction on Vectors

1.1 Vectors and Linear Combinations

1.2 The dot product $v\cdot w$ of two vectors and the length $\mid \mid v\mid \mid =\sqrt{v\cdot v}$

1.3 Matrices $A$, linear equations $Ax=b$, solutions $x=A^{-1}b$.

Chapter 2 Matrix

1. 对$Ax=b$,从row picture的角度看，可以看作n条直线交于一点，解为该点的横坐标。从column picture的角度看，可以看作n个列向量的组合，得到b。在n-dimensions的超平面空间中，求交于一点比较困难，向量的组合比较简单。
2. if $Ax=0$,also $Ux=0$,因为消元改变的是矩阵的列空间，不改变矩阵的行空间，所以解不变。
3. 证明$(AB)C=A(BC)$

Proof

$\sum \sum A_{ik}{B}_{kl}{C}_{lj}$

4. 矩阵$S$可以看作一个无向图/有向图（无向图则对称），对矩阵$S^n$而言，其中的每一个元素$a_{ij}$可以看作从$i$出发经过$n$步到达$j$。1.就$S$举例，比较显然。2.就$S^2$举例，$(S^2{)}_{ij}=s_{i1}{s}_{1j}+s_{i2}{s}_{2j}+...s_{ik}{s}_{kj}$，如果$s_{i1}=0$即$s$无法到达1，那么这一项就为0。$(S^2{)}_{ij}$可以看作$i\to k\to j$长度为2的路线的个数和。3. $(S^n{)}_{ij}可以看作$$i\to k\to j$长度为n的路线的个数和。
5. 什么时候$AB=BA$当$A、B$为对称矩阵。

2.5 Inverse Matrices

1. $A^{-1}$可以看作$A$空间变换的逆过程
2. 左逆和右逆矩阵是同一个矩阵
3. $x$是零向量时，$Ax=0，A^{-1}$存在。$x=A^{-1}0$如果$x$ is nonzero vector,不存在一个矩阵变换把零向量变成非零向量。同时，这也意味着，对$A$中的列向量而言，不存在一个组合使得$Ax=0,A$中的列是无关列，$\det (A)\ne 0,rank(A)=n$

2.6 Elimination = Factorization: $A=LU$

1. 线性代数的很多思想，关键就是Factorization（因式分解）

2. $L$是$A-U$的逆过程

3. When can we predict zeros in L and U?

   When a row of A starts with zeros, so does that row of L.
   When a column of A starts with zeros, so does that column of U.

4. The triangular factorization can be written $A=LU$ or $A=LDU$.

5. The matrix $L$ contains our memory of Gaussian elimination.$L$保存了因式分解的记忆。

6. 对$Ax=b$ Solve $Lc=b$ and then solve $Ux=c$.

7. 时间复杂度:$A$的消元的过程

   1.从2-n行每一个entry都减row 1*某个数，$cost=(n-1)\ast n个multiplicationsand(n-1)\ast n个subtractions.$
   2.一次类推，一共需要$cost=n^2+(n-1{)}^2+...1=1/3n^3$，$b$需要变化$n^2$次

   但是在实际过程中，$A$可能是稀疏矩阵，通过上述3， $A=LU$算的更快

8. Factor : There are $½(n^3-n)$ multiplications and subtractions on the left side.

9. Solve : There are $n^2$ multiplications and subtractions on the right side.

10. For a band matrix, change $½(n^3-n)$ to $n{w}^2$ and change $n^2$ to $2wn$.

2. 7 Transposes and Permutations

1. $(AB{)}^T=B^T{A}^T$,当$B=x$时$Ax$是$A$的列组合，$x^T{A}^T$是$A^T$的行组合，这二者是一样的组合
2. The transpose puts the rows of $A$ into the columns of $A^T$. Then $(A^T{)}_{ij}=A_{ji}$
3. When $S$ is symmetric ($S^T=S$), its $LDU$ factorization is symmetric: $S=LD{L}^T$.
4. A permutation matrix P has a 1 in each row and column, and $p^T=p^{-1}$置换矩阵，可以对矩阵进行行变换。此定理可以用在FFT算法中。
5. There are $n!$ permutation matrices of size n. Half even, half odd.
6. If $A$可逆 then a permutation P will reorder its rows for PA= LU.

Chapter 3

3.1 Spaces of vectors

1. DEFINITION：The space $R^n$ consists of all column vectors $v$ with $n$ components.

2. 什么是向量空间：空间内任意两个向量相加或相乘后仍在空间内。（重点注意零点需要在空间内）

3. 子空间：i.$v+w$ is in the subspace ii:$cv$ is in the subspace.(一定包含0点 )

4. DEFINITION The column space consists of all linear combinations of the columns . The combinations are all possible vectors $Ax$. They fill the column space $C(A)$.$Ax=b,b$需要出现在$A$的列空间中才有解

5. the $rank(A)$可以看作线性系统中true size,因为很多行可以通过消元去掉

3.2 The Nullspace of A: Solving $Ax=0$ and $Rx=0$

1. 零空间(Nullspace):The nullspace $N(A)$ in $R^n$ contains all solutions x to $Ax=0$. This includes $x=0$.在$R^n$空间内，所有使得$Ax=0$的$x$的线性组合，其中当然包括$x=0$

2. 秩(rank):A->U(upper matrix)->R,rank为U中pivots(主元的个数)，在$Ax=0$中，消元并不会影响$x$的解。mean:只有r个方程起作。如果某一行通过消元后全是0，则意味着可表示为其他行的线性组合，

3. Pivot and free coloums(非主元的叫做自由列):

   • free coloums:可以自由分配数值=n-r，free coloums没有主元，可以通过其他列的线性组合得到，因此解的维度为r
   • pivot coloums:主变量，主元=r

4. special solutions:给free variables分配特定的值得到的特定的解，通过特解可以构建出整个null space。例如$x=c\left[\begin{array}{c}-2\\ 1\\ 0\\ 0\end{array}\right]+d\left[\begin{array}{c}2\\ 0\\ -2\\ 1\end{array}\right]$两个向量为特解,此方程可表示为任意的线性组合

5. R(行最简行矩阵):主元所在的行为该列第一个非零行$x=\left[\begin{array}{cccc}1& 2& 2& 2\\ 0& 0& 2& 4\\ 0& 0& 0& 0\end{array}\right]\to \left[\begin{array}{cccc}1& 2& 0& -2\\ 0& 0& 1& 2\\ 0& 0& 0& 0\end{array}\right]$经过列变化可得$\left[\begin{array}{cc}I& F\end{array}\right]$(F为free coloums)$\left[\begin{array}{cc}I& F\end{array}\right][x_{pivot}{x}_{free}]=0\to x_{pivot}=-F{x}_{free}$,令$x_{free}=I$得$x_{pivot}=-F$

3.3 Independence, Basis and Dimension

1. 解$x$的维数=x component的个数，4行=4维
2. linear independence:线性组合不为0。 The columns are independent when the nullspace N(A) contains only the zero vector.
3. span（生成）:A set of vectors spans a space if their linear combinations fill the space.
4. basis:一组无关向量和生成空间(spaning)
5. dimension:the number of vectors basis基向量的个数
6. rank(A)是列空间的维数，不是A的维数。

3.4 Dimensions of the Four Subspaces

when $A$ is $m$x$n$,$rank(A)=r$

1. 列空间$C(A)$——coloums space in Rᵐ(m维向量) dim of C(A)=r 有r个主列，基向量个数为r
2. 零空间$N(A)$——null space in Rⁿ(有n维向量且是$Ax=0$的解) n-r个自由变量构成零空间的基础解，因此dim=n-r.所有A基础解的个数=n-r
3. 行空间$R(A)$——row space:A中所有行的线性组合=C(Aᵀ)in Rⁿ dim of R(A)=r
4. 左零空间$N(Aᵀ)$——left null space dim=m-r

2个问题：how to produce basis? what’s the dimension?

行变化会改变列空间，不会改变行空间，$Ax=0\iff Rx=0$,因为$Ax=0\iff E^{-1}Rx=0$，如果$Rx$任何一行不为0，经过行变化后也不为0。又$C(R)$经过一个行变化得到$C(A)$，一次改变了行空间
5. 秩1矩阵可表示为$A=u{v}^T$(每一行可看作唯一一行的组合)

Chapter 4 Orthogonality

4.1正交向量与正交子空间

1. $Q=[q_1,q_2,...,q_n]$如果$q_i\cdot q_j=0,q_i\cdot q_i=1$，则称Q为标准正交矩阵。$Q^{T}Q=I$
2. 当两个空间的任意向量$v,w$都有$v\cdot w=0$时，这两个空间正交。注意，2个互相垂直的平面不是正交平面，因为两个平面的交线与自己相乘不为0.
3. 矩阵$A$的行空间和零空间正交，因为$Ax=0\to a_i\cdot x=0，A$中的每一行和$x$的点积都为0。

4.2 Projections

1. 当维度为1是，$\hat{x}=\frac{{\mathbf{a}}^{⊺}b}{{\mathbf{a}}^{⊺}\mathbf{a}}$,投影$p=\frac{\mathbf{a}{\mathbf{a}}^{⊺}}{{\mathbf{a}}^{⊺}\mathbf{a}}b$,投影矩阵$P=\frac{\mathbf{a}{\mathbf{a}}^{⊺}}{{\mathbf{a}}^{⊺}\mathbf{a}}$.

2. 求解方式，以n为为例

   $Ax=b$无解，假设$A\hat{x}最接近b$，则$A^T(b-A\hat{x})=0\iff A^{T}A\hat{x}=A^{T}b,\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$.
   $p=A\hat{x}=A(A^{T}A{)}^{-1}{A}^{T}b,P=A(A^{T}A{)}^{-1}{A}^T$

3. $A$和$A^{T}A$有相同的nullspace

   1.如果$Ax=0$,则$A^{T}Ax=0$,有相同的x
   2.如果$A^{T}Ax=0$，则$x^T{A}^{T}Ax=0\iff ||Ax|{|}^2=0,Ax=0$

4.3 Least Squares Approximations

4.4 Orthonormal Bases and Gram-Schmidt

1. If $Q$ is also square, then $Q{Q}^T=I$ and $Q^T=Q^{-1}$. Q is an “orthogonal matrix”.

2. 标准正交列向量的优势:如果Q是列向量标准正交，那投影到Q的列空间的投影矩阵为$P=Q(Q^T{Q}^{-1})Q^T=Q{Q}^T$这种情况会降低很多运算量。如果 Q 为方阵，则 P=I，因为 Q 的列向量张成了整个空间，投影过程不会对向量有任何改变。在很多复杂问题中使用标准正交向量之后都变得简单。用$Q$代替$A$如果基为标准正交，则方程 $A^{T}A\hat{x}=A^{T}b$ 的解变为 $\hat{x}=Q^{T}b$， ${\hat{x}}_i$的分量${\hat{x}}_i$ 就等于 $q_i^{T}b$。

3. 施密特正交化 Gram-Schmidt

   Given a,b,c
   

4. The Factorization A = QR
   
   a只和$q_1$有关，b只和 $q_1,q_2$有关。。。以此类推，R 在 Q 右侧相当于对 Q 做列操作，即 A 的列向量是 Q 列向量的线性组合，而 Q 为 A 列空间的一组标准正交基，
   则 R 的元素实际上是 A 的列向量基于 Q 这组标准正交基的权。。
   换句话说$R=Q^{T}A$好处是计算快，比如最小二乘法$A^{T}A=(QR{)}^{T}QR=R^T{Q}^{T}QR=R^{T}R,A^{T}Ax=A^{T}b$ simplifies to $R^{T}Rx=R^T{Q}^{T}b$. Then finally we reach $Rx=Q^{T}b$,上三角矩阵，用回代解特别快。采用矩阵的 QR 分解来帮助求解 Ax=b 的问题，最大的优势是提高了数值的稳定性。
   ps：一般不太用斯密特正交化，用分解或者放射旋转更快

Chapter 5 Determinants

它将尽可能多的矩阵信息压缩在这一个数里

1. det(AB)=det(A)det(B)，互换两行覆盖改变用P*A理解。

2. 行列式的三条基本性质
   1.det(I)=1。
   2.如果交换行列式的两行，则行列式的数值会反号。
   3.行列式是“矩阵的行”的线性函数。
   4.行列式的几何意义是什么呢？概括说来有两个解释：一个解释是行列式就是行列式中的行或列
   向量所构成的超平行多面体的有向面积或有向体积；另一个解释是矩阵 A 的行列式 detA 就是线性
   变换 A 下的图形面积或体积的伸缩因子。
   

Chapter 6 Eigenvalues and Eigenvectors

可以把矩阵的操作变成一个简单的参数$\lambda$

6.1概念

6.1.1Det and trace

${\lambda }_1{\lambda }_2...{\lambda }_n$=$det(A)$,

$\sum {\lambda }_i$=对角线上的和

Proof
对于$n$阶方阵$A$，$|A-\lambda I|=0$求矩阵的特征值。$|A-\lambda I|$最终可表示为：
$(\lambda -{\lambda }_1)(\lambda -{\lambda }_2)...(\lambda -{\lambda }_3)={\lambda }_1...{\lambda }_n+(-1{)}^1({\lambda }_1+...+{\lambda }_n)\lambda +...+(-1{)}^{n-1}({\lambda }_1+...+{\lambda }_n){\lambda }^{n-1}+(-1{)}^n{\lambda }^n$
$\lambda =0$时，有$|A|={\lambda }_1...{\lambda }_n$。因此${\lambda }_1{\lambda }_2...{\lambda }_n$=$det(A)$
$(-1{)}^{n-1}({\lambda }_1+...+{\lambda }_n){\lambda }^{n-1}$中$\lambda$次数为$n-1$,则此项一定从$|A-\lambda I|$的对角线乘积中得到。我们从$(A_{11}-\lambda )...(A_{nn}-\lambda )$获取$\lambda$次数为$n-1$的项:$(-1{)}^{n-1}(A_{11}+...+A_{nn}){\lambda }^{n-1}$。$\sum {\lambda }_i$=$A_{11}+...+A_{nn}$

6.1.2对角化

如果一个矩阵的特征值都不相同，则该矩阵的特征向量线性无关

Proof:
令
$$c_1{x}_1+c_2{x}_2=0(1)$$
两边乘$A$得$c_1{\lambda }_1{x}_1+c_2{\lambda }_2{x}_2=0(2)$
$(1)\ast {\lambda }_1-(2)\to c_2{x}_2({\lambda }_1-{\lambda }_2)=0,{\lambda }_1\ne {\lambda }_2,c_2=0$,同理$c_1=0$,因此,$x_1,x_2$线性无关

$A=S\Lambda S^{-1}$，$A^{100}=S{\Lambda }^{100}{S}^{-1}$,让$A^k$运算变得很简单
Similar Matrices: Same Eigenvalues
All the matrices A = BCB-1 are “similar.” They all share the eigenvalues of C.

6.1.3对称矩阵

对称矩阵有如下性质：
(1)特征值都为实数

Proof

(2)如果每个特征值都不同，则特征向量构成的矩阵为正交矩阵

Proof

6.2 对角化与矩阵乘幂

对角化矩阵 Diagonalizing a matrix $A=S\Lambda S^{-1}$
如果矩阵 A 具有 n 个线性无关的特征向量，将它们作为列向量可以组成一个可逆方阵 $S:[x_1,x_2..x_n]$$

$$AS=[A{x}_1,A{x}_2...A{x}_n]=[{\lambda }_1{x}_1,{\lambda }_2{x}_2...{\lambda }_n{x}_n]=S\Lambda$$
$$A=S\Lambda S^{-1}$$
矩阵乘幂
如果 $Ax=\lambda x$，则有 $A^{2}x=\lambda Ax={\lambda }^{2}x$。说明矩阵 $A^2$ 有着和 A 一样的特征向量，特征值为${\lambda }^2$。$A^k=S{\Lambda }^k{S}^{-1}$。这说明 $A^k$ 有着和 A 一样的特征向量，而特征值为${\lambda }^k$。

如果矩阵 $A$ 具有 n 个线性无关的特征向量，如果所有的特征值均满足 $|\lambda |<1$。则 $k\to \infty$时，$A^k\to 0$。

重特征值 Repeated eigenvalues
如果矩阵 A 没有重特征值，则其一定具有 n 个线性无关的特征向量。
如果矩阵 A 有重特征值，它有可能具有 n 个线性无关的特征向量，也可能没有。比如单位阵的特征值为重特征值 1，但是其具有 n 个线性无关的特征向量。

6.3 微分方程与exp(At)

$\frac{du}{dt}=Au$
方程的通解为$u(t)=c_1{e}^{{\lambda }_{1}t}{x}_1+c_2{e}^{{\lambda }_{1}t}{x}_2...$
收敛与发散

6.4 Markov Matrices and Fourier Series(特征值的应用)

1.性质：

1. 每个元素$\ge 0$(看成概率相关的概念)
2. 每一列相加=1（每一行相加=1，看具体规定）

2.稳态：

1. $\lambda =1$是特征值
2. 其他$|{\lambda }_i|<1$

Proof :
${\mu }_k=A^k{\mu }_0=c_1{\lambda }_1^k{x}_1+c_2{\lambda }_2^k{x}_2+...c_n{\lambda }_n^k{x}_n$达到稳态，则需要${\lambda }_1=1,其他|{\lambda }_i|<1\Rightarrow {\mu }_k=A^k{\mu }_0=c_1{\lambda }_1^k{x}_1=c_1{x}_1$

Q1:每一列相加=1⇒${\lambda }_1=1?$

Proof:
如果$|A-{\lambda }^{\prime }I|=0则\lambda ={\lambda }^{\prime }$换言之，λ是使得$(A-{\lambda }^{\prime }I)$奇异的数
下要证明$(A-I)$奇异：
$(A-I{)}^T\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]$⇒$(A-I{)}^T列向量线性相关，(A-I)行向量线性相关，rank((A-I))>0有零行,则det(A-I)=0$

Q2:零空间中的向量一定是特征向量

Proof:$Ax=0,x$在零空间中，则$Ax=0x,x$是特征值为0的特征向量。在Q1中，$(A-I{)}^{T}x=0$,$x$是$(A-I{)}^T$的特征向量，0是特征值，则$A$的λ=1