MIT18.065 数据分析、信号处理和机器学习中的矩阵方法-学习笔记

MIT18.065 数据分析、信号处理和机器学习中的矩阵方法

https://www.bilibili.com/video/BV1b4411j7V3?p=2

Lecture 1 The Column Space of A Contains All Vectors Ax

A=CR

$$\left[\begin{array}{ccc}2& 1& 3\\ 3& 1& 4\\ 5& 7& 12\end{array}\right]=\left[\begin{array}{cc}2& 1\\ 3& 1\\ 5& 7\end{array}\right]\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 1\end{array}\right]$$

$A=CR$，$C$是从左到右取出$A$中线性无关的非零列，$R$的列是由$C$的各列组成$A$的各列的线性组合的系数构成。同时$C$是$A$列空间的基，$R$是行空间的基，也可以看作$C$中各行由$R$的各行组成$A$的各行的线性组合的系数构成。列空间和行空间的基数量相等，由此行秩=列秩。

$R$是$A$的$RREF(reducedrowechelonform)$简化行阶梯形式（不包括全零行），即消元使得主元系数为$1$，且其他行该主元系数为$0$

A=CMR

$C$同上节，$R$是从上到下直接从$A$取出的线性无关的非零行，那么$rank(A_{m\ast n})=r,C_{m\ast r},R_{r\ast n},M_{r\ast r}$

为了求$M$，注意$C^{T}C,R{R}^T$满秩可逆

$C^{T}A{R}^T=C^{T}CMR{R}^T,M=(C^{T}C{)}^{-1}{C}^{T}A{R}^T(R{R}^T{)}^{-1}$

这个分解的意义在于保存了$A$的属性和原数据，$QR$分解和$SVD$中这些属性丢失。例如$A$非负则$CR$非负，$A$稀疏则$CR$稀疏。

Lecture 2 Multiplying and Factoring Matrices

LU分解的解释

$\left[\begin{array}{cc}2& 3\\ 4& 7\end{array}\right]$通过消元得到$\left[\begin{array}{cc}2& 3\\ 0& 1\end{array}\right]$，第二行减去第一行的2倍
$$\left[\begin{array}{cc}2& 3\\ 4& 7\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 2& 1\end{array}\right]\left[\begin{array}{cc}2& 3\\ 0& 1\end{array}\right]=\left[\begin{array}{c}1\\ 2\end{array}\right]\left[\begin{array}{cc}2& 3\end{array}\right]+\left[\begin{array}{c}0\\ 1\end{array}\right]\left[\begin{array}{cc}0& 1\end{array}\right]=\left[\begin{array}{cc}2& 3\\ 4& 6\end{array}\right]+\left[\begin{array}{cc}0& 0\\ 0& 1\end{array}\right]$$

$$\begin{gathered} A_1=LU=(co{l}_{1}ofL)(ro{w}_{1}ofU)+\left[\begin{array}{cc}0& O\\ O& A_2\end{array}\right] \\ =(co{l}_{1}ofL)(ro{w}_{1}ofU)+(co{l}_{2}ofL)(ro{w}_{2}ofU)+\left[\begin{array}{ccc}0& 0& O\\ 0& 0& O\\ O& O& A_3\end{array}\right] \end{gathered}$$

在消元过程中，第一行不需要操作，所以$L$的第一行为$1,0...$，第一列为为了消去第一列元素所乘的第一行系数，$U$的第一行为$A$的第一行，因此$(co{l}_{1}ofL)(ro{w}_{1}ofU)$包含了第一行第一列的所有信息，剩下的$A_2$为原矩阵用第一行消元后剩余的信息。同理继续分解$A_2$，$L$为下三角阵，所以$(co{l}_{2}ofL)(ro{w}_{2}ofU)$不会在$(co{l}_{1}ofL)(ro{w}_{1}ofU)$的基础上再给第一行的结果增加信息，且$co{l}_{2}ofL$是在$A$完成第一列消元后的矩阵上继续消元得到（即在基础上为了消去第二列元素所乘的第二行系数），因为后续不会再对第二行操作，所以$U$的第二行即为此时消元第一列后的$A$的第二行，也是$A_2$第一行，所以$(co{l}_{1}ofL)(ro{w}_{1}ofU)+(co{l}_{2}ofL)(ro{w}_{2}ofU)$包含了原矩阵第一二行和第一二列所有信息，其中$(co{l}_{2}ofL)(ro{w}_{2}ofU)$包含$A_2$第一行第一列信息，$A_3$包含剩余信息。

写了那么多其实这部分内容并不重要，在这门课不会再出现了

Lecture 3 Orthonormal Columns in Q Give $Q^{T}Q=I$

当$Q$是方阵时，$Q{Q}^T=I$也成立，因为对方阵来说，左逆等于右逆

$(Qx{)}^{T}Qx=||Qx|{|}^2=x^T{Q}^{T}Qx=x^{T}x=||x|{|}^2,||Qx||=||x||$

$Q$不改变向量的长度

例如对二维平面有$Q=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right],Q\left[\begin{array}{c}1\\ 0\end{array}\right]=\left[\begin{array}{c}\cos \theta \\ \sin \theta \end{array}\right],Q\left[\begin{array}{c}0\\ 1\end{array}\right]=\left[\begin{array}{c}-\sin \theta \\ \cos \theta \end{array}\right]$

HouseHolder reflection

$Q$(rotation matrix)将坐标轴旋转了$\theta$，等于将整个平面的向量旋转了$\theta$

$Q=\left[\begin{array}{cc}\cos \theta & \sin \theta \\ \sin \theta & -\cos \theta \end{array}\right],Q\left[\begin{array}{c}1\\ 0\end{array}\right]=\left[\begin{array}{c}\cos \theta \\ \sin \theta \end{array}\right],Q\left[\begin{array}{c}0\\ 1\end{array}\right]=\left[\begin{array}{c}\sin \theta \\ -\cos \theta \end{array}\right]$

$Q$(reflect matrix，反射矩阵)将向量关于直线$y=\cos \frac{\theta }{2}x$做对称

高阶的反射矩阵可以由HouseHolder(豪斯霍尔德) reflection算法获得，n阶向量$u^{T}u=1,H=I-2u{u}^T$。$H$是对称正交矩阵

$H^{T}H=H^2=I-4u{u}^T+4u{u}^{T}u{u}^T=I$

Hadamard matrices

$$H_2=\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right],H_4=\frac{1}{\sqrt{4}}\left[\begin{array}{cc}{H}_2& H_2\\ H_2& -H_2\end{array}\right],H_{2^{n+1}}=\frac{1}{\sqrt{2^{n+1}}}\left[\begin{array}{cc}{H}_{2^n}& H_{2^n}\\ H_{2^n}& -H_{2^n}\end{array}\right]$$

$H$是正交矩阵，由$1,-1$构成。对$H_n$，$n$是4的整数倍时仍为Hadamard matrix，即由$1,-1$构成的正交矩阵，为2的次幂时如上构造，否则有另外的构造方法。在傅里叶变换、编码、信号有重要作用。

正交矩阵的特征向量矩阵

置换矩阵（permutation matrix）是正交矩阵，且特征向量相互正交，n阶置换矩阵的特征向量矩阵是n阶傅里叶矩阵，例如

$Q_4=\left[\begin{array}{cccc}& 1& & \\ & & 1& \\ & & & 1\\ 1& & & \end{array}\right]$的特征向量矩阵是4阶傅里叶矩阵$F_4=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& i& i^2& i^3\\ 1& i^2& i^4& i^6\\ 1& i^3& i^6& i^9\end{array}\right]$

Lecture 4 Eigenvalues and Eigenvectors

假设$A_{n\ast n}$有$n$个线性无关的特征向量$x$，任意向量$v$可以写成$v={\sum }_{i=1}^n{c}_i{x}_i,v_k=A^{k}v={\sum }_{i=1}^n{c}_i{\lambda }_i^k{x}_i$

$\frac{\mathrm{d}v}{\mathrm{d}t}=Av$的解为$v={\sum }_{i=1}^n{C}_i{c}_i{\mathrm{e}}^{{\lambda }_{i}t}{x}_i,C$为需要初始值确定的常数。

相似矩阵有相同特征值

$A_{n\ast n},B_{n\ast n}$均可逆，$AB$与$BA$有相同特征值

取$M=B,BA=M(AB)M^{-1}$

反对称矩阵

反对称矩阵没有实特征值
$$\begin{gathered} A=-A^H \\ Ax=\lambda x \\ {x}^{H}Ax=\lambda x^{H}x \\ \overline{A}\overline{x}=\overline{\lambda }\overline{x} \\ {x}^H{A}^H=\overline{\lambda }{x}^H \\ -x^H{A}^{H}x=-\overline{\lambda }{x}^{H}x \\ 又A=-A^H \\ \lambda x^{H}x=-\overline{\lambda }{x}^{H}x \\ 不考虑零向量，\lambda =-\overline{\lambda } \\ 令\lambda =a+bi \\ a+bi=-a+bi \\ a=0 \\ 所以\lambda 必定为虚数 \end{gathered}$$
例如$A=\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]$，作用在二维实向量上，$A\left[\begin{array}{c}1\\ 0\end{array}\right]=\left[\begin{array}{c}0\\ 1\end{array}\right],A\left[\begin{array}{c}0\\ 1\end{array}\right]=\left[\begin{array}{c}-1\\ 0\end{array}\right]$，等于将向量逆时针旋转90度，没有任何实$\lambda$能满足$Ax$与$\lambda x$同方向，因此特征值和特征向量都是复数。

Lecture 5 Positive Definite and Semidefinite Matrices

Lecture 6 Singular Value Decomposition(SVD)

SVD

$A=U\Sigma V^T,AV=U\Sigma$

实际中为了避免特征向量符号不对（例如对$\left[\begin{array}{ccc}1& & \\ & 1& \\ & & 5\end{array}\right]$,特征值$1$的特征向量为$\left[\begin{array}{c}x\\ y\\ 0\end{array}\right]$，需要选择），先做$A^{T}A$求出$V$和$\Sigma$，再通过$Av=\sigma u,u=\frac{Av}{\sigma }$求$U$

为了证明这样的$U$是正确的，需要证明$u$正交且为$A{A}^T$的特征向量

（实际上并不需要证明$u$正交，因为$v$是在这个前提下求出的，所以逆回来验算必定成立，用$Av$求$u$是为了确定$u$的符号，否则$-u$同样可以从$A{A}^T$求出但是不满足$Av=\sigma u$的条件，并且在假设了$A=U\Sigma V^T$这个条件后，做$A{A}^T,u$是特征向量显然成立，而$v$正是在这个条件下求出的，所以并不需要证明，教授此处为了说明确定$u$的符号循环论证了）

$u_1^T{u}_2=(\frac{A{v}_1}{{\sigma }_1}{)}^T\frac{A{v}_2}{{\sigma }_2}=\frac{v_1^T{A}^{T}A{v}_2}{{\sigma }_1{\sigma }_2}=\frac{{\sigma }_2^2{v}_1^T{v}_2}{{\sigma }_1{\sigma }_2}=0$,也说明正交向量$v$可以从行空间选择，经过$A$变换后，得到列空间中的正交向量。

正交矩阵对向量变换不改变向量的模长，奇异值分解说明线性变换$A$，作用在向量$x$上，以二维为例，等于将$x$的两个分量$[01{]}^T,[10{]}^T$做旋转$V^T$，再用$\Sigma$拉长各个分量，再做一个通常来说不同的旋转$U$，即将单位圆拉伸成旋转的椭圆，且椭圆的长短轴就是$\sigma$，规定${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$，因此${\sigma }_1$作用在$x$的第一个分量上，为长轴。

假设$A$是方阵，奇异值之积也是$A$的行列式，$|A|=|U\Sigma V^T|=|U||\Sigma ||V^T|=|\Sigma |=\Pi \sigma$，$A$如果满秩则$\Sigma$对角线上没有0，不满秩则奇异值填不满整条对角线，将零视为奇异值相乘，$|A|=0$，符合。

完整的SVD中$U_{m\ast m},V_{n\ast n}$，下标大于$r$的向量从$N(A^T),N(A)$取，但因为这部分在计算中会全部等于0，没有信息量，所以SVD的矩阵中可以只取下标小于等于$r$的部分。

Polar Decomposition

任意矩阵$A=SQ,S$是对称矩阵，$Q$是各列正交的矩阵（不是方阵）

$A_{m\ast n}=U_{m\ast r}{\Sigma }_{r\ast r}{V}_{n\ast r}^T=U\Sigma U^{T}U{V}^T=(U\Sigma U^T)(U{V}^T)=SQ$

$(U{V}^T{)}^T(U{V}^T)=V{U}^{T}U{V}^T=I$所以$U{V}^T$是$m\ast n$正交阵。

Lecture 7 Eckart-Young:The Closest Rank k Matrix to A

Principal Component Analysis(主成分分析 PCA)

由SVD，$A=U\Sigma V^T={\sum }_{i=1}^r{\sigma }_i{u}_i{v}_i^T$

$A$可以分解为$r$个秩1矩阵的和，且$\sigma$递减，因此构成$A$最主要的部分为${\sigma }_1{u}_1{v}_1^T,{\sigma }_2{u}_2{v}_2^T,\cdots$

最近似于$A$的秩$k$矩阵为$A_k={\sum }_{i=1}^k{\sigma }_i{u}_u{v}_i^T$

范数(norm)

向量$v$的L2范数$l^2=||v|{|}_2=\sqrt{{\sum }_{i=1}^n{v}_i^2}$,L1范数$l^1=||v|{|}_1={\sum }_{i=1}^n|v_i|$,L无限范数(infinity norm)$l^{\infty }=||v|{|}_{\infty }={\max }_{i=1,\cdots ,n}|v_i|$

最小化L1范数时优秀的向量的稀疏向量

常数$c,||cv||=|c|||v||$

$||v+w||\le ||v||+||w||$

$||A||$称为$A$的范数(the norm of $A$)，是矩阵尺度（大小）的一种测量

$||A|{|}_2={\sigma }_1$

Frobenius范数$$\begin{gathered} ||A|{|}_F=\sqrt{{\sum }_{i=1,\cdots ,m \\ j=1,\cdots ,n}{a}_{ij}^2} \end{gathered}$$

Nuclear范数$||A|{|}_{Nuclear}={\sum }_{i=1}^r{\sigma }_i$

正交矩阵$Q,||QA||=||A||,||Qv||=||v||$（用L2范数看，就是对$v$旋转）

$A$左乘或右乘正交阵不改变范数，原因是所有范数都与奇异值有关，左乘或右乘正交阵之后，仍然满足SVD分解的形式，可以看作另一个矩阵的SVD，因此奇异值不变，范数不变。

$QA=(QU)\Sigma V^T,QU$仍然是正交矩阵，正交矩阵的积是正交矩阵，$(QU{)}^{T}QU=U^T{Q}^{T}QU=I$

Eckart-Young Theorem

如果$B$是秩$k$矩阵，那么$A,B$的距离$||A-B||\ge ||A-A_k||$

对3种范数，定理都成立

PCA

对一组数据点构成的矩阵，先对每一项数据均值化（例如身高加和为0），再求协方差矩阵$\frac{A{A}^T}{N-1}$，求出近似直线，直线的斜率就是${\sigma }_1$（？教授没说清楚）

跟最小二乘不同，这里误差是点到直线的垂直距离，最小二乘是竖直距离

（教授这部分说得比较模糊，似乎留到练习课了）

Lecture 8 Norms of Vectors and Matrices

向量的范数

Lp范数$l^p=||v|{|}_p=({\sum }_{i=1}^n|v_i{|}^p{)}^{1/p}$

L0范数$l^0=||v|{|}_0=非零成分的个数,||cv|{|}_0=||v|{|}_0$

S范数$||v|{|}_S=\sqrt{v^{T}Sv}$，S表示正定矩阵。在2维平面上，S范数≤1的图像是椭圆，L1范数是等长的菱形，L2范数是圆，L无限范数是正方形

对于最优化问题，在2D平面上$\min ||x|{|}_1$或$\min ||x|{|}_2$使得$c_1{x}_1+c_2{x}_2=b$，将$x$视为自变量和因变量，画出直线的图像，交轴于$(a,0),(0,b)$

几何角度的解为从原点开始扩张L1范数和L2范数的图像，表示当范数固定时，满足范数为当前值的点。当菱形\圆慢慢扩张，第一次接触直线时的点，就是符合条件的解$x$。因此L2范数的解为从原点到直线的垂线交点（圆的切线），L1范数的解视直线斜率不同可能为$(a,0)$或$(0,b)$或菱形的某一边。扩张到高维也适用可是并不能画出高维图像呢

矩阵的范数

Spetral Norm（谱范数，L2范数）

$||A|{|}_2={\sigma }_1$

矩阵范数由向量范数得出，$||A|{|}_2={\max }_{forallx}\frac{||Ax|{|}_2}{||x|{|}_2}$，可以理解为将$||x|{|}_2$放大的一个系数

上述最优化问题中，获取最优解时的$x$是$A$的右奇异向量$v_1$（课上没有证明），从几何角度看线性变换（见线性变换Ax的几何解释），秩$r$的$A$作用于向量$x$，仅在$\Sigma$矩阵对向量做拉伸，而$\Sigma$中拉伸最大的方向为${\sigma }_1$对应的右奇异向量对应的方向，因此最优解时的$x$为$v_1$，最优解为${\sigma }_1$（或者$\frac{||A{v}_1|{|}_2}{||v_1|{|}_2}=||A{v}_1|{|}_2=||{\sigma }_1{u}_1|{|}_2=|{\sigma }_1|||u_1|{|}_2={\sigma }_1$）

Frobenius Norm

$$\begin{gathered} ||A|{|}_F=\sqrt{{\sum }_{i=1,\cdots ,m \\ j=1,\cdots ,n}{a}_{ij}^2}=\sqrt{{\sum }_{i=1}^r{\sigma }_i^2} \end{gathered}$$

矩阵的迹满足交换律

$$tr(A_{m\ast n}{B}_{n\ast m})=\sum (AB{)}_{ii}=\sum _{i=1}^m(\sum _{j=1}^n{a}_{ij}{b}_{ji})=\sum _{j=1}^n(\sum _{i=1}^m{b}_{ji}{a}_{ij})=\sum (BA{)}_{jj}=tr(BA)$$

$$\begin{gathered} ||A|{|}_F=\sqrt{{\sum }_{i=1,\cdots ,m \\ j=1,\cdots ,n}{a}_{ij}^2}=\sqrt{tr(A^{T}A)}=\sqrt{tr(V{\Sigma }^2{V}^T)} \end{gathered}$$

注意迹为特征值之和，上式为$A^{T}A$的特征值分解，${\Sigma }^2$即特征值矩阵

$||A|{|}_F=\sqrt{{\sum }_{i=1}^r{\sigma }_i^2}$

Nuclear Norm(trace norm)

$||A|{|}_N={\sum }_{i=1}^r{\sigma }_i$

Lecture 9 Four Ways to Solve Least Squares Problems

伪逆(pseudo inverse)

$A_{m\ast n}$将$C(A^T)$的$x$映射到$C(A)$的$Ax$，伪逆将其逆映射回来，$A^{+}Ax=x$

$A$将零空间映射到零点，$A^{+}$将左零空间映射到零点，满秩矩阵$A^{+}=A^{-1}$，画4空间图很好理解，非满秩矩阵将零点扩张成空间即可。

$A=U\Sigma V^T$,如果$A$可逆，$A^{-1}=V{\Sigma }^{-1}{U}^T$,$A$不可逆，$A^{+}=V{\Sigma }^{+}{U}^T$（定义并不要求列满秩）

伪逆是使得$A{A}^{+},A^{+}A$最接近$I$的矩阵，注意左右伪逆不相等，但公式都可以由SVD类推求得

${\Sigma }^{+}$是$\Sigma$非零项取倒数，其他全0

最小二乘法

对一组数据点，不在同一条直线上，即$Ax=b$无解，拟合一条最优的直线，使得误差最小（线性回归），误差定义为$||Ax-b|{|}_2^2$

损失函数(loss function)$||Ax-b|{|}_2^2=(Ax-b{)}^T(Ax-b)=x^T{A}^{T}Ax-2b^{T}Ax+b^{T}b$

令上式求导为0，得$A^{T}Ax=A^{T}b$，也就是正规方程（可是教授你没教过矩阵求导啊）

从几何角度，就是求构成列空间中最接近$b$的向量的系数$x$，这样使得误差最小，正规方程也在求投影中出现过，因此求导的结果就是求投影的系数，为表示是近似解而不是原方程的解，解写做$\hat{x}$

$A$如果列满秩，则$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$，同时左伪逆$A_{left}^{+}=(A^{T}A{)}^{-1}{A}^T,\hat{x}=A^{+}b$

$A_{left}^{+}A=V_{n\ast n}{\Sigma }_{n\ast m}^{+}{U}_{m\ast m}^{T}U{\Sigma }_{m\ast n}{V}^T=V{I}_{n\ast n}{V}^T=I$

$(A^{T}A{)}^{-1}{A}^{T}A=I$，因此得到$A_{left}^{+}=(A^{T}A{)}^{-1}{A}^T,\hat{x}=A^{+}b$

同样当A列满秩时，做Gram-Schmidt正交化可以得到QR分解，$R_{n\ast n}$满秩（否则A是R的行的线性组合，不能秩n）

$A=QR$

$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b=(R^{T}R{)}^{-1}{R}^T{Q}^{T}b=R^{-1}(R^T{)}^{-1}{R}^T{Q}^{T}b=R^{-1}{Q}^{T}b$

当A列不满秩时，$A^{T}A$不可逆，可以将正规方程修正（加入惩罚项）为$(A^{T}A+{\delta }^{2}I)\hat{x}=A^{T}b$，误差为$||Ax-b|{|}_2^2+{\delta }^2||x|{|}_2^2$（线性回归变为嵴回归ridge regression），当$\delta \to 0$时$\hat{x}$就是原正规方程的解

对任意$v\ne 0,v^T(A^{T}A+{\delta }^{2}I)v>0$，因此为正定矩阵,$\hat{x}=(A^{T}A+{\delta }^{2}I{)}^{-1}{A}^{T}b$

代入SVD
$$\begin{array}{rl}{A}^{T}A+{\delta }^{2}I& =V({\Sigma }^T\Sigma +{\delta }^{2}I)V^T\\ (A^{T}A+{\delta }^{2}I{)}^{-1}{A}^T& =V[({\Sigma }^T\Sigma +{\delta }^{2}I{)}^{-1}{\Sigma }^T]U^T\\ ({\Sigma }^T{\Sigma }_{m\ast n}+{\delta }^{2}I{)}^{-1}{\Sigma }^T& ={\left[\begin{array}{ccccccc}{\sigma }_1^2+{\delta }^2& & & & & & \\ & {\sigma }_2^2+{\delta }^2& & & & & \\ & & \ddots & & & & \\ & & & {\sigma }_r^2+{\delta }^2& & & \\ & & & & {\delta }^2& & \\ & & & & & \ddots & \\ & & & & & & {\delta }^2\end{array}\right]}^{-1}{\Sigma }^T\\ & =\left[\begin{array}{ccccccc}\frac{1}{{\sigma }_1^2+{\delta }^2}& & & & & & \\ & \frac{1}{{\sigma }_2^2+{\delta }^2}& & & & & \\ & & \ddots & & & & \\ & & & \frac{1}{{\sigma }_r^2+{\delta }^2}& & & \\ & & & & \frac{1}{{\delta }^2}& & \\ & & & & & \ddots & \\ & & & & & & \frac{1}{{\delta }^2}\end{array}\right]\left[\begin{array}{cccccc}{\sigma }_1& & & & & \\ & {\sigma }_2& & & & \\ & & \ddots & & & \\ & & & {\sigma }_r& & \\ & & & & 0& \\ & & & & & \ddots \end{array}\right]\\ & ={\left[\begin{array}{ccccc}\frac{{\sigma }_1}{{\sigma }_1^2+{\delta }^2}& & & & \\ & \ddots & & & \\ & & \frac{{\sigma }_r}{{\sigma }_r^2+{\delta }^2}& & \\ & & & 0& \\ & & & & \ddots \end{array}\right]}_{n\ast m}\\ \underset{\delta \to 0}{\lim }({\Sigma }^T{\Sigma }_{m\ast n}+{\delta }^{2}I{)}^{-1}{\Sigma }^T& =\left[\begin{array}{ccccc}\frac{1}{{\sigma }_1}& & & & \\ & \ddots & & & \\ & & \frac{1}{{\sigma }_r}& & \\ & & & 0& \\ & & & & \ddots \end{array}\right]\\ & ={\Sigma }_{n\ast m}^{+}\\ \underset{\delta \to 0}{\lim }(A^{T}A+{\delta }^{2}I{)}^{-1}{A}^T& =V{\Sigma }^{+}{U}^T=A^{+}\end{array}$$
因此$\hat{x}=A^{+}b$总是成立的

Lecture 10 Survey of Difficulties with Ax=b

Lecture 11 Minimizing x subject to Ax=b

这一节是为了解决大尺寸的矩阵，或近似奇异（列非常接近相关，或者说奇异值非常接近0）矩阵的Ax=b问题，减小电脑的计算误差

better Gram-Schmidt(with column pivoting)

$A=[\begin{array}{cccc}{a}_1& a_2& \cdots & a_n\end{array}]$，挑选L2范数最大的$a_i$作为$A_1$并标准化为$q_1$，然后其余列减去在$q_1$上的投影，L2范数最大的作为$A_2$，依此类推。不会增加计算量，因为原方法也要每个列向量都减去$q_1$投影一次，这里只是提前计算并比较。

否则当$||A_i|{|}_2$太小时，标准化时其作为分母，计算机会引入非常大的误差。

Krylov 空间 , Arnoldi 过程

用于解决很大的稀疏矩阵Ax=b的问题

$A_{n\ast n},b_n$，那么$b,Ab,A(Ab),\cdots ,A^{j-1}b$构成Krylov子空间$K_j$，每一次不做矩阵乘法，只做矩阵乘向量，子空间维数不超过$j$

直接求$A$的逆和伪逆会非常困难，所以求近似解

令$x_j$为$K_j$里最近似的解，从$j$个向量中用Gram-Schmidt方法（这里没看出Arnoldi过程的区别）得到一组正交基$v$，$x_j$就是$x$在$K_j$里的投影，可以用$v$表示出来。（然而怎么求系数根本没提，这节课上了个寂寞，教授你在干什么）

Lecture 12 Computing Eigenvalues and Singular Values

QR method

满秩矩阵$A_{n\ast n}=A_0=Q_{n\ast n}{R}_{n\ast n}=Q_0{R}_0,A_1=R_0{Q}_0=Q_1{R}_1\cdots$

$A_1$和$A_0$相似，因此特征值相同。$A_1=R_0{Q}_0=R_0{A}_0{R}_0^{-1}=Q_0^{-1}{A}_0{Q}_0=Q_0^T{A}_0{Q}^0$

重复这个过程，对角线下的元素会越来越小，最后对角线会非常接近特征值，${\lambda }_n$首先在对角线最后准确地出现。

QR method with shift

加入偏移量会加速上述过程，更快得到特征值

$A_0-sI=Q_0{R}_0,A_1=R_0{Q}_0+sI$

偏移量一个好的选择是${\lambda }_n$，0会首先在对角线最后准确出现

$A_1=R_0{Q}_0+sI=Q_0^{-1}(A_0-sI)Q_0+sI=Q_0^{-1}{A}_0{Q}_0-sI+sI$

因此仍然相似。

程序（matlab）计算特征值的方式，先将矩阵消元（程序似乎用相似变换做）化为Hessenberg矩阵（上三角+下面多一行对角线），再进行有偏移的QR过程

如果A对称，则后续得到的$A_i$对称，Hessenberg矩阵是一个三对角线矩阵，只有中央三条对角线，同样是对称矩阵

算法分为两步，第一步得到很多0，且这些0的位置在第二步过程中仍然为0，第二步进行QR过程。相似变换不改变特征值，$B=MA{M}^{-1}$,M任意选取可逆矩阵。

对于奇异值来说，要保持奇异值不变，两边相乘的换为正交阵即可，结果视为另一个SVD分解。$B=Q_{1}A{Q}_2^T=(Q_{1}U)\Sigma (V^T{Q}_2^T)$

A先进行上述变换得到双对角线矩阵（主对角线和它上方的对角线）记作$A_1$，再进行$A_1^T{A}_1$，得到对称三对角线矩阵，再进行QR过程，得到特征值，再开方得到奇异值。

QR过程得到的是近似值，复杂度$O(N^3)$。对于很大的矩阵，考虑使用Krylov子空间做近似，表示出特征值、奇异值等矩阵的特征。（一百万规模的矩阵用一百维子空间就可以精确地近似，比如特征向量可以用一百维近似表示出来）。都是教授说的，没有证明，没有详述。

Lecture 13 Randomized Matrix Multiplication

均值、期望$mean=E=p\ast 对应样本x$

方差${\sigma }^2=E[(x-mean{)}^2]=E[x^2]-(mean{)}^2$

从大矩阵A采样，范数大的列可能包含更多信息，因此各列取样的概率不应相等，例如各列的概率可以用norm squared决定（范数平方概率），$A=[\begin{array}{cc}{a}_1& a_2\end{array}],||a_2||=2||a_1||$，取样概率$p_{a_2}=4p_{a_1}$

大矩阵乘法$A_{m\ast n}{B}_{n\ast p}=\sum (colofA)(rowofB)$，分解成n个秩1矩阵相加

n个秩1矩阵计算量太大，从中选出1个矩阵，用来近似表示AB，一共取s次，取它们的平均值。假设每个秩1矩阵被选中的概率相等，因为原本AB有n个矩阵表示，所以秩1矩阵要放大n倍。

$AB\approx \frac{{\sum }_{j=1}^s{a}_{ij}{b}_{ij}^T\ast n}{s}=\frac{{\sum }_{j=1}^s\frac{a_{ij}{b}_{ij}^T}{\frac{1}{n}}}{s},a_{i1},a_{i2},\cdots ,a_{is}$表示对A每次随机选出的s个列

将平均值分摊到每一次，视为每一次为最后的期望贡献了多少。每次取矩阵平均值的数学期望$E=\sum \frac{1}{n}(a_j{b}_j^T\ast n)/s=\sum a_j{b}_j^T/s=AB/s$，总平均值的数学期望$E=\frac{AB}{s}\ast s=AB=\sum \frac{1}{n}(\frac{a_j{b}_j^T}{\frac{1}{n}}/s)\ast s=\sum p_j(\frac{a_j{b}_j^T}{s{p}_j})\ast s,\sum p_j\frac{a_j{b}_j^T}{s{p}_j}$即为每一次的数学期望对最后的期望做出多少贡献。

实际选中各个秩1矩阵的概率不应相等，令$p_j$为选中$a_j{b}_j^T$的概率，$b_j^T$表示B的第$j$行，$p_j=\frac{||a_j||||b_j^T||}{C},C=\sum ||a_j||||b_j^T||$，使得概率和为1（后续会证明这种概率是使得方差最小的最优概率）

对照上面的数学期望，每一次取样的数学期望$E=\sum p_j(\frac{a_j{b}_j^T}{s{p}_j})=\frac{AB}{s},s$为样本数，总的数学期望仍为AB，说明这种取样方法是正确的。

到这里已经跟原视频说的不一样了，原视频说的非常不好理解，这是自己的理解，老教授你还行不行了……我甚至不确定这是正确的，感觉自己在强行解释

从形式上看，$\frac{a_j{b}_j^T}{s{p}_j}$即为概率$p_j$对应的样本值。

利用方差公式${\sigma }^2=E[(x^2)]-(mean{)}^2=E[(x^2)]-[E[(x)]{]}^2$

一次抽样的方差${\sigma }_1^2=\sum p_j\frac{||a_j|{|}^2||b_j^T|{|}^2}{s^2{p}_j^2}-\frac{||AB|{|}_F^2}{s^2}$

总方差${\sigma }^2=s{\sigma }_1^2=\frac{1}{s}(\sum \frac{||a_j|{|}^2||b_j^T|{|}^2}{p_j}-||AB|{|}_F^2)$，利用$p_j=\frac{||a_j||||b_j^T||}{C}$，${\sigma }^2=\frac{1}{s}(\sum \frac{||a_j||||b_j^T||}{\frac{1}{C}}-||AB|{|}_F^2)=\frac{1}{s}(C^2-||AB|{|}_F^2)$

也没解释为什么求方差的时候矩阵的平方这样处理，这节课真的看了个寂寞

现在证明上式是能得到的最小方差，选择的概率是最优概率

最小化方差即最小化$\sum \frac{||a_j|{|}^2||b_j^T|{|}^2}{s{p}_j}$，利用拉格朗日乘子，加入约束项
min ⁡ ∑ p j = 1 L = min ⁡ ∑ p j = 1 ∣ ∣ a j ∣ ∣ 2 ∣ ∣ b j T ∣ ∣ 2 s p j = min ⁡ ∑ p j = 1 ∣ ∣ a j ∣ ∣ 2 ∣ ∣ b j T ∣ ∣ 2 s p j