线性代数及其应用知识点汇总（Linear Algebra and Its Applications）

---

线性方程组（Linear Equations in Linear Algebra）

初等行变换等价于左乘初等矩阵，初等列变换等价于右乘初等矩阵。

线性方程组的解
线性方程组$A\mathbf{x}=\mathbf{b}$有解，当且仅当$\mathbf{b}$是$A$的各列的线性组合，即
$$x_1{\mathbf{a}}_1+x_2{\mathbf{a}}_2+\cdots +x_n{\mathbf{a}}_n=\mathbf{b}$$

线性方程组的解集

设线性方程组$A\mathbf{x}=\mathbf{b}$的一个特解是$\mathbf{p}$，则$A\mathbf{x}=\mathbf{b}$的解集是所有形如$\mathbf{w}=\mathbf{p}+{\mathbf{v}}_h$的向量的集，其中${\mathbf{v}}_h$是齐次线性方程组$A\mathbf{x}=0$的任意解。

线性相关和线性无关
若$x_1{\mathbf{v}}_1+\cdots +x_p{\mathbf{v}}_p=0$仅有平凡解（全零解），则称$\{{\mathbf{v}}_1,\cdots ,{\mathbf{v}}_p\}$线性无关，若存在不全零解，则称$\{{\mathbf{v}}_1,\cdots ,{\mathbf{v}}_p\}$线性相关。特殊地，若$A\mathbf{x}=0$仅有零解，则矩阵$A$的列线性无关。

线性变换

解线性方程$A\mathbf{x}=\mathbf{b}$的意义就是找到所有向量$\mathbf{x}\in {\mathbb{R}}^n$，其左乘线性变换矩阵$A\in {\mathbb{R}}^{m\times n}$，可转换为$\mathbf{b}\in {\mathbb{R}}^m$。定义变换$T:{\mathbb{R}}^n\to {\mathbb{R}}^m$为$T(x)=Ax$，对于变换的应用有以下几类问题：

• 求$\mathbf{u}$在变换$T$下的像，即求$T(\mathbf{x})$；
• 求$\mathbf{x}\in {\mathbb{R}}^n$使它的像是向量$\mathbf{b}\in {\mathbb{R}}^m$，即求方程$A\mathbf{x}=\mathbf{b}$的解；
• 求$\mathbf{c}\in {\mathbb{R}}^m$是否属于变换$T$的值域，即求$A\mathbf{x}=\mathbf{c}$是否有解；

若$T$是线性变换，则具有以下性质：

• $T(0)=0$；
• $T(c\mathbf{u}+d\mathbf{v})=cT(\mathbf{u})+dT(\mathbf{v})$；

线性变换的矩阵
若已知变换$T(x_1)=b_1$，$T(x_2)=b_2$，则$AX=B$，若$X$可逆，则$A=B{X}^{\top }$。

矩阵代数（Matrix Algebra）

可逆矩阵
对于矩阵$A_{n\times n}$，若存在矩阵$C_{n\times n}$使得，$AC=I$，$CA=I$，则$A$可逆，逆矩阵为$C$。可逆矩阵有时称为非奇异矩阵，不可逆矩阵有时称为奇异矩阵。

初等行变换增广矩阵，$[AI]\sim [I{A}^{-1}]$。实际很少直接计算逆矩阵，对于求解线性方程组$Ax=b$，通过逆矩阵求解$x=A^{-1}b$的时间复杂度，约是通过行化简复杂度的3倍。

分块矩阵的逆
$$A^{-1}={\left[\begin{array}{cc}{A}_{11}& A_{12}\\ 0& A_{22}\end{array}\right]}^{-1}=\left[\begin{array}{cc}{A}_{11}^{-1}& -A_{11}^{-1}{A}_{12}{A}_{22}^{-1}\\ 0& A_{22}^{-1}\end{array}\right]$$

可用初等行变化求解。

LU分解
LU分解用于求解一系列具有相同系数矩阵的线性方程，如$A\mathbf{x}={\mathbf{b}}_1$，$A\mathbf{x}={\mathbf{b}}_2$等。实际求解过程中，第一个方程的解是通过行化简得到，为加速计算具有相同系数矩阵的线性方程，在求解第一个方程时得到系数矩阵的LU分解，用于后序计算。

利用A的LU分解（A行倍加变换为U），L为单位下三角矩阵，U为上三角矩阵，可将线性方程组$Ax=b$转换为$L(Ux)=b$，由于L和U都是三角矩阵，通过初等行变换求解方程组的解计算量较小。

行列式（Determinants）

$A_{n\times n}=[a_{ij}]$的行列式按第一行展开得
$$\det A=a_{11}\det A_{11}-a_{12}\det A_{12}+\cdots +(-1{)}^{1+n}{a}_{1n}\det A_{1n}=\sum _{j=1}^n(-1{)}^{1+j}{a}_{1j}\det A_{1j}$$

其中$A_{ij}$表示矩阵$A$删除$a_{ij}$所在行列得到的余子式。

行列式的性质

• $A$的某一行的倍数加到另一行得到$B$，则$A$和$B$的行列式不变；
• $A$的两行互换得到$B$，则$A$的行列式是$B$行列式的相反数；
• $A$的某行乘以$k$倍得到$B$，则$B$行列式是$A$行列式的$k$倍；
• $A$的转置是$B$，则$A$和$B$的行列式相同；
• $A$和$B$均为$n$阶矩阵，则$\det AB=\det A\det B$；

伴随矩阵、逆矩阵和克拉默法则
设$A$是一个$n$阶可逆矩阵，$C_{ij}$是矩阵$A$去除$a_{ij}$所在行列后的代数余子式的行列式，则
$$A^{-1}=\frac{1}{\det A}\text{adj}A,\text{adj}A=\left[\begin{array}{cccc}{C}_{11}& C_{21}& \cdots & C_{n1}\\ C_{12}& C_{22}& \cdots & C_{n2}\\ ⋮& & \ddots & \\ C_{1n}& C_{2n}& \cdots & C_{nn}\end{array}\right]$$

设$A_{n\times n}$是可逆矩阵，$\mathbf{b}\in {\mathbb{R}}^n$，方程$A\mathbf{x}=\mathbf{b}$的唯一解是（可利用伴随矩阵表示逆矩阵推出）
$$x_i=\frac{\det A_i(\mathbf{b})}{\det A},i=1,2,\cdots ,n{A}_i(\mathbf{b})=[{\mathbf{a}}_1\cdots \mathbf{b}\cdots {\mathbf{a}}_n]$$

克拉默法则，可用来研究当$\mathbf{b}$或$A$中某元素改变时，$A\mathbf{x}=\mathbf{b}$解的变化。如$A$第$i$列元素改变时，$A\mathbf{x}=\mathbf{b}$解的第$i$位置不变，其它所有位置可能改变。

行列式的几何意义
二阶行列式表示，两个列向量围成的二维平面的面积；三阶行列式表示，三个列向量围成的三维 六面体的体积。

向量空间（Vector Spaces）

向量空间
一个向量空间是向量的非空集合，这个集合中各向量的加法和标量乘法运算封闭。

矩阵零空间
矩阵$A$的零空间记成$\text{Nul}A$，是齐次方程$A\mathbf{x}=0$的解集，即
$$\text{Nul}A=\{\mathbf{x};\mathbf{x}\in {\mathbb{R}}^n,A\mathbf{x}=0\}$$
零空间中包含自由向量的个数，等于方程$A\mathbf{x}=0$中自由变量的个数。

矩阵的列空间
矩阵$A_{m\times n}$的列空间是由$A$的列的所有线性组合组成的集合，记为
$$\text{Col }A=\text{Span }\{{\mathbf{a}}_1,\cdots ,{\mathbf{a}}_n\},\text{Col }A\in {\mathbb{R}}^n$$

矩阵列空间是线性变换$A\mathbf{x}$的值域。

坐标系
唯一表示定理：$\mathrm{B}=\{{\mathbf{b}}_1,\cdots ,{\mathbf{b}}_n\}$是向量空间$V$的一个基，则对于$V$中的每一个向量$\mathbf{x}$，存在唯一一组数$c_1,\cdots ,c_n$使得
$$\mathbf{x}=c_1{\mathbf{b}}_1+\cdots +c_n{\mathbf{b}}_n$$

秩
矩阵$A_{m\times n}$的秩等于列空间的维数，等于行空间的维数，且满足
$$\text{rank }A+\dim \text{Nul }A=n$$

由于计算机存储精度问题，矩阵的有效秩常由奇异值分解确定，通过奇异值分解还可以可靠地求解列空间、行空间和零空间的基。

马尔科夫链的收敛性
若$P$是一个$n\times n$的正则随机矩阵，则$P$具有唯一的稳态向量$\mathbf{q}$，若${\mathbf{x}}_0$是任一个初始状态，且${\mathbf{x}}_{k+1}=P{\mathbf{x}}_k$，则当$k$趋于无穷时，马尔科夫链$\{{\mathbf{x}}_k\}$收敛到$\mathbf{q}$。

特征值与特征向量（Eigenvalues and Eigenvectors）

$A$为$n\times n$矩阵，$\mathbf{x}$为非零向量，若存在数$\lambda$使$A\mathbf{x}=\lambda \mathbf{x}$有非平凡解，则称$\lambda$为$A$的特征值，$\mathbf{x}$为对应$\lambda$的特征向量。

若$\mathbf{x}$是A的特征向量，$A\mathbf{x}$相当于将$\mathbf{x}$拉长$\lambda$倍。

对于齐次线性方程组
$$(A-\lambda I)\mathbf{x}=0$$
，其解空间/零空间是特征向量集合。

三角矩阵的特征值
三角矩阵的主对角线的元素是其特征值。

当$\lambda$等于任意对角线元素值时，对角线元素为0，对应于$(A-\lambda I)x=0$的自由变量，即存在非平凡解，即$Ax=a_{ii}x$，即对角线元素$a_{ii}$为特征值。

可逆与特征值
设$A$是$n$阶矩阵，则$A$可逆当且仅当

• 0不是$A$的特征值；
• $A$的行列式不等于0；

特征方程
数值方程$\det (A-\lambda I)=0$，称为$A$的特征方程，$\lambda$是矩阵$A$的特征值的充要条件是$\lambda$是其特征方程的根。

相似矩阵与相似变换
假设$A$和$B$都是$n\times n$矩阵，若存在可逆矩阵$P$，使得$P^{-1}AP=B$，则称$A$相似于$B$，$P$称为相似变换矩阵。相似矩阵具有相同特征多项式，具有相同特征值（实际计算特征值，一般计算相似矩阵的特征值）。

证明：若$A$和$B$相似，则$B=P^{-1}AP$，则
$$B-\lambda I=P^{-1}AP-\lambda P^{-1}P=P^{-1}(A-\lambda I)P$$

因此
$$\det (B-\lambda I)=\det P^{-1}\det (A-\lambda I)\det P=\det (A-\lambda I)$$

对角化（用途、条件、对角化过程）
通过将矩阵$A$对角化，即$A=PD{P}^{-1}$，其中$D$为对角矩阵，能够获得矩阵$A$的特征值和特征向量信息，也能够快速计算$A^k$。

若矩阵$A$是$n$阶矩阵，$A$可对角化的充要条件是其有$n$个线性无关的特征向量。对角化的核心是$AP=PD$，求解$A$的特征值和特征向量，以特征向量作为列向量构造$P$矩阵，以对应的特征值作为对角元素构造对角矩阵$D$。

特征值迭代估计
1.幂算法 适用于$n\times n$矩阵$A$有严格占优特征值，即主特征值。假设$\mathbf{x}\in {\mathbb{R}}^n$，特征向量集合$\{{\mathbf{v}}_1,\cdots ,{\mathbf{v}}_2\}$作为基，$\mathbf{x}=c_1{\mathbf{v}}_1+\cdots +c_n{\mathbf{v}}_n$，则
$${\mathbf{x}}_k=A^k\mathbf{x}=c_1{\lambda }_1^k{\mathbf{v}}_1+c_2{\lambda }_2^k{\mathbf{v}}_2+\cdots +c_n{\lambda }_n^k{\mathbf{v}}_k$$
假设$c_1$不为0，当$k\to +\infty$，$A^k\mathbf{x}$的方向将趋向于${\mathbf{v}}_1$，且满足$A\cdot A^{k-1}\mathbf{x}={\lambda }_1{\mathbf{v}}_1$。不难得出，${\mathbf{x}}_{k-1}\approx {\mathbf{v}}_1$，也就是说，${\mathbf{x}}_k$最大分量相较于${\mathbf{x}}_{k-1}$最大分量增加的倍数接近于${\lambda }_1$。若令特征向量的最大分量为1，则${\mathbf{x}}_k$的最大分量为特征值，${\mathbf{x}}_k$除最大分量为特征向量。

2.逆幂法 适用于已知一个特征值的初始估计值$\alpha$，求近似精确值。具体做法是对$B=(A-\alpha I{)}^{-1}$应用幂算法，求解过程：

• 选择一个非常接近于$\lambda$的初始估值$\alpha$；
• 选择一个最大分量为1的初始向量${\mathbf{x}}_0$；
• 对$k=0,1,\cdots ,$
  • 从$(A-\alpha I){\mathbf{y}}_k={\mathbf{x}}_k$解出${\mathbf{y}}_k$，${\mathbf{y}}_k$最大分量为${\mu }_k$，同系数线性方程组，使用LU分解可加速计算；
  • 计算$v_k=\alpha +(1/u_k)$，近似特征值；
  • 计算${\mathbf{x}}_{k+1}=(1/u_k){\mathbf{y}}_k$，规范化$x_k$最大分量为1；
• 几乎对所有选择的${\mathbf{x}}_0$，序列$\{{\mathbf{v}}_k\}$趋向于$A$的特征值$\lambda$，而序列$\{{\mathbf{x}}_k\}$趋向于对应的特征向量；

正交性和最小二乘法（Orthogonality and Least Squares）

寻找一个没有真正解的不相容的方程组的近似解。

毕达哥拉斯（勾股）定理
两个向量$\mathbf{u}$和$\mathbf{v}$正交的充分必要条件是$||\mathbf{u}+\mathbf{v}|{|}^2=||\mathbf{u}|{|}^2+||\mathbf{v}|{|}^2$。

证明：$||\mathbf{u}+\mathbf{v}|{|}^2=(\mathbf{u}+\mathbf{v}{)}^{\top }(\mathbf{u}+\mathbf{v})=2{\mathbf{u}}^{\top }\mathbf{v}+{\mathbf{u}}^{\top }\mathbf{u}+{\mathbf{v}}^{\top }\mathbf{v}$，若$\mathbf{u}$和$\mathbf{v}$正交，则$||\mathbf{u}+\mathbf{v}|{|}^2={\mathbf{u}}^{\top }\mathbf{u}+{\mathbf{v}}^{\top }\mathbf{v}=||\mathbf{u}|{|}^2+||\mathbf{v}|{|}^2$。

正交补
如果向量$z$与向量空间$W$中的任意向量正交，则称$z$正交于$W$，所有正交于$W$的向量$z$集合称为$W$的正交补，记为$W^{\perp }$。对于矩阵$A_{m\times n}$，则$A$的行空间的正交补是$A$的零空间，且$A$的列空间的正交补是$A^{\top }$的零空间：
$$(\text{Row }A{)}^{\perp }=\text{Nul }A,(\text{Col }A{)}^{\perp }=\text{Nul }{A}^{\top }$$

证明：由于零空间中的向量$\mathbf{x}$满足$A\mathbf{x}=0$，显然$\mathbf{x}$和$A$的每一个行向量的内积为0，即正交。

向量间夹角/相关系数
$$\cos \theta =\frac{u\cdot v}{||u||||v||}$$

正交基的坐标表示
假设$\{{\mathbf{u}}_1,\cdots ,{\mathbf{u}}_p\}$是${\mathbb{R}}^n$子空间$W$的正交基，对$W$中的任意向量$\mathbf{y}$，可表示为
$$\mathbf{y}=c_1{\mathbf{u}}_1+\cdots +c_p{\mathbf{u}}_p,c_j=\frac{\mathbf{y}\cdot {\mathbf{u}}_j}{{\mathbf{u}}_j\cdot {\mathbf{u}}_j}$$
其中$c_j$表示$\mathbf{y}$在基${\mathbf{u}}_j$上的投影长度。

正交投影
向量$\mathbf{y}$在向量$\mathbf{u}$上的投影为
$$\hat{\mathbf{y}}={\text{proj}}_L\mathbf{y}=\frac{\mathbf{y}\cdot \mathbf{u}}{\mathbf{u}\cdot \mathbf{u}}\cdot \mathbf{u}$$

单位正交基
矩阵$U_{m\times n}$具有单位正交列向量的充分必要条件是，$U^{\top }U=I$。假设$U$是一个单位正交列的$m\times n$矩阵，且$\mathbf{x}$和$\mathbf{y}$是${\mathbb{R}}^n$中的向量，则

• $||U\mathbf{x}||=||\mathbf{x}||$；
• $(U\mathbf{x})\cdot (U\mathbf{y})=\mathbf{x}\cdot \mathbf{y}$；
• $(U\mathbf{x})\cdot (U\mathbf{y})=0$的充要条件是$\mathbf{x}\cdot \mathbf{y}=0$；

当方阵$U$是单位正交矩阵时，$U^{-1}=U^{\top }$，单位正交阵的行也正交。

证明：$U^{\top }U=I$，$U^{\top }=U^{-1}$，$U\cdot U^{-1}=U{U}^{\top }=I$，因此单位正交阵的行向量正交。

空间中的正交投影

设$W\subset {\mathbb{R}}^n$，$\forall \mathbf{y}\in {\mathbb{R}}^n$唯一表示为$\mathbf{y}=\hat{\mathbf{y}}+\mathbf{z}$，$\hat{\mathbf{y}}\in W$，$\mathbf{z}\in W^{\perp }$，若$W$的任一正交基为$\{{\mathbf{u}}_1,\cdots ,{\mathbf{u}}_p\}$，则$\mathbf{y}$在$W$内的正交投影为
$$\hat{\mathbf{y}}={\text{proj}}_W\mathbf{y}=\frac{\mathbf{y}\cdot {\mathbf{u}}_1}{{\mathbf{u}}_1\cdot {\mathbf{u}}_1}{\mathbf{u}}_1+\cdots +\frac{\mathbf{y}\cdot {\mathbf{u}}_p}{{\mathbf{u}}_p\cdot {\mathbf{u}}_p}{\mathbf{u}}_p$$

上式每项系数为投影向量对应于基向量${\mathbf{u}}_i$的分量/坐标.

最佳逼近定理（Optimal Approximation Theorem）
$$\forall \mathbf{v}\in W,\mathbf{v}\ne \hat{\mathbf{y}}={\text{proj}}_W\mathbf{y}⟹|\mathbf{y}-\hat{\mathbf{y}}|<|\mathbf{y}-\mathbf{v}|$$

定理表明，$\mathbf{y}$在向量空间中的投影向量为$\hat{\mathbf{y}}$，则$W$中的任一向量到$\mathbf{y}$的距离均大于投影向量$\hat{\mathbf{y}}$到$\mathbf{y}$的距离。

施密特正交化（Schmidt Orthogonalization）
向量空间$W\subset {\mathbb{R}}^n$，$\{{\mathbf{x}}_1,\cdots ,{\mathbf{x}}_p\}$和$\{{\mathbf{v}}_1,\cdots ,{\mathbf{v}}_p\}$分别是$W$的任一基和正交基，
$$\begin{array}{rl}& {\mathbf{v}}_1={\mathbf{x}}_1\\ & {\mathbf{v}}_2={\mathbf{x}}_2-\frac{{\mathbf{x}}_2\cdot {\mathbf{v}}_1}{{\mathbf{v}}_1\cdot {\mathbf{v}}_1}{\mathbf{v}}_1\\ & ⋮\\ & {\mathbf{v}}_p={\mathbf{x}}_p-\frac{{\mathbf{x}}_p\cdot {\mathbf{v}}_1}{{\mathbf{v}}_1\cdot {\mathbf{v}}_1}{\mathbf{v}}_1-\cdots -\frac{{\mathbf{x}}_p\cdot {\mathbf{v}}_{p-1}}{{\mathbf{v}}_{p-1}\cdot {\mathbf{v}}_{p-1}}{\mathbf{v}}_{p-1}\end{array}$$
对于基向量${\mathbf{x}}_i$，令${\hat{\mathbf{x}}}_{\mathbf{i}}={\text{proj}}_{W_{i-1}}{\mathbf{x}}_i$，$W_{i-1}=\{{\mathbf{x}}_1,\cdots ,{\mathbf{x}}_{i-1}\}$，则对${\mathbf{x}}_i$进行正交分解得
$${\mathbf{v}}_i={\mathbf{x}}_i-{\hat{\mathbf{x}}}_{\mathbf{i}},{\mathbf{v}}_i\in W^{\perp }$$
将${\mathbf{v}}_i$作为${\mathbf{x}}_i$的正交化向量，依次将${\mathbf{x}}_2,\cdots ,{\mathbf{x}}_p$执行以上步骤即可完成。

QR分解（QR Decomposition）
如果矩阵$A_{m\times n}$的列线性无关，则$A$可分解为$A=QR$，其中$Q$是一个$m\times n$矩阵，其列形成$\text{Col }A$的一个标准正交基，$R$是一个$n$阶可逆上三角矩阵，且对角线元素均为正数。

利用施密特正交化，将$A$标准正交化得到$Q$，由$Q^{\top }Q=I$，知上三角矩阵
$$R=Q^{\top }QR=Q^{\top }A⟹A=QR$$

最小二乘问题（Least Square Solution，LSS）
解不相容线性方程组$A_{m\times n}\mathbf{x}=\mathbf{b}$，$\mathbf{b}\notin \text{Col }A$，最优方法是寻找$\mathbf{x}$，使$A\mathbf{x}$尽可能接近$\mathbf{b}$。也就是说，$\forall \mathbf{x}\in {\mathbb{R}}^n$，$A\mathbf{x}=\mathbf{b}$的最小二乘解$\hat{\mathbf{x}}$应满足（$A\mathbf{x}$表示$\mathbf{b}$在$A$列空间中的投影）
$$||\mathbf{b}-A\hat{\mathbf{x}}||\le ||\mathbf{b}-A\mathbf{x}||⟹A\hat{\mathbf{x}}=\hat{\mathbf{b}}={\text{proj}}_{\text{Col }A}\mathbf{b}$$

由正交分解定理知，$\mathbf{b}-\hat{\mathbf{b}}$正交于$\text{Col }A$，即
$$A^{\top }(\mathbf{b}-\hat{\mathbf{b}})=0=A^{\top }(\mathbf{b}-A\hat{\mathbf{x}})=0⟹A^{\top }A\hat{\mathbf{x}}=A^{\top }\mathbf{b}$$

$A^{\top }A\hat{\mathbf{x}}=A^{\top }\mathbf{b}$为原方程的法方程，其解集与原方程最小二乘解集一致，$||\mathbf{b}-A\hat{\mathbf{x}}||$称为最小二乘误差。

QR分解与最小二乘（QR Decomposition and LSS）
若$A_{m\times n}$列线性无关，将$A$进行QR分解，得
$$R^{\top }{Q}^{\top }QR\hat{\mathbf{x}}=R^{\top }{Q}^{\top }\mathbf{b}⟹R\hat{\mathbf{x}}=Q^{\top }\mathbf{b}$$
由于$R$为上三角可逆矩阵，通过初等行变换求解$\hat{\mathbf{x}}$，比公式$\hat{\mathbf{x}}=R^{-1}{Q}^{\top }\mathbf{b}$更加高效。特别地，若$A$为正交矩阵，QR分解所得$R$矩阵为对角矩阵，对角元素为对应列向量的模，最优解$\hat{\mathbf{x}}$等价于$\mathbf{b}$在$A$列空间正交投影的坐标向量，即
$$\hat{\mathbf{x}}={\left[\frac{⟨\mathbf{b},{\mathbf{a}}_1⟩}{⟨{\mathbf{a}}_1,{\mathbf{a}}_1⟩},\cdots ,\frac{⟨\mathbf{b},{\mathbf{a}}_n⟩}{⟨{\mathbf{a}}_n,{\mathbf{a}}_n⟩}\right]}^{\top }$$

线性回归（Linear Regression）
给定数据集$X$和目标值$y$，求解线性回归模型使得$Xw=y$。线性回归模型可认为是求解不相容线性方程组，令$\hat{y}$表示$y$在$X$列空间中的投影，因此$y-\hat{y}$与$\text{Col }X$正交，即
$$X^{\top }(\mathbf{y}-\hat{\mathbf{y}})=0⟹X^{\top }(\mathbf{y}-X\hat{\mathbf{w}})=0⟹\hat{\mathbf{w}}=(X^{\top }X{)}^{-1}{X}^{\top }\mathbf{y}$$

内积空间（Inner Product Spaces）
赋予以下内积的向量空间，称为内积空间：

• $⟨u,v⟩=⟨v,u⟩$；
• $⟨u+v,w⟩=⟨u,w⟩+⟨v,w⟩$；
• $⟨cu,v⟩=c⟨u,v⟩$；
• $⟨u,u⟩\ge 0$，$⟨u,u⟩=0$，充要条件是$u=0$；

内积空间的最佳逼近
设$t_0,\cdots ,t_n$是不同的实数，对${\mathbb{P}}_n$中的$p$和$q$，定义内积为（满足内积空间约束）
$$⟨p,q⟩=p(t_0)q(t_0)+p(t_1)q(t_1)+\cdots +p(t_n)q(t_n)$$
若$V$是内积空间中的${\mathbb{P}}_4$，包含多项式-2，-1，0，1和2处的值，则对于多项式$1$，$t$，$t^2$，构造$V$子空间${\mathbb{P}}_2$的标准正交基：

解： 由于内积仅依赖于多项式在-2，-1，0，1和2处的值，则每个多项式$1$，$t$，$t^2$对应的${\mathbb{R}}^5$向量，如上左图所示。应用格拉姆-施密特方法正交化$1$，$t$，$t^2$，由于$1$和$t$正交，令$p_0(t)=0$，$p_1(t)=t$，现在只需正交化$t^2$即可，即
$$p_2(t)=t^2-\frac{⟨t^2,p_1⟩}{⟨p_1,p_1⟩}{p}_1-\frac{⟨t^2,p_0⟩}{⟨p_0,p_0⟩}{p}_0=t^2-\frac{⟨t^2,t⟩}{⟨t,t⟩}t-\frac{⟨t^2,1⟩}{⟨1,1⟩}1=t^2-2$$

$V$子空间${\mathbb{P}}_2$的正交基，如上右图所示。

求出${\mathbb{P}}_2$中的多项式对$p(t)=5-\frac{1}{2}{t}^4$的最佳逼近？ ${\mathbb{P}}_2$中多项式对$p(t)$的最佳逼近为$p_t$在${\mathbb{P}}_2$中的投影，由于$p$在各点的相应取值分别为-3，9/2， 5，9/2和-3，因此
$$⟨p,p_0⟩=8,⟨p,p_1⟩=0,⟨p,p_2⟩=-31⟹\hat{p}={\text{proj}}_{{\mathbb{P}}_2}p=\frac{⟨p,p_0⟩}{⟨p_0,p_0⟩}{p}_0+\frac{⟨p,p_1⟩}{⟨p_1,p_1⟩}{p}_1+\frac{⟨p,p_2⟩}{⟨p_2,p_2⟩}{p}_2=\frac{8}{5}-\frac{31}{14}(t^2-2)$$

柯西-施瓦茨不等式（Cauchy - Schwartz Inequality）
$$|⟨\mathbf{u},\mathbf{v}⟩|\le ||\mathbf{u}||||\mathbf{v}||$$
证：当$\mathbf{u}=0$时，不等式显然成立。当$\mathbf{u}\ne 0$时，$\mathbf{u}$生成空间$W$，则
$$||{\text{proj}}_W\mathbf{v}||=\left|\left|\frac{⟨\mathbf{v},\mathbf{u}⟩}{⟨\mathbf{u},\mathbf{u}⟩}\mathbf{u}\right|\right|=\frac{|⟨\mathbf{v},\mathbf{u}⟩|}{||\mathbf{u}||}\le ||\mathbf{v}||⟹|⟨\mathbf{u},\mathbf{v}⟩|\le ||\mathbf{u}||||\mathbf{v}||$$
也可以向量夹角方向证明，当前仅当两向量同向时，内积取最大值。

三角不等式（Triangle Inequality）
$$||\mathbf{u}+\mathbf{v}||\le ||\mathbf{u}||+||\mathbf{v}||$$
证明：

最小二乘应用（Application of Least Square）
对于数据(-2, 3)，(-1, 5)，(0, 5)，(1, 4)，(2, 3)，求二次、三次最佳逼近，若各数据具有不同的权值（拟合损失不同），权值为2, 2, 2, 1, 1，求加权二次最佳逼近。

I. 直接法
i. 二次最佳拟合，即求解线性回归方程$y={\beta }_0+{\beta }_{1}x$，由已知条件知
$$X=\left[\begin{array}{rr}1& -2\\ 1& -1\\ 1& 0\\ 1& 1\\ 1& 2\end{array}\right],\mathbf{\beta }=\left[\begin{array}{r}{\beta }_0\\ {\beta }_1\end{array}\right],\mathbf{y}=\left[\begin{array}{r}3\\ 5\\ 5\\ 4\\ 3\end{array}\right]$$
由$\hat{\mathbf{\beta }}=(X^{\top }X{)}^{-1}{X}^{\top }\mathbf{y}$，得$\hat{\mathbf{\beta }}=[4.0,-0.10{]}^{\top }$。

ii. 三次最佳拟合，即求解线性回归方程$y={\beta }_0+{\beta }_{1}x+{\beta }_2{x}^2$，由已知条件知
$$X=\left[\begin{array}{rrc}1& -2& 4\\ 1& -1& 1\\ 1& 0& 0\\ 1& 1& 1\\ 1& 2& 4\end{array}\right],\mathbf{\beta }=\left[\begin{array}{r}{\beta }_0\\ {\beta }_1\\ {\beta }_2\end{array}\right],\mathbf{y}=\left[\begin{array}{r}3\\ 5\\ 5\\ 4\\ 3\end{array}\right]$$

由$\hat{\mathbf{\beta }}=(X^{\top }X{)}^{-1}{X}^{\top }\mathbf{y}$，得$\hat{\mathbf{\beta }}=[5,-0.10,-0.5{]}^{\top }$。

II. 坐标向量法
多项式空间${\mathbb{P}}_3$在-2，-1，0，1，2处的正交基$V=(1,t,t^2-2)$，因此，${\mathbb{P}}_3$内多项式对数据的最佳逼近，即正交投影${\text{proj}}_V\mathbf{y}$
$$\hat{p}(t)=\frac{⟨y,p_0⟩}{⟨p_0,p_0⟩}{p}_0+\frac{⟨y,p_1⟩}{⟨p_1,p_1⟩}{p}_1+\frac{⟨y,p_2⟩}{⟨p_2,p_2⟩}{p}_2=4-0.1t-0.5(t^2-2)$$

III. 加权逼近
若计算误差时不同$b$具有不同权重，最优解满足
$$\underset{\hat{\mathbf{b}}\in {\mathbb{R}}^n}{\min }{w}_1^2(b_1-{\hat{b}}_1{)}^2+\cdots +w_n^2(b_n-{\hat{b}}_n{)}^2=\underset{\hat{\mathbf{b}}\in {\mathbb{R}}^n}{\min }||W\mathbf{b}-W\hat{\mathbf{b}}||=\underset{\hat{\mathbf{x}}\in {\mathbb{R}}^n}{\min }||W\mathbf{b}-WA\hat{\mathbf{x}}||$$

将$W\mathbf{b}$在$WA$的列空间中正交分解，最优解$\hat{\mathbf{x}}$满足：$(W\mathbf{b}-WA\hat{\mathbf{x}})\perp \text{Col }WA$，即
$$(WA{)}^{\top }(W\mathbf{b}-WA\hat{\mathbf{x}})=0⟹(WA{)}^{\top }WA\hat{\mathbf{x}}=(WA{)}^{\top }W\mathbf{b}$$

对于二次最近逼近，原问题的条件如下：
$$X=\left[\begin{array}{rr}1& -2\\ 1& -1\\ 1& 0\\ 1& 1\\ 1& 2\end{array}\right],\mathbf{\beta }=\left[\begin{array}{r}{\beta }_0\\ {\beta }_1\end{array}\right],\mathbf{y}=\left[\begin{array}{r}3\\ 5\\ 5\\ 4\\ 3\end{array}\right]⟹WX=\left[\begin{array}{rr}2& -4\\ 2& -2\\ 2& 0\\ 1& 1\\ 1& 2\end{array}\right],W\mathbf{y}=\left[\begin{array}{r}6\\ 10\\ 10\\ 4\\ 3\end{array}\right]$$

通过法方程$(WX{)}^{\top }WX\hat{\mathbf{\beta }}=(WX{)}^{\top }W\mathbf{y}$，得最小二乘解$\hat{\mathbf{\beta }}=[4.300.20{]}^{\top }$。

对称矩阵和二次型（Symmetric Matrices and Quadratic Forms）

定理1 如果$A$是对称矩阵，则不同特征空间的任意两个特征向量正交。
证明：设$v_1$和$v_2$是对应于不同特征值${\lambda }_1,{\lambda }_2$的特征向量，则
$${\lambda }_1{\mathbf{v}}_1\cdot {\mathbf{v}}_2=({\lambda }_1{\mathbf{v}}_1{)}^{\top }{\mathbf{v}}_2=(A{\mathbf{v}}_1{)}^{\top }{\mathbf{v}}_2=({\mathbf{v}}_1^{\top }{A}^{\top }){\mathbf{v}}_2={\mathbf{v}}_1^{\top }(A{\mathbf{v}}_2)={\mathbf{v}}_1^{\top }({\lambda }_2{\mathbf{v}}_2)={\lambda }_2{\mathbf{v}}_1^{\top }{\mathbf{v}}_2={\lambda }_2{\mathbf{v}}_1\cdot {\mathbf{v}}_2$$
由于${\lambda }_1$不等于${\lambda }_2$，因此${\mathbf{v}}_1$和${\mathbf{v}}_2$。

定理2 一个$n\times n$矩阵$A$可正交对角化的充要条件是$A$是对称矩阵。

谱分解（Spectral Decomposition）
假设$A=PD{P}^{-1}$，其中$P$为单位正交矩阵，列向量为特征向量，因此$P^{-1}=P^{\top }$，故

展开得
$$A={\lambda }_1{\mathbf{u}}_1{\mathbf{u}}_1^{\top }+{\lambda }_2{\mathbf{u}}_2{\mathbf{u}}_2^{\top }+\cdots +{\lambda }_n{\mathbf{u}}_n{\mathbf{u}}_n^{\top }$$

二次型（Quadratic Forms）
${\mathbb{R}}^n$上的二次型是一个定义在${\mathbb{R}}^n$上的函数，若$n$阶矩阵$A_{n\times n}$为对称矩阵，则二次型定义为
$$Q(\mathbf{x})={\mathbf{x}}^{\top }A\mathbf{x}$$

若存在可逆矩阵$P$，使得$x=Py$，则
$$x^{\top }Ax=(Py{)}^{\top }A(Py)=y^{\top }(P^{\top }AP)y=y^{\top }Dy$$

由于$A$是对称矩阵，因此存在正交矩阵$P$，使得$P^{\top }AP$为对角矩阵。也就是说，可利用变量代还，将含有交叉积的二次型转换为没有交叉积的二次型：

如对于二次型$Q(x)=x_1^2-8x_1{x}_2-5x_2^2$，对应的矩阵、特征向量和特征值
$$A=\left[\begin{array}{rc}1& -4\\ -4& -5\end{array}\right],P=\left[\begin{array}{rc}2/\sqrt{5}& 1/\sqrt{5}\\ -1/\sqrt{5}& 2/\sqrt{5}\end{array}\right],D=\left[\begin{array}{rc}3& 0\\ 0& -7\end{array}\right]$$
即$A=PD{P}^{-1}$，且$D=P^{-1}AP=P^{\top }AP$，使用变量代换$x=Py$，则
$$x_1^2-8x_1{x}_2-5x_2^2=x^{\top }Ax=(Py{)}^{\top }A(Py)=y^{\top }Dy=3y_1^2-7y_2^2$$
利用变换代换后的二次型计算$Q(x)$在$x=(2,-2)$时的值，由于$y=P^{-1}x=P^{\top }x$，知
$$y=[6/\sqrt{5},-2/\sqrt{5}{]}^{\top }⟹Q(x)=y_1^2-7y_2^2=16$$
二次型分类
对于二次型$Q(\mathbf{x})={\mathbf{x}}^{\top }A\mathbf{x}$，${\lambda }_i$为$A$的任一特征值，则二次型

• 正定，$\forall \mathbf{x}\ne 0$，$Q(\mathbf{x})>0⟺{\lambda }_i>0$；
• 负定，$\forall \mathbf{x}\ne 0$，$Q(\mathbf{x})<0⟺{\lambda }_i<0$；
• 不定，$Q(\mathbf{x})$可正可负$⟺$ ${\lambda }_i$有正有负；

条件优化
假设$A=A^{\top }$，${\mathbf{x}}^{\top }\mathbf{x}=1$，求$\arg \max Q(\mathbf{x})=\arg \max {\mathbf{x}}^{\top }A\mathbf{x}$ ？ 构造拉格朗日函数求极大值，如下
$$f(\mathbf{x})={\mathbf{x}}^{\top }A\mathbf{x}-\lambda ({\mathbf{x}}^{\top }\mathbf{x}-1)$$

由
$$\frac{\partial f}{\partial \mathbf{x}}=2A\mathbf{x}-2\lambda \mathbf{x}=0⟹A\mathbf{x}=\lambda \mathbf{x}$$

约束二次型在极值点处，满足$Q(\mathbf{x})=\lambda$ ，即最大特征值及其对应的特征向量为极大解${\lambda }_1$和解向量${\mathbf{u}}_1$。构造拉格朗日求第二大，第二大解向量与极大解向量正交，如下
$$f(\mathbf{x})={\mathbf{x}}^{\top }A\mathbf{x}-\lambda ({\mathbf{x}}^{\top }\mathbf{x}-1)-\beta ({\mathbf{x}}^{\top }{\mathbf{u}}_1-0)$$
由
$$\frac{\partial f}{\partial \mathbf{x}}=2A\mathbf{x}-2\lambda \mathbf{x}-\beta {\mathbf{u}}_1=0$$
上式左乘${\mathbf{u}}_1^{\top }$，${\mathbf{u}}_1^{\top }A\mathbf{x}={\mathbf{x}}^{\top }{\lambda }_1{\mathbf{u}}_1=0$，得$\beta =0$，因此$A\mathbf{x}=\lambda \mathbf{x}$，第二大特征值及其特征向量为所求解。

奇异值分解（Singular Value Decomposition，SVD）

奇异值的应用

对于矩阵$A_{2\times 3}$，线性变换$\mathbf{x}\mapsto A\mathbf{x}$，将${\mathbb{R}}^3$中的单位球映射到${\mathbb{R}}^2$中的椭圆，则$||A\mathbf{x}||$最大的单位向量$\mathbf{x}$是什么？最大长度是多少？

解： 该问题等价于求解$||A\mathbf{x}|{|}^2$，等价于求解在$||\mathbf{x}||=1下，$${\mathbf{x}}^{\top }(A^{\top }A)\mathbf{x}$的最大值，显然最大值是$A^{\top }A$的最大特征值，对应的向量为最大特征值对应的特征向量（长轴向量）。

矩阵奇异值分解常用于估算矩阵的秩，秩等价于非零奇异值数目。

矩阵的奇异值
对于矩阵$A_{m\times n}$，$[A^{\top }A{]}_{n\times n}$为对称矩阵，$\{{\mathbf{v}}_1,\cdots ,{\mathbf{v}}_n\}$是${\mathbb{R}}^n$的单位正交基，且构成$A^{\top }A$的特征向量，${\lambda }_1\ge \cdots \ge {\lambda }_n$是$A^{\top }A$的特征值，则
$$||A{\mathbf{v}}_i|{|}^2=(A{\mathbf{v}}_i{)}^{\top }A{\mathbf{v}}_i={\mathbf{v}}_i^{\top }{A}^{\top }A{\mathbf{v}}_i={\mathbf{v}}_i^{\top }{\lambda }_i{\mathbf{v}}_i={\lambda }_i\ge 0\text{\hspace{1em}(1)}$$

$A$的奇异值定义为$A^{\top }A$特征值的平方根，也就是$A\mathbf{v}$的长度，即
$${\sigma }_i=||A{\mathbf{v}}_i||={\sqrt{\lambda }}_i,1\le i\le n$$
定理： 若$A^{\top }A$的特征值满足${\lambda }_1\ge \cdots \ge {\lambda }_r>0>{\lambda }_n$， 则$\{A{\mathbf{v}}_1,\cdots ,A{\mathbf{v}}_r\}$是$\text{Col }A$的标准正交基。

证明： $A\mathbf{v}$的模等于$A$的奇异值（当前仅当向量为零向量时，模为零），当$r+1\le i\le n$，$A{\mathbf{v}}_i=0$，对于$\mathbf{x}\in {\mathbb{R}}^n$，有
$$A\mathbf{x}=A(c_1{\mathbf{v}}_1+\cdots +c_n{\mathbf{v}}_n)=c_{1}A{\mathbf{v}}_1+\cdots +c_{r}A{\mathbf{v}}_r$$
即对于任意$A$列空间中向量$A\mathbf{x}$，均可由 { A v 1 , ⋯   , A v r } \{A\boldsymbol v_1,\cdots,A\boldsymbol v_r\}