矩阵论——矩阵内积与范数

一、内积
  设$\mathbf{V}$是$R$上的线性空间，映射$$\tau :\mathbf{V}\times \mathbf{V}\to R$$称为$\mathbf{V}$上的内积，如果满足$$\begin{gathered} ⟨{\mathbf{v}}_1,{\mathbf{v}}_2⟩=⟨{\mathbf{v}}_2,{\mathbf{v}}_1⟩ \\ ⟨{\mathbf{v}}_1,{\mathbf{v}}_{2}k+{\mathbf{v}}_{3}l⟩=⟨{\mathbf{v}}_1,{\mathbf{v}}_2⟩k+⟨{\mathbf{v}}_1,{\mathbf{v}}_3⟩l \\ ⟨\mathbf{v},\mathbf{v}⟩>0,\mathbf{v}\ne 0 \end{gathered}$$则记$$\tau ({\mathbf{v}}_1,{\mathbf{v}}_2)=⟨{\mathbf{v}}_1,{\mathbf{v}}_2⟩$$其是一个双线性映射，即对于固定的${\mathbf{v}}_1$，$\tau (\cdot ,{\mathbf{v}}_2)=⟨\cdot ,{\mathbf{v}}_2⟩$是一个线性映射，反之亦然，故有性质如下$$⟨a{\mathbf{u}}_1+b{\mathbf{u}}_2,c{\mathbf{v}}_1+d{\mathbf{v}}_2⟩=a⟨{\mathbf{u}}_1,{\mathbf{v}}_1⟩c+b⟨{\mathbf{u}}_2,{\mathbf{v}}_1⟩c+a⟨{\mathbf{u}}_1,{\mathbf{v}}_2⟩d+b⟨{\mathbf{u}}_2,{\mathbf{v}}_2⟩d$$  考虑连续函数的向量空间$\mathbf{C}([a,b],{\mathbf{R}}^n)$，有$$\mathbf{f}(t)=\left(\begin{array}{c}{f}_1(t)\\ ...\\ f_n(t)\end{array}\right)\in \mathbf{C},t\in [a,b]$$定义该空间的内积$$⟨\mathbf{f},\mathbf{g}⟩={\int }_a^b{\mathbf{f}}^T(t)\mathbf{g}(t)dt$$这是一个信号空间。

---

二、酉空间
  设$\mathbf{V}$是$C$上的线性空间，映射$$\tau :\mathbf{V}\times \mathbf{V}\to C$$称为$C$上的复内积，如果满足$$\begin{gathered} ⟨{\mathbf{v}}_1,{\mathbf{v}}_2⟩=\overline{⟨{\mathbf{v}}_2,{\mathbf{v}}_1⟩} \\ ⟨{\mathbf{v}}_1,{\mathbf{v}}_{2}k+{\mathbf{v}}_{3}l⟩=⟨{\mathbf{v}}_1,{\mathbf{v}}_2⟩k+⟨{\mathbf{v}}_1,{\mathbf{v}}_3⟩l \\ ⟨\mathbf{v},\mathbf{v}⟩>0\in R,\mathbf{v}\ne 0 \end{gathered}$$则记$$\tau ({\mathbf{v}}_1,{\mathbf{v}}_2)=⟨{\mathbf{v}}_1,{\mathbf{v}}_2⟩$$有限维的复内积空间称为酉空间。复内积具有共轭线性，即$$⟨{\mathbf{v}}_{1}k+{\mathbf{v}}_{2}l,{\mathbf{v}}_3⟩=\bar{k}⟨{\mathbf{v}}_1,{\mathbf{v}}_3⟩+\bar{l}⟨{\mathbf{v}}_2,{\mathbf{v}}_3⟩$$

---

三、Gram矩阵
  考虑内积空间的向量组$\{{\mathbf{b}}_s\}$，矩阵$$\mathbf{G}({\mathbf{b}}_1,...,{\mathbf{b}}_s)=(⟨{\mathbf{b}}_i,{\mathbf{b}}_j⟩{)}_{s\times s}$$称为向量组$\{{\mathbf{b}}_s\}$的Gram矩阵。若向量组为基向量组，则其Gram矩阵称为该基的度量矩阵，内积由度量矩阵唯一决定。Gram矩阵有如下性质
  （1）厄米性，${\bar{\mathbf{G}}}^T=\mathbf{G}$；
  （2）非负定性，${\bar{\mathbf{z}}}^T\mathbf{G}\mathbf{z}⪰0$；
  （3）若$\{{\mathbf{b}}_s\}$线性无关，$\mathbf{G}$具有正定性，$\mathbf{G}\succ 0$，反之亦然。使用该性质可以具体的判断抽象矩阵基的线性相关性。
  考虑几何空间的内积空间，定义内积$$⟨\mathbf{a},\mathbf{b}⟩=||\mathbf{a}||\cdot ||\mathbf{b}||cos\theta$$其Gram矩阵为$$\mathbf{G}(\mathbf{a},\mathbf{b})=\left(\begin{array}{cc}⟨\mathbf{a},\mathbf{a}⟩& ⟨\mathbf{a},\mathbf{b}⟩\\ ⟨\mathbf{b},\mathbf{a}⟩& ⟨\mathbf{b},\mathbf{b}⟩\end{array}\right)$$则Gram矩阵的行列式为$$|\mathbf{G}|=||\mathbf{a}|{|}^2||\mathbf{b}|{|}^{2}si{n}^2\theta$$其几何意义为向量组张成的平行多面体的超体积的平方。
  考虑一元连续函数的向量空间，即一维信号空间$C([a,b],R)$，定义该空间的内积$$⟨f,g⟩={\int }_a^{b}f(t)g(t)dt$$则其Gram空间为$$\mathbf{G}(\{f_i\})=({\int }_a^b{f}_i(t)f_j(t)dt{)}_{s\times s}$$

---

四、抽象空间的几何描述
  在实空间中，定义向量的长度与距离分别为$$\begin{gathered} ||\mathbf{a}||=(⟨\mathbf{a},\mathbf{a}⟩{)}^{1/2} \\ d(\mathbf{a},\mathbf{b})=||\mathbf{a}-\mathbf{b}|| \end{gathered}$$长度具有性质如下
  （1）正性，$||\mathbf{a}||\ge 0$；
  （2）正齐性，$||\mathbf{a}k||=|k|||\mathbf{a}||$；
  （3）三角不等式，$||\mathbf{a}+\mathbf{b}||\le ||\mathbf{a}||+||\mathbf{b}||$；
  （4）柯西施瓦茨不等式，$|⟨\mathbf{a},\mathbf{b}⟩|\le ||\mathbf{a}||\cdot ||\mathbf{b}||$
  （5）平行四边形公式，$||\mathbf{a}+\mathbf{b}|{|}^2+||\mathbf{a}-\mathbf{b}|{|}^2=2(||\mathbf{a}|{|}^2+||\mathbf{b}|{|}^2)$
  定义向量的夹角，形如$$\theta =arccos((⟨\mathbf{a},\mathbf{b}⟩)/(||\mathbf{a}||\cdot ||\mathbf{b}||))$$  考虑$\mathbf{V}$是酉空间，$\mathbf{b}\in \mathbf{V}$，$\mathbf{W}$是$\mathbf{V}$的有限维子空间。则求解如下优化问题$$\mathbf{a}=argmi{n}_{\mathbf{w}\in \mathbf{W}}d(\mathbf{b},\mathbf{w})$$即$$d(\mathbf{b},\mathbf{a})\le d(\mathbf{b},\mathbf{w}),\forall \mathbf{w}\in \mathbf{W}$$记$\mathbf{W}\in {\mathbf{R}}^s$的基为$\{{\mathbf{b}}_s\}$，于是待求解参数化为$\mathbf{a}=\sum {\mathbf{b}}_j{k}_j$，故$$d(\mathbf{b},\mathbf{a})=d(\mathbf{b},\sum {\mathbf{b}}_j{k}_j)$$其可以看作映射$(k_1,...,k_s{)}^T\in {\mathbf{C}}^s\mapsto R_{+}$。考虑$\mathbf{a}$是$\mathbf{b}$在$\mathbf{W}$上的投影，即$\mathbf{b}-\mathbf{a}\perp \mathbf{W}$，取$\mathbf{w}\in \mathbf{W}$，则有$$\begin{gathered} d(\mathbf{b},\mathbf{w})=||\mathbf{b}-\mathbf{w}|| \\ \mathbf{b}-\mathbf{a}\perp \mathbf{a}-\mathbf{w} \\ ||\mathbf{b}-\mathbf{a}|{|}^2=||\mathbf{b}-\mathbf{w}|{|}^2+||\mathbf{a}-\mathbf{w}|{|}^2 \end{gathered}$$故$$||\mathbf{b}-\mathbf{a}||\le ||\mathbf{b}-\mathbf{w}||$$即$\mathbf{a}$与$\mathbf{b}$距离最近。而考虑求解$\mathbf{a}$，形如$$\begin{array}{rl}⟨{\mathbf{b}}_j,\mathbf{b}-\mathbf{a}⟩& =⟨{\mathbf{b}}_j,\mathbf{b}⟩-⟨{\mathbf{b}}_j,\mathbf{a}⟩\\ & =⟨{\mathbf{b}}_j,\mathbf{b}⟩-⟨{\mathbf{b}}_j,\sum {\mathbf{b}}_j{k}_j⟩\\ & =0\end{array}$$即$$\begin{gathered} ⟨{\mathbf{b}}_j,\mathbf{b}⟩=⟨{\mathbf{b}}_j,\sum {\mathbf{b}}_j{k}_j⟩ \\ ⟨{\mathbf{b}}_j,\mathbf{b}⟩=\sum ⟨{\mathbf{b}}_j,{\mathbf{b}}_j⟩k_j \end{gathered}$$其矩阵形式形如$$\left(\begin{array}{ccc}⟨{\mathbf{b}}_1,{\mathbf{b}}_1⟩& ...& ⟨{\mathbf{b}}_1,{\mathbf{b}}_s⟩\\ ...& & ...\\ ⟨{\mathbf{b}}_s,{\mathbf{b}}_1⟩& ...& ⟨{\mathbf{b}}_s,{\mathbf{b}}_s⟩\end{array}\right)\left(\begin{array}{c}{k}_1\\ ...\\ k_s\end{array}\right)=\left(\begin{array}{c}⟨{\mathbf{b}}_1,\mathbf{b}⟩\\ ...\\ ⟨{\mathbf{b}}_s,\mathbf{b}⟩\end{array}\right)$$
则其解为$$\left(\begin{array}{c}{k}_1\\ ...\\ k_s\end{array}\right)={\mathbf{G}}^{-1}(\{{\mathbf{b}}_j\})\left(\begin{array}{c}⟨{\mathbf{b}}_1,\mathbf{b}⟩\\ ...\\ ⟨{\mathbf{b}}_s,\mathbf{b}⟩\end{array}\right)$$

---

五、标准正交基
  定义标准正交基，$V$是$C$上的内积空间，向量组$\{{\mathbf{a}}_s\}$若满足性质
  （1）标准性，$||{\mathbf{a}}_i||=1$；
  （2）正交性，${\mathbf{a}}_i\perp {\mathbf{a}}_j,\forall i\ne j$。
则称该向量组为标准正交基。其有如下性质
  （1）$\mathbf{G}(\{{\mathbf{a}}_s\})=\mathbf{E}$；
  （2）线性无关性。
  考虑傅里叶级数，$V=L^2([0,2\pi ])$，即对于$\forall f\in V$，$dom=[0,2\pi ]$且$f^2$可积，其是一个内积空间，可以定义内积$$⟨f,g⟩={\int }_0^{2\pi }f(t)g(t)dt$$任取三角函数多项式，形如$$\{1/(2\pi {)}^{1/2},sinnx/(\pi {)}^{1/2},cosnx/(\pi {)}^{1/2},n=1,2,...,N\}$$即基的数量为$2N+1$，考察其单位性，形如$$\begin{gathered} ||1/(2\pi {)}^{1/2}||=⟨1/(2\pi {)}^{1/2},1/(2\pi {)}^{1/2}⟩=1 \\ ||sinnx/(\pi {)}^{1/2}||=⟨sinnx/(\pi {)}^{1/2},sinnx/(\pi {)}^{1/2}⟩=1 \\ ||cosnx/(\pi {)}^{1/2}||=⟨cosnx/(\pi {)}^{1/2},cosnx/(\pi {)}^{1/2}⟩=1 \end{gathered}$$再考察正交性，形如$$⟨1/(2\pi {)}^{1/2},sinnx/(\pi {)}^{1/2}⟩=0$$等，显然正交。傅里叶级数将笛卡尔空间解析坐标扩张到无穷维的函数空间逻辑中，任意维度的波可以由上述基的线性组合逼近，即$$f(x)\sim c_0/(2\pi {)}^{1/2}+\sum a_{k}sinnx/(\pi {)}^{1/2}+\sum b_{k}cosnx/(\pi {)}^{1/2}$$而正交基使其完全解耦，即$$⟨1/(2\pi {)}^{1/2},f⟩=c_0⟨1/(2\pi {)}^{1/2},1/(2\pi {)}^{1/2}⟩$$等，而其他项由于正交而内积线性齐次展开并置0。
  接下来介绍Schmidt正交化，使线性无关的向量组$\{{\mathbf{a}}_s\}$变为标准正交组，步骤如下
  （1）正交化，取$$\begin{gathered} {\mathbf{b}}_1={\mathbf{a}}_1 \\ {\mathbf{b}}_2={\mathbf{a}}_2-{\mathbf{b}}_{1}k \\ ... \\ {\mathbf{b}}_s={\mathbf{a}}_s-\sum _{i=1}^{s-1}{\mathbf{b}}_i{k}_i \end{gathered}$$使$\{{\mathbf{b}}_s\}$正交。其中$$⟨{\mathbf{b}}_1,{\mathbf{b}}_2⟩=⟨{\mathbf{b}}_1,{\mathbf{a}}_2⟩-⟨{\mathbf{b}}_1,{\mathbf{b}}_1⟩k=0$$及更高次项依次内积；
  （2）单位化，取$$\widehat{{\mathbf{b}}_{\mathbf{i}}}={\mathbf{b}}_{\mathbf{i}}/||{\mathbf{b}}_{\mathbf{i}}||$$这使得任意有限维的空间同构于标准正交空间，即$$⟨\mathbf{x},\mathbf{y}⟩={\mathbf{x}}^T\mathbf{y}$$  考虑标准正交基在标准酉空间的具体化，首先考虑$\mathbf{A}\in {\mathbf{C}}^{n\times n}$，若$$({\mathbf{A}}^{\ast }{)}^T\mathbf{A}=\mathbf{E}$$则称$\mathbf{A}$称为酉矩阵。若$\mathbf{A}\in {\mathbf{R}}^{n\times n}$，即$${\mathbf{A}}^T\mathbf{A}=\mathbf{E}$$则$\mathbf{A}$是正交矩阵。酉矩阵的列向量组是标准酉空间$\mathbf{C}$中的标准正交基。

---

六、范数
  考虑$\mathbf{V}$是$\mathbf{C}$上的线性空间，映射$$||\cdot ||:\mathbf{V}\to R$$称为向量范数。范数有如下性质
  （1）正性，$||\mathbf{x}||>0,\mathbf{x}\ne 0$；
  （2）正齐性，$||\mathbf{x}k||=|k|\cdot ||\mathbf{x}||$；
  （3）三角不等式，$||\mathbf{x}+\mathbf{y}||\le ||\mathbf{x}||+||\mathbf{y}||$。
  引入范数便可以衡量向量的距离，其满足距离的性质，并讨论极限。
  在向量空间中，研究典型的p范数，形如$$||\mathbf{x}|{|}_p=(\sum |{\mathbf{x}}_i|{)}^{1/p}$$  当$p=2$时，定义2范数，形如$$\begin{array}{rl}||\mathbf{x}|{|}_2& =(\sum |{\mathbf{x}}_i|{)}^{1/2}\\ & =⟨\mathbf{x},\mathbf{x}{⟩}^{1/2}\end{array}$$这是一个标准内积，决定了向量的长度。