矩阵分析与应用-1.4-内积与范数

前言

本文学习过程来源是《矩阵分析与应用-张贤达》一书. 可以通过 z-lib 下载.

一、向量的内积与范数

之前提到向量有常数向量、函数向量和随机向量. 不管怎么变, 其对应的内积和范数都要符合一定的公理. 实向量是复向量的特例, 这里以复向量为例, 用 $R$ 和 $C$ 分别代表实数域和复数域.

定义: 令 $V$ 是复向量空间. 函数 $⟨x,y⟩:V\times V\to C$ 称为向量 $x$ 与 $y$ 的内积, 若对所有 $x,y,z\in V$, 以下内积公理满足:

(1) $⟨x,y⟩\ge 0$

(1a) $⟨x,y⟩=0$ , 当且仅当 $x=0$

(2) $⟨x+y,z⟩=⟨x,z⟩+⟨y,z⟩$

(3) $⟨cx,y⟩=c^{\ast }⟨x,y⟩$ , 对所有复常数 $c$ 成立.

(4) $⟨x,y⟩={⟨y,x⟩}^{\ast }$

其中 $\ast$ 代表复数共轭.

定义: 令 $V$ 是复向量空间. 函数 $\Vert x\Vert :V\to R$ 称为向量 $x$ 的范数, 若对所有 $x,y\in V$, 以下范数公理满足:

(1) $\Vert x\Vert \ge 0$

(1a) $\Vert x\Vert =0$ , 当且仅当 $x=0$

(2) $\Vert cx\Vert =|c|\Vert x\Vert$ , 对所有复常数 $c$ 成立.

(3) $\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$ , 对所有复常数 $c$ 成立.

上述公理是平面欧几里得长度的熟知性质. 满足公理 (1), (2), (3), 但不一定满足公理 (1a) 的函数称为向量的半范数.

1. 常数向量的内积与范数

两个 $m\times 1$ 维常数向量 $x=[x_1,x_2,\dots ,x_m{]}^{\mathrm{T}}$ 和 $y=[y_1,y_2,\dots ,y_m{]}^{\mathrm{T}}$ 的内积 (或叫点积) 定义为:

$$⟨x,y⟩=x^{\mathrm{H}}y=\sum _{i=1}^m{x}_i^{\ast }{y}_i\text{\hspace{1em}(1)}$$

两个向量之间的夹角定义为

$$cos\theta \stackrel{def}{=}\frac{⟨x,y⟩}{\sqrt{⟨x,x⟩}\sqrt{⟨y,y⟩}}=\frac{x^{\mathrm{H}}y}{\Vert x\Vert \Vert y\Vert }\text{\hspace{1em}(2)}$$

显然, 当 $x^{\mathrm{H}}y=0$时, $\theta =\pi /2$. 此时, 称常数向量 $x$ 和 $y$ 正交. 因此, 两个常数向量正交的数学定义如下.

定义: 两个常数向量若它们的内积等于零, 即 $x^{\mathrm{H}}y=0$, 则称这两个向量正交, 并记作 $x\perp y$.

补充说明: 根据定义, 零向量与任何向量都正交.

常用向量范数:

(1) $l_1$ 范数

$${\Vert x\Vert }_1\stackrel{def}{=}\left|\sum _{i=1}^m{x}_i\right|=|x_1|+|x_2|+\cdots +|x_m|\text{\hspace{1em}(3)}$$

这也叫和范数或者 1 范数.用作两点间的曼哈顿距离公式如下:

$${\Vert x-y\Vert }_1\stackrel{def}{=}\left|\sum _{i=1}^m{x}_i-y_i\right|=|x_1-y_1|+|x_2-y_2|+\cdots +|x_m-y_m|\text{\hspace{1em}(4)}$$

(2) $l_2$ 范数

$${\Vert x\Vert }_2=(|x_1{|}^2+|x_2{|}^2+\cdots +|x_m{|}^2{)}^{1/2}\text{\hspace{1em}(5)}$$

这一范数常称 $\mathrm{E}\mathrm{u}\mathrm{c}\mathrm{l}\mathrm{i}\mathrm{d}\mathrm{e}\mathrm{a}\mathrm{n}$ (欧几里得) 范数, 有时也称 $\mathrm{F}\mathrm{r}\mathrm{o}\mathrm{b}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{u}\mathrm{s}$ 范数. 两个向量之间的该范数就是求欧几里得距离, 简而言之就是求两点间的空间距离.

(3) $l_{\infty }$ 范数

$${\Vert x\Vert }_{\infty }=\mathrm{m}\mathrm{a}\mathrm{x}(|x_1|,|x_2|,\dots ,|x_n|)\text{\hspace{1em}(6)}$$

也称无穷范数或极大范数.

(4) $l_p$ 范数

$${\Vert x\Vert }_p={\left(\sum _{i=1}^m|x_i{|}^p\right)}^{1/2},p\ge 1\text{\hspace{1em}(7)}$$

$l_p$ 范数也叫做 $\mathrm{H}\mathrm{o}\mathrm{l}\mathrm{d}\mathrm{e}\mathrm{r}$ 范数.

当 $p=2$ 时, $l_p$ 范数与 $\mathrm{E}\mathrm{u}\mathrm{c}\mathrm{l}\mathrm{i}\mathrm{d}\mathrm{e}\mathrm{a}\mathrm{n}$ 范数完全等价. 另外, 无穷范数是 $l_p$ 范数的极限形式, 即有

$${\Vert x\Vert }_{\infty }=\underset{p\to \infty }{\lim }{\left(\sum _{i=1}^m|x_i{|}^p\right)}^{1/p}\text{\hspace{1em}(8)}$$

利用极限的知识就可以证明:

不妨令 $|a_1|\le |a_i|$, 那么
$$\underset{p\to \infty }{\lim }\left(\frac{|a_i|}{|a_1|}\right)=\{\begin{array}{c}1|a_i|=|a_1|\\ 0|a_i|<|a_1|\end{array}$$

$$\underset{p\to \infty }{\lim }{\left(\sum _{i=1}^n|a_i{|}^p\right)}^{1/p}=\underset{p\to \infty }{\lim }{\left(|a_1{|}^p\sum _{i=1}^n{\left(\frac{|a_i|}{|a_1|}\right)}^p\right)}^{\frac{1}{p}}=|a_1|\underset{p\to \infty }{\lim }{m}^{\frac{1}{p}}=|a_1|0<m\le n$$

常数向量 $w$ 和 $v$ 的外积 (又叫叉积) 记作 $w{v}^{\mathrm{H}}$ 定义为

$$w{v}^{\mathrm{H}}=\left[\begin{array}{cccc}{w}_1{v}_1^{\ast }& w_1{v}_2^{\ast }& \dots & w_1{v}_m^{\ast }\\ w_2{v}_1^{\ast }& w_2{v}_2^{\ast }& \dots & w_2{v}_m^{\ast }\\ ⋮& ⋮& & ⋮\\ w_m{v}_1^{\ast }& w_m{v}_2^{\ast }& \dots & w_m{v}_m^{\ast }\end{array}\right]\text{\hspace{1em}(9)}$$

2. 函数向量的内积与范数

若 $x(t)$ 和 $y(t)$ 分别是变量 $t$ 的函数变量, 则它们的内积定义为

$$⟨x(t),y(t)⟩\stackrel{def}{=}{\int }_a^b{x}^{\mathrm{H}}(t)y(t)dt\text{\hspace{1em}(10)}$$

其中, 变量 $t$ 在 $[a,b]$ 取值, 且 $a<b$.

两个函数向量的夹角定义为
$$cos\theta \stackrel{def}{=}\frac{⟨x,y⟩}{\sqrt{⟨x,x⟩}\sqrt{⟨y,y⟩}}=\frac{{\int }_a^b{x}^{\mathrm{H}}(t)y(t)dt}{\Vert x\Vert \Vert y\Vert }\text{\hspace{1em}(11)}$$

式中, $\Vert x(t)\Vert$ 是函数向量 $x(t)$ 的范数, 定义为

$$\Vert x(t)\Vert \stackrel{def}{=}{\left({\int }_a^b{x}^{\mathrm{H}}(t)y(t)dt\right)}^{1/2}\text{\hspace{1em}(12)}$$

由此可得, 两函数向量内积为零.

$${\int }_{-\infty }^{\infty }{x}^{\mathrm{H}}(t)y(t)dt=0$$

当 $\theta =\pi /2$ 时, 这两个函数向量正交, 并记作 $x(t)\perp y(t)$.

3. 随机向量的内积与范数

若 $x(\xi )$ 和$y(\xi )$ 分别是样本变量 $\xi$ 的随机向量, 则它们的内积定义为

$$⟨x(\xi ),y(\xi )⟩\stackrel{def}{=}E\left\{x^{\mathrm{H}}(\xi )y(\xi )\right\}\text{\hspace{1em}(13)}$$

随机向量 $x(\xi )$ 的范数定义为
$${\Vert x(\xi )\Vert }^2\stackrel{def}{=}E\left\{x^{\mathrm{H}}(\xi )y(\xi )\right\}\text{\hspace{1em}(14)}$$

与常数向量和函数向量不同的是, 若$m\times 1$ 随机向量 $x(\xi )$ 的任意元素与 $n\times 1$ 随机向量 $y(\xi )$ 的任意元素正交. 则 $x(\xi )$ 和 $y(\xi )$ 称为正交. 这意味着两个向量的互相关矩阵为零矩阵 $O_{m\times n}$, 即

$$E\left\{x(\xi )y^{\mathrm{H}}(\xi )\right\}=O_{m\times n}\text{\hspace{1em}(15)}$$

并记作 $x(\xi )\perp y(\xi )$.

二、向量的相似度

考虑 $M$ 个类型的模式, 它们分别记作 ${\omega }_1,{\omega }_2,\dots ,{\omega }_M$. 假设通过已知类型属性的观测样本, 比如已抽取出 $M$ 个样本模式向量 $s_1,s_2,\dots ,s_M$. 给定一任意的位置模式向量 $x$, 判断属于哪一类模式, 这个问题称为模式分类.

这不就是机器学习中的分类问题吗? 模式分类的基本思想就是将未知模式向量 $x$ 同 $M$ 个样本模式向量进行对比, 看 $x$ 与哪一个样本模式向量最相似, 并据此做出模式分类的判断.

用$(x,s_1),(x,s_2),\dots ,(x,s_M)$ 分别作为未知模式向量$x$ 和已知样本模式向量 $s_1,s_2,\dots ,s_M$ 之间的相似关系的符号. 以 $x$ 与 $s_1,s_2$ 的相似关系为例, 若

$$(x,s_1)\le (x,s_2)\text{\hspace{1em}(16)}$$

则称未知模式向量 $x$ 与样本模式向量 $s_2$ 更相似. 建立这样的关系需要定义相似度和相异度.

最简单的就是两个向量之间的欧几里得距离. 未知模式向量 $x$ 与 第 $i$ 个样本模式向量 $s_i$ 之间的欧几里得距离记作 $D(s_i,x)$, 定义为
$$D(s_i,x)={⟨x-s_i⟩}_2=\sqrt{(x-s_i{)}^{\mathrm{T}}(x-s_i)}\text{\hspace{1em}(17)}$$

称 $s_i\in \left\{s_1,s_2,\dots ,s_M\right\}$ 是到 $x$ 的近邻 (即最近的邻居), 若

$$D(s_i,x)=\underset{k}{\min }D(s_k,x),k=1,2,\dots ,M\text{\hspace{1em}(18)}$$

这就是机器学习中大名鼎鼎的 KNN 算法的来源.

然后换做马氏距离来算, 令

$$m=\frac{1}{N}\sum _{k=1}^N{s}_i\text{\hspace{1em}(19)}$$

代表 $N$ 个样本模式向量的均值向量, 并使用

$$C=\frac{1}{N}\sum _{i=1}^N(s_i-m)(s_i-m{)}^{\mathrm{T}}\text{\hspace{1em}(20)}$$

代表 $N$ 个样本模式向量的协方差矩阵.

从未知模式向量 $x$ 到均值向量 $m$ 之间的 $\mathrm{M}\mathrm{a}\mathrm{h}\mathrm{a}\mathrm{l}\mathrm{a}\mathrm{n}\mathrm{o}\mathrm{b}\mathrm{i}\mathrm{s}$ 距离定义为

$$D(m,x)=(x-m{)}^{\mathrm{T}}C(x-m)\text{\hspace{1em}(21)}$$

类似地, 从第 $i$ 个样本模式向量 $s_i$ 到均值向量 $m$ 的 $\mathrm{M}\mathrm{a}\mathrm{h}\mathrm{a}\mathrm{l}\mathrm{a}\mathrm{n}\mathrm{o}\mathrm{b}\mathrm{i}\mathrm{s}$ 定义为

$$D(m,s_i)=(s_i-m{)}^{\mathrm{T}}C(s_i-m)\text{\hspace{1em}(22)}$$

根据近邻分类法, 将未知模式向量 $x$ 归为满足

$$D(s_i,x)=\underset{k}{\min }|D(s_k,x)-D(m,x)|,k=1,2,\dots ,N\text{\hspace{1em}(23)}$$

的近邻 $s_i$ 的模式类型.

当然两个向量之间的相似度还可以用夹角的余弦函数
$$S(s_i,x)=cos({\theta }_i)=\frac{x^{\mathrm{T}}{s}_i}{{\Vert x\Vert }_2{\Vert s_i\Vert }_2}\text{\hspace{1em}(24)}$$

当 $cos({\theta }_i)<cos({\theta }_j),\forall j\ne i$ 成立, 则认为未知模式向量 $x$ 与样本模式向量 $s_i$ 最相似.

式子 (24) 还可变形成为
$$S(s_i,x)=\frac{x^{\mathrm{T}}{s}_i}{x^{\mathrm{T}}x+s_i^{\mathrm{T}}{s}_i+x^{\mathrm{T}}{s}_i}\text{\hspace{1em}(25)}$$

称为 $\mathrm{T}\mathrm{a}\mathrm{n}\mathrm{i}\mathrm{m}\mathrm{o}\mathrm{t}\mathrm{o}$ 测度, 广泛应用于信息恢复、疾病分类、动植物分类.

待分类的信号称为目标信号, 分类通常是根据某种物理或几何概念进行的. 令 $X$ 为目标信号, $A_i$代表第$i$类目标的分类概念.
$$(X,A_i)\le (X,A_j),\forall i,j\text{\hspace{1em}(26)}$$

这类有效关系一般用于目标-概念距离 $D(X,A_i)$ 描述. 因此, 若目标-概念距离 $D(X,A_i)$ 最小, 则将 $X$ 归为第 $i$ 类目标 $C_i$.

三、正交向量在移动通信中的应用

1. 时分多址

在计算机网络中学过这样的概念, 就是单通道在把一段时间划给多个用户. 这个操作就更像操作系统中采用时间片轮转的调度形式.

2. 频分多址

不同用户占据不同频段. 日常生活中显而易见的就是收音机的不同频段可以同时收听到. 这就像计算机体系架构中多核CPU的运行, 它们是并行的概念.

3. 跳频-码分多址

先划分时间, 再划分频段. 就像是时分和频分的结合.

4. 直接序列-码分多址

同时通信, 共享频道. 因为每个用户的扩频码向量之间是互相正交, 互不影响.

四、向量范数用作 Lyapunov 函数

$\mathrm{L}\mathrm{y}\mathrm{a}\mathrm{p}\mathrm{u}\mathrm{n}\mathrm{o}\mathrm{v}$ 直接法是分析和构造线性和非线性控制系统最成功的工具之一.

定理 1: ($\mathrm{L}\mathrm{y}\mathrm{a}\mathrm{p}\mathrm{u}\mathrm{n}\mathrm{o}\mathrm{v}$ 稳定性定理) 若对连续系统 $dotx=f(x)$ 或 离散系统 $x_{k+1}=f(x_k)$ 存在一个函数 $V(x)$ 具体平衡点 $x=0$, 且 $V$ 在整个 $R^n$ 内满足条件:

(1) $V$ 是正定和径向无界函数.

(2) 对 $x\ne 0$

$$DV=\underset{\Delta t\to 0}{\lim }sup\frac{V(x(t+\Delta t))-V(x(t))}{\Delta t}<0(连续系统)$$

或

$$\Delta V=V(x_{k+1})-V(x_k)<0(离散系统)$$

则平衡点 $x=0$ 是全局渐近稳定的.

在向量 $x$ 的 $n$ 维空间内, 考虑用向量范数

$$V(x)=\Vert Wx\Vert$$

其中 $W=[{\omega }_1,{\omega }_2,\dots ,{\omega }_n]$ 是 $m\times n$ 矩阵, 且 $m\ge n$ 和 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(W)=n$

$l_p$ 范数构成了一类特殊的向量范数, 其中 $\mathrm{E}\mathrm{u}\mathrm{c}\mathrm{l}\mathrm{i}\mathrm{d}\mathrm{e}\mathrm{a}\mathrm{n}$ 范数
$$V(x)={\Vert Wx\Vert }_2={\left(\sum _i|{\omega }_i^{\mathrm{T}}x{|}^2\right)}^{1/2}\text{\hspace{1em}(27)}$$

和无穷范数
$$V(x)={\Vert Wx\Vert }_{\infty }=\underset{p\to \infty }{\lim }{\left(\sum _i|{\omega }_i^{\mathrm{T}}x{|}^p\right)}^{1/p}=\underset{i}{\max }\{{\omega }_i^{\mathrm{T}}x\}\text{\hspace{1em}(28)}$$

是 $\mathrm{L}\mathrm{y}\mathrm{a}\mathrm{p}\mathrm{u}\mathrm{n}\mathrm{o}\mathrm{v}$ 函数的两个重要例子.

定理 2: 函数 $V(x)=\Vert Wx\Vert$ (其中, $W$ 是 $m\times n$ 矩阵, 且 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}W=n$) 是系统 $\dot{x}=Ax$ 的 $\mathrm{L}\mathrm{y}\mathrm{a}\mathrm{p}\mathrm{u}\mathrm{n}\mathrm{o}\mathrm{v}$ 函数, 当且仅当矩阵 $W$ 是矩阵方程
$$WA-QW=O\text{\hspace{1em}(29)}$$

的解, 假定矩阵 $Q$ 满足条件
$$\mu (Q)<0\text{\hspace{1em}(30)}$$

其中
$$\mu (Q)=\underset{\Delta t\to 0+}{\lim }\frac{\Vert I+\Delta tQ-1\Vert }{\Delta t}\text{\hspace{1em}(31)}$$

$\mu (Q)$ 有时称为矩阵 $Q$ 的对数矩阵范数. 对数矩阵范数可以是复数, 这一点和矩阵范数非负性质相违背.

如果式子 (28) 的函数是 $\mathrm{L}\mathrm{y}\mathrm{a}\mathrm{p}\mathrm{u}\mathrm{n}\mathrm{o}\mathrm{v}$ 函数, 那么它的平方
$$V^2(x)={\Vert Wx\Vert }_2^2=\sum _{i=1}^n({\omega }_i^{\mathrm{T}}x{)}^2=x^{\mathrm{T}}{W}^{\mathrm{T}}Wx\text{\hspace{1em}(32)}$$

也是 $\mathrm{L}\mathrm{y}\mathrm{a}\mathrm{p}\mathrm{u}\mathrm{n}\mathrm{o}\mathrm{v}$ 函数. 式子 (32) 的函数为二次型 $x^{\mathrm{T}}Rx$, 其中
$$R=W^{\mathrm{T}}W\text{\hspace{1em}(33)}$$

这样的二次型函数是系统 $\dot{x}=Ax$ 的$\mathrm{L}\mathrm{y}\mathrm{a}\mathrm{p}\mathrm{u}\mathrm{n}\mathrm{o}\mathrm{v}$ 函数, 当且仅当
$$A^{\mathrm{T}}R+RA=-\tilde{Q}\text{\hspace{1em}(34)}$$

的解 $\tilde{Q}$ 是一个正定对称矩阵.

定理 3: 下面两个集合等价:
$$L_1=\{R\in R^{n\times n}|A^{\mathrm{T}}R+RA=-\tilde{Q},其中,\tilde{Q},R>0,\tilde{Q}对称\}\text{\hspace{1em}(35)}$$

$$L_2=\{R\in R^{n\times n}|R=W^{\mathrm{T}}W,WA-QW=O,其中,{\mu }_2(Q)<0,\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(W)=n\}\text{\hspace{1em}(36)}$$

感觉这部分和机器学习没有太大关系, 如果以后遇到了或者其他什么原因再来学习吧.

五、矩阵的范数和内积

作为一种算子, 实矩阵 $A\in R^{m\times n}$ 的范数记作 $\Vert A\Vert$, 它是矩阵的实值函数, 必须要满足一些条件:

1. 对于任何非零矩阵 $A\ne O$, 其范数大于零, 即 $\Vert A\Vert >0$, 并且 $\Vert O\Vert =0$

2. 对于任意复数 $c$ 有 $\Vert cA\Vert =|c|\Vert A\Vert$

3. 矩阵范数满足三角不等式 $\Vert A+B\Vert \le \Vert A\Vert +\Vert B\Vert$

4. 两个矩阵乘积的范数小于或等于两个矩阵范数的乘积, 即 $\Vert AB\Vert \le \Vert A\Vert \Vert B\Vert$

有几个典型的矩阵范数

(1) $\mathrm{F}\mathrm{r}\mathrm{o}\mathrm{b}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{u}\mathrm{s}$ 范数
$${\Vert A\Vert }_F\stackrel{def}{=}{\left(\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2\right)}^{1/2}\text{\hspace{1em}(37)}$$

这个范数也叫做矩阵的 $l_2$ 范数

(2) $l_p$ 范数
$${\Vert A\Vert }_p\stackrel{def}{=}\underset{x\ne 0}{\max }\frac{{\Vert Ax\Vert }_p}{{\Vert x\Vert }_p}\text{\hspace{1em}(38)}$$

式子中, ${\Vert x\Vert }_p$ 是向量 $x$ 的 $l_p$ 范数. 这个矩阵范数也称 $\mathrm{M}\mathrm{i}\mathrm{n}\mathrm{k}\mathrm{o}\mathrm{w}\mathrm{s}\mathrm{k}\mathrm{i}p$ 范数, 或者直接叫做 $p$ 范数.

(3) 行和范数
$${\Vert A\Vert }_{row}=\underset{1\le i\le m}{\max }\left\{\sum _{j=1}^n|a_{ij}|\right\}\text{\hspace{1em}(39)}$$

(4) 列和范数
$${\Vert A\Vert }_{col}=\underset{1\le j\le n}{\max }\left\{\sum _{i=1}^m|a_{ij}|\right\}\text{\hspace{1em}(40)}$$

(5) 谱范数
$${\Vert A\Vert }_{spec}={\sigma }_{max}=\sqrt{{\lambda }_{\mathrm{m}\mathrm{a}\mathrm{x}}}\text{\hspace{1em}(41)}$$

式子中, ${\sigma }_{max}$ 是矩阵 $A$ 的最大奇异值, 即 $A^{\mathrm{H}}A$ 的最大特征值 ${\lambda }_{\mathrm{m}\mathrm{a}\mathrm{x}}$ 的正平方根. 谱范数也称最大奇异值范数或者算子范数.

(6) $\mathrm{M}\mathrm{a}\mathrm{h}\mathrm{a}\mathrm{l}\mathrm{a}\mathrm{n}\mathrm{o}\mathrm{b}\mathrm{i}\mathrm{s}$ 范数
$${\Vert A\Vert }_{\Omega }=\sqrt{tr(A^{\mathrm{H}}\Omega A)}\text{\hspace{1em}(42)}$$

式子中, $\Omega$ 为正定矩阵 (所有特征值大于零的矩阵), $tr(A^{\mathrm{H}}\Omega A)$ 为矩阵 $A^{\mathrm{H}}\Omega A$ 的迹 (对角线之积).

若 $A,B$ 是 $m\times n$ 矩阵, 则矩阵的范数具有以下性质:
$$\Vert A+B\Vert +\Vert A-B\Vert =2({\Vert A\Vert }^2+{\Vert B\Vert }^2)\text{\hspace{1em}(43)}$$

$$\Vert A+B\Vert \Vert A-B\Vert \le {\Vert A\Vert }^2+{\Vert B\Vert }^2\text{\hspace{1em}(44)}$$

与矩阵范数有联系的量是矩阵的内积, 对于任意 $m\times n$ 复矩阵 $A$ 和 $B$, 矩阵的内积记作 $\left \langle A,B \right \rangle $, 定义为
$$⟨A,B⟩=A^{\mathrm{H}}B\text{\hspace{1em}(45)}$$

以下是矩阵的内积与范数之间的关系

(1) $\mathrm{C}\mathrm{a}\mathrm{u}\mathrm{c}\mathrm{h}\mathrm{y}-\mathrm{S}\mathrm{c}\mathrm{h}\mathrm{w}\mathrm{a}\mathrm{r}\mathrm{t}\mathrm{z}$ 不等式
$$|⟨A,B⟩{|}^2\le {\Vert A\Vert }^2{\Vert B\Vert }^2\text{\hspace{1em}(46)}$$

当且仅当 $A=cB$, 等号成立, 其中, $c$ 是某个复常数.

(2) $\mathrm{P}\mathrm{a}\mathrm{t}\mathrm{h}\mathrm{a}\mathrm{g}\mathrm{o}\mathrm{r}\mathrm{a}\mathrm{s}$ 定理
$${⟨A,B⟩}^2=0\Rightarrow {\Vert A+B\Vert }^2={\Vert A\Vert }^2+{\Vert B\Vert }^2\text{\hspace{1em}(47)}$$

(3) 极化恒等式
$$Re(⟨A,B⟩)=\frac{1}{4}({\Vert A+B\Vert }^2-{\Vert A-B\Vert }^2)\text{\hspace{1em}(48)}$$

$$Re(⟨A,B⟩)=\frac{1}{2}({\Vert A+B\Vert }^2-{\Vert A\Vert }^2-{\Vert B\Vert }^2)\text{\hspace{1em}(49)}$$

式子中, $Re(.)$ 表示取复数的实部.