矩阵论-定义、符号、以及相关理论

---

矩阵的秩 (rank)

符号：$r(A),rk(A),orrank(A)$
定义：在线性代数中，一个矩阵A的列秩是A的线性独立的纵列的极大数目。类似地，行秩是A的线性无关的横行的极大数目。即如果把矩阵看成一个个行向量或者列向量，秩就是这些行向量或者列向量的秩，也就是极大无关组中所含向量的个数。
MATLAB求秩函数： rank()

---

矩阵内积 (Inner Product of Matrices)

符号：$⟨.,.⟩$
目的：度量长度。
定义：列向量$\mathbf{a}$与行向量$\mathbf{b}$的内积是指：组成$\mathbf{a}$的第一个元素与组成$\mathbf{b}$的第一个元素的乘积，依次，m个这样的乘积的加和。例如，
$$<\mathbf{a},\mathbf{b}>=\left(\begin{array}{c}{a}_1\\ a_2\end{array}\right)\left(\begin{array}{ll}{b}_1& b_2\end{array}\right)=a_1{b}_1+a_2{b}_2$$
矩阵$\mathbf{A}$与矩阵$\mathbf{B}$的内积是指：组成$\mathbf{A}$的第一个向量与组成$\mathbf{B}$的第一个向量的内积，依次，m个这样的内积的加和。
$$<\mathbf{A},\mathbf{B}>=\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}\ast b_{ij}$$
例如
$$<\mathbf{A},\mathbf{B}>=\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right)\left(\begin{array}{ll}{b}_{11}& b_{12}\\ b_{21}& b_{22}\end{array}\right)=\left(\begin{array}{ll}{a}_{11}+b_{11}& a_{12}+b_{12}\\ a_{21}+b_{21}& a_{22}+b_{22}\end{array}\right)$$
另一种定义: 令 $V$ 是定义在场 $\mathbf{F}$ ( $\mathbf{F}=\mathbf{R}or\mathbf{C}$)上的向量空间。 如果对于任意 $x,y,z\in V$ 和 $c\in \mathbf{F}$，函数 $⟨\cdot ,\cdot ⟩:V\times V\to \mathbf{F}$满足下列条件，则它是一个内积(inner product)。
( 1 )     ⟨ x , x ⟩ ≥ 0 , N o n n e g a t i v i t y （ 非 负 ） ( 1 a )   ⟨ x , x ⟩ = 0 , i f   a n d   o n l y   i f   x = 0   ​ P o s i t i v i t y （ 永 正 ） ( 2 )     ⟨ x + y , z ⟩ = ⟨ x , z ⟩ + ⟨ y , z ⟩ , A d d i t i v i t y （ 加 法 ） ( 3 )     < c x , y > = c < x , y > , H o m o g e n e i t y （ 同 质 ） ( 4 )     < x , y > ≤ < y , x > ‾ , H e r m i t i a n   P r o p e r t y （ 共 轭 对 称 ） ​ \begin{aligned} &(1) \ \ \ ⟨x,x⟩ \ge 0 , & \mathrm{Nonnegativity}（非负） \\ &(1a) \ ⟨x,x⟩=0, &\mathrm{if \ and \ only \ if \ x=0 \ ​Positivity}（永正） \\ &(2)\ \ \ ⟨x+y,z⟩=⟨x,z⟩+⟨y,z⟩, &\mathrm{Additivity}（加法） \\ &(3)\ \ \ = c, &\mathrm{Homogeneity}（同质） \\ &(4)\ \ \ ≤\overline{}, &\mathrm{Hermitian \ Property}（共轭对称）\end{aligned}​ ​(1)   ⟨x,x⟩≥0,(1a) ⟨x,x⟩=0,(2)   ⟨x+y,z⟩=⟨x,z⟩+⟨y,z⟩,(3)   <cx,y>=c<x,y>,(4)   <x,y>≤<y,x>​,​Nonnegativity（非负）if and only if x=0 ​Positivity（永正）Additivity（加法）Homogeneity（同质）Hermitian Property（共轭对称）​​ 只满足(1), (2), (3), (4)而不满足(1a)的称为半内积（semi-inner product）。

Cauchy-Shwarz inequality

定理 (Cauchy-Shwarz inequality). $⟨\cdot ,\cdot ⟩$是定义在向量空间 $V$ 上的内积，则对于任意 $x,y\in V$
$${\left|⟨x,y⟩\right|}^2\le ⟨x,x⟩⟨y,y⟩$$
当且仅当(if and only if) x 和 y 线性相关(linearly dependent)，不等式取等号。

标量形式表示为 $({\sum }_{i=1}^n{x}_i{y}_i{)}^2\le ({\sum }_{i=1}^n{x}_i^2)({\sum }_{i=1}^n{y}_i^2)$

Proof. 令 $x,y\in V$，若 $x=y=0$，则不等式显然成立，所以假设其中一个是非零向量，不失一般性，假设$y\ne 0$，令 $v=⟨y,y⟩x-⟨x,y⟩y$，有：
$$\begin{array}{rl}0\le ⟨v,v⟩& =⟨⟨y,y⟩x-⟨x,y⟩y,⟨y,y⟩x-⟨x,y⟩y⟩\\ & ={⟨y,y⟩}^2⟨x,x⟩-⟨y,y⟩\overline{⟨x,y⟩}⟨x,y⟩-⟨x,y⟩⟨y,x⟩⟨y,y⟩+⟨y,y⟩\overline{⟨x,y⟩}⟨x,y⟩\\ & ={⟨y,y⟩}^2⟨x,x⟩-⟨y,y⟩{\left|⟨x,y⟩\right|}^2\\ & =⟨y,y⟩(⟨x,x⟩⟨y,y⟩-{\left|⟨x,y⟩\right|}^2)\end{array}$$
因为$y\ne 0$，即$⟨y,y⟩>0$，则推出 $⟨x,x⟩⟨y,y⟩-{\left|⟨x,y⟩\right|}^2\ge 0$ ，只有当 $v=0$ 的时候，等式成立，即 $v=⟨y,y⟩x-⟨x,y⟩y=0$，也就是说 $x$和 $y$线性依赖。

推论 1.5. 如果 $\left< \cdot ,\cdot \right> $是定义在实数或者复数域向量空间$V$ 上的内积，则函数 $\Vert \cdot \Vert :V\to [0,\infty )$， $\Vert x\Vert ={⟨x,x⟩}^{1/2}$是向量空间 $V$ 上的一个范式。这样的范式(norm)被称为从内积获得(derived from an inner product)。

---

哈达玛积 （Hadamard Product ）

符号: $\circ$
LeTex : \circ
定义：哈达玛积 ( Hadamard product ) 是矩阵的一类运算，若$\mathbf{A}=(a_{ij})和\mathbf{B}=(b_{ij})$是两个同阶矩阵，若$c_{ij}=a_{ij}\times b_{ij}$,则称矩阵$\mathbf{C}=(c_{ij})$为$\mathbf{A}$和$\mathbf{B}$的哈达玛积，记为$\mathbf{A}\circ \mathbf{B}$，具体为：
$$\left[\begin{array}{cccc}{a}_{11}{b}_{11}& a_{12}{b}_{12}& \cdots & a_{1n}{b}_{1n}\\ a_{21}{b}_{21}& a_{22}{b}_{22}& \cdots & a_{2n}{b}_{2n}\\ ⋮& ⋮& & ⋮\\ a_{m1}{b}_{m1}& a_{m2}{b}_{m2}& \cdots & a_{mn}{b}_{mn}\end{array}\right]$$

---

克罗内克积（Kronecker Product ）

符号：$\otimes$
LeTex: \otimes
定义：克罗内克积是两个任意大小的矩阵间的运算，它是张量积的特殊形式。给定$\mathbf{A}$和$\mathbf{B}$，则$\mathbf{A}$和$\mathbf{B}$的克罗内克积是一个在空间${\mathbb{R}}^{mp\times nq}$的分块矩阵：
$$\mathbf{A}\otimes \mathbf{B}=\left[\begin{array}{ccc}{a}_{11}\mathbf{B}& \cdots & a_{1n}\mathbf{B}\\ ⋮& \ddots & ⋮\\ a_{m1}\mathbf{B}& \cdots & a_{mn}\mathbf{B}\end{array}\right]$$

---

向量的范式

1. 向量范式的定义

定义：令 $V$ 是定义在场 $\mathbf{F}$ ( $\mathbf{F}=\mathbf{R}$ 或者 $\mathbf{C}$，即实数域或者是复数域)上的向量空间。 如果对于任意的$x,y\in V$ 和 $c\in \mathbf{F}$ 都满足下面几个条件，则称函数 $\Vert \cdot \Vert :V\to \mathbf{R}$ 是一个范式 (有时被称为向量范式vector norm)。
$$\begin{array}{rlr}& (1)\Vert x\Vert \ge 0,& \mathrm{N}\mathrm{o}\mathrm{n}\mathrm{n}\mathrm{e}\mathrm{g}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{v}\mathrm{i}\mathrm{t}\mathrm{y}（非负）\\ & (1a)\Vert x\Vert =0,& \mathrm{i}\mathrm{f}\mathrm{a}\mathrm{n}\mathrm{d}\mathrm{o}\mathrm{n}\mathrm{l}\mathrm{y}\mathrm{i}\mathrm{f}\mathrm{x}=0\mathrm{P}\mathrm{o}\mathrm{s}\mathrm{i}\mathrm{t}\mathrm{i}\mathrm{v}\mathrm{i}\mathrm{t}\mathrm{y}（永正）\\ & (2)\Vert cx\Vert =|c|\Vert x\Vert ,& \mathrm{H}\mathrm{o}\mathrm{m}\mathrm{o}\mathrm{g}\mathrm{e}\mathrm{n}\mathrm{e}\mathrm{i}\mathrm{t}\mathrm{y}（同质）\\ & (3)\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert ,& \mathrm{T}\mathrm{r}\mathrm{i}\mathrm{a}\mathrm{n}\mathrm{g}\mathrm{l}\mathrm{e}\mathrm{I}\mathrm{n}\mathrm{e}\mathrm{q}\mathrm{u}\mathrm{a}\mathrm{l}\mathrm{i}\mathrm{t}\mathrm{y}（三角不等）\end{array}$$ (2) Positivity和 (3) Homogeneity保证了对于任意非零向量$x$，可以正则化到单位向量 $u=\frac{x}{\Vert x\Vert }$​。

只满足(1),(2),(3)而不满足(1a)的范式称为半范式(seminorm)，(1a)保证了只有零向量的范式才是0，非零向量的范式都大于0，而一个非零向量的半范式可以是0。
引理 1.2. $\Vert \cdot \Vert$是定义在实数域或者复数域向量空间 $V$ 上的半范式, 则对于任意 $x,y\in V$，有 $||x|-|y||\le |x-y|$

Proof. 即证明 $\pm (\Vert x\Vert -\Vert y\Vert )\le \Vert x-y\Vert$
$$\begin{array}{rl}(1)& \Vert x\Vert =\Vert x-y+y\Vert \le \Vert x-y\Vert +\Vert y\Vert \\ & \Rightarrow \Vert x-y\Vert \ge \Vert x\Vert -\Vert y\Vert \\ (2)& \Vert y\Vert =\Vert y-x+x\Vert \le \Vert y-x\Vert +\Vert x\Vert =\Vert x-y\Vert +\Vert x\Vert \\ & \Rightarrow \Vert x-y\Vert \ge \Vert y\Vert -\Vert x\Vert \end{array}$$

2. $L_1$范式、L2范式、Infinity范式

1). $L_1$​-morm

${\mathbf{C}}^n$上的和范式(sum norm)，也叫$L_1$-范式($L_1$-norm)，定义如下:
$$\Vert x{\Vert }_1=|x_1|+\cdots +|x_n|$$ 其通常也被称为曼哈顿范式(Manhattan norm)。
例如：以二维向量 $\mathbf{v}=(v_1,v_2)$举例，范式的值恰好为1的图像如下，其中横轴代表 $v_1$，纵轴代表$v_2$:
$L_1$范式，即$\Vert v{\Vert }_1=|v_1|+|v_2|=1$

2). $L_2$​-morm

一个向量 $x=[x_1,...,x_n{]}^T\in {\mathbf{C}}^n$的欧几里得范式(Euclidean norm)，也叫$L_2$范式($L_2$-norm)，定义如下：
$$\Vert x{\Vert }_2=(|x_1{|}^2+\cdots +|x_n{|}^2{)}^{1/2}$$ 经常使用 $\Vert x-y{\Vert }_2$​来衡量两个点$x,y\in {\mathbf{C}}^n$的欧几里得距离(Euclidean distance)。

例如：$L_2$范式，即$\Vert v{\Vert }_2=\sqrt{|v_1{|}^2+|v_2{|}^2}=1$

3). $L_{\infty }$​-morm

$C^n$上的max norm( $l_{\infty }$ -norm)为：
$$\Vert x{\Vert }_{\infty }=\max \{|x_1|,\cdots ,|x_n|\}$$ 一般的，${\mathbf{C}}^n$ 上的 $l_p$-norm定义为：
$$\Vert x{\Vert }_p=(|x_1{|}^p+\cdots +|x_n{|}^p{)}^{1/p},p\ge 1$$
例如：Infinity范式，即 $\Vert v{\Vert }_{\infty }=\max \{|v_1|,|v_2|\}=1$

---

矩阵范式

Frobenius 范数：
$$\Vert \mathbf{A}{\Vert }_F=\sqrt{\mathrm{t}\mathrm{r}({\mathbf{A}}^{\mathrm{T}}\mathbf{A})}=(\sum _{i=1}^m\sum _{j=1}^m|a_{ij}{|}^2{)}^{1/2},$$该定义可以看作向量的 Euclidean 范数对按照矩阵各行排列的“长向量”的推广。

谱范数:$$\Vert \mathbf{A}{\Vert }_F=\sqrt{{\lambda }_{\max }},$$ ${\lambda }_{\max }$ 是矩阵$({\mathbf{A}}^{\mathrm{T}}\mathbf{A})$的最大特征值. 注意：如果$\mathbf{A}$是对称方阵，$\Vert \mathbf{A}\Vert =\max (|{\lambda }_i(\mathbf{A})|)$，其中${\lambda }_i(\mathbf{A})$为$\mathbf{A}$所有的特征值。

---

黑塞矩阵（Hessian Matrix）

定义

黑塞矩阵是一个多元函数的二阶偏导数构成的方阵**，描述了函数的局部曲率。

作用

黑塞矩阵常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题，边缘检测、消除边缘响应等方面的应用，抽取图像特征。大多数目标函数往往很复杂，为了使问题简化，常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到黑塞矩阵。

函数的黑塞矩阵

一元函数的泰勒展开式

若一元函数$f(x)$在$x^{(0)}$点的某个邻域内具有$(n+1)$阶导数，则在$x^{(0)}$点处的泰勒展开式为：
$$\begin{array}{rl}f(x)& =f(x^{(0)})+\frac{1}{2}{f}^{{}^{\prime }}(x^{(0)})\Delta x+f^{{}^{\prime \prime }}(x^{(0)})(\Delta x{)}^2+...，\\ & =\frac{f(x)}{0!}+\frac{f^{{}^{\prime }}(x)}{1!}(x-x^{(0)})+\frac{f^{{}^{\prime \prime }}(x)}{2!}(x-x^{(0)}{)}^2+...+\frac{f^{(n)}(x)}{n!}(x-x^{(0)}{)}^n+R_n(x)\end{array}$$ 其中$\Delta x=x-x^{(0)},$ $\Delta x^2={\left(x-x^{(0)}\right)}^2,R_n(x)=\frac{f^{(n+1)}(\theta )}{(n+1)!}(x-x^{(0)}{)}^{(n+1)}$,$\theta$为$x$与$x^{(0)}$之间的某个值.

二元函数的黑塞矩阵

二元函数$f(x_1,x_2)$在$X_0(x_1^{(0)},x_2^{(0)})$点处的泰勒展开式为：
$$\begin{array}{rl}f(X)& =f(X^{(0)})+\left[\frac{\partial f(X^{(0)})}{\partial x_1}\Delta x_1+\frac{\partial f(X^{(0)})}{\partial x_2}\Delta x_2\right]+\\ & \frac{1}{2}\left[\frac{{\partial }^2{f}^{{}^{\prime \prime }}(X^{(0)})}{{\partial }^2{x}_1}(\Delta x_1{)}^2+\frac{{\partial }^2{f}^{{}^{\prime \prime }}(X^{(0)})}{{\partial }^2{x}_2}(\Delta x_2{)}^2+\frac{{\partial }^2{f}^{{}^{\prime \prime }}(X^{(0)})}{\partial x_1\partial x_2}(\Delta x_1\Delta x_2)\right]+...，\end{array}$$ 其中$\Delta x_1=x1-x_1^{(0)},$ $\Delta x_2=x2-x_2^{(0)}.$

将上述展开式写为矩阵形式：
$$\begin{array}{rl}f(X)& =f(X^{(0)})+{\left(\frac{\partial f}{\partial x_1}\Delta x_1+\frac{\partial f}{\partial x_2}\Delta x_2\right)|}_{X^{(0)}}\left(\begin{array}{r}\Delta x_1\\ \Delta x_2\end{array}\right)+{\frac{1}{2}\left(\Delta x_1,\Delta x_2\right)\left(\begin{array}{cc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}\end{array}\right)|}_{X^{(0)}}\left(\begin{array}{c}\Delta x_1\\ \Delta x_2\end{array}\right)+...，\\ & =f(X^{(0)})+\nabla f(X^{(0)}{)}^T\Delta X+\frac{1}{2}\Delta X^{T}G(X^{(0)})\Delta X+...,\end{array}$$ 其中 $G(X^{(0)})={\left(\begin{array}{cc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}\end{array}\right)|}_{X^{(0)}},$ $\Delta X=\left(\begin{array}{r}\Delta x_1\\ \Delta x_2\end{array}\right)$，$G(X^{(0)})$ 是$f(x_1,x_2)$在$X^{(0)}$点处的黑塞矩阵（Hessian Matrix）,它是由函数$f(X)$在$X^{(0)}$点处的二阶偏导数所组成的方阵.

多元函数的黑塞矩阵

将二元函数的泰勒展开式推广到多元函数，则$f(x_1,x_2,...,x_n)$在$X^{(0)}$点处的泰勒展开式的矩阵形式为：
$$f(X)=f(X^{(0)})+\nabla f(X^{(0)}{)}^T\Delta X+\frac{1}{2}\Delta X^{T}G(X^{(0)})\Delta X+...,$$ 其中:
(1). $\nabla f(X^{(0)})={\left[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},...,\frac{\partial f}{\partial x_n},\right]|}_{X^{(0)}}^T$，它是$f(X)$在$X^{(0)}$点处的梯度.

(2). $G\left(X^{(0)}\right)={\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]}_{X^{(0)}}$, 它是$f(X)$在$X^{(0)}$点处的Hessian Matrix，是由目标函数f在点$X$处的二阶偏导数组成的$(n\times n)$阶对称矩阵.

利用黑塞矩阵判定多元函数的极值

设n多元实函数$f(x_1,x_2,...,x_n)$在点$M_0(a_1,a_2,...,a_n)$的邻域内有二阶连续偏导，若有：$${\frac{\partial f}{\partial x_j}|}_{(a_1,a_2,...,a_n)},j=1,2,...,n$$ 其中Hessian Matrix为 $$A=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$$
则有以下结论：
（1）当$A$正定矩阵时，$f$在$M_0(a_1,a_2,...,a_n)$处是极小值；
（2）当$A$负定矩阵时，$f$在$M_0(a_1,a_2,...,a_n)$处是极大值；
（3）当$A$不定矩阵时，$M_0(a_1,a_2,...,a_n)$不是极值点。
（4）当$A$为半正定矩阵或半负定矩阵时，$M_0(a_1,a_2,...,a_n)$是“可疑”极值点，尚需要利用其他方法来判定。

例子

求三元函数$f(x,y,z)=x^2+y^2+z^2+2x+4y-6z$的极值。

解：$\because \frac{\partial f}{\partial x}=2x+2=0,\frac{\partial f}{\partial x}=2y+4y=0,\frac{\partial f}{\partial x}=2z-6=0$

$\therefore$ 函数$f$的驻点是$(-1,-2,3)$

又$\because$ $A=\left[\begin{array}{ccc}\frac{{\partial }^{2}f}{\partial x^2}& \frac{{\partial }^{2}f}{\partial x\partial y}& \frac{{\partial }^{2}f}{\partial x_1\partial z}\\ \frac{{\partial }^{2}f}{\partial y\partial x}& \frac{{\partial }^{2}f}{\partial y^2}& \frac{{\partial }^{2}f}{\partial y\partial z}\\ \frac{{\partial }^{2}f}{\partial z\partial x}& \frac{{\partial }^{2}f}{\partial z\partial y}& \frac{{\partial }^{2}f}{\partial z^2}\end{array}\right]=\left[\begin{array}{ccc}2& 0& 0\\ 0& 2& 0\\ 0& 0& 2\end{array}\right]$

$\therefore$ $A$是正定矩阵，故$(-1,-2,3)$是极小值点，且极小值为$f(-1,-2,3)=-14.$

---