Hadamard积 学习笔记（张贤达《矩阵分析与应用》）

本文是张贤达老师《矩阵分析与应用（第2版）》的部分阅读笔记。

定义

$m\times n$矩阵$\mathbf{A}=\left[a_{ij}\right]$与$m\times n$矩阵$\mathbf{B}=\left[b_{ij}\right]$的Hadamard积记作$\mathbf{A}\odot \mathbf{B}$，它仍然是一个$m\times n$矩阵，定义为：$$\mathbf{A}\odot \mathbf{B}=\left[a_{ij}{b}_{ij}\right]$$Hadamard积也称Schur积或者对应元素乘积。

与正定性有关的性质

正定性的传递性

如果$m\times m$维矩阵$\mathbf{A},\mathbf{B}$是正定的（半正定）的，则他们的Hadamard积也是正定（半正定的）

正定性的反推（Fejer定理）

我们可反推$m\times m$维矩阵$\mathbf{A}$是半正定矩阵，当且仅当$$\sum _{i=1}^m\sum _{j=1}^m{a}_{ij}{b}_{ij}⩾0$$对所有$m\times m$维半正定矩阵$\mathbf{B}$成立。

与矩阵迹有关的性质

定理1

令$\mathbf{A},\mathbf{B},\mathbf{C}$为$m\times n$矩阵，并且$1=[1,1,\cdots ,1{]}^{\mathrm{T}}$为$n\times 1$求和向量，$\mathbf{D}=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(d_1,d_2,\cdots ,d_m)$，其中，$d_i={\sum }_{j=1}^n{a}_{ij}$，则$$\mathrm{tr}\left({\mathbf{A}}^{\mathrm{T}}(\mathbf{B}\odot \mathbf{C})\right)=\mathrm{tr}\left(\left({\mathbf{A}}^{\mathrm{T}}\odot {\mathbf{B}}^{\mathbf{T}}\right)\mathbf{C}\right)$$$$1^{\mathbf{T}}{\mathbf{A}}^{\mathrm{T}}(\mathbf{B}\odot \mathbf{C})1=\mathrm{tr}\left({\mathbf{B}}^{\mathrm{T}}\mathbf{D}\mathbf{C}\right)$$

定理2

令$\mathbf{A},\mathbf{B}$为$n\times n$正方矩阵，并且$1=[1,1,\cdots ,1{]}^{\mathrm{T}}$为$n\times 1$求和向量。假定$\mathbf{M}$是一个$n\times n$对角矩阵$\mathbf{M}=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\mu }_1,{\mu }_2,\cdots ,{\mu }_n)$，而$\mathbf{m}=\mathbf{M}1$为$n\times 1$向量，则有：$$\begin{array}{rl}\mathrm{tr}\left(\mathbf{A}\mathbf{M}{\mathbf{B}}^{\mathrm{T}}\mathbf{M}\right)& ={\mathbf{m}}^{\mathrm{T}}(\mathbf{A}\odot \mathbf{B})\mathbf{m}\\ \mathrm{tr}\left(\mathbf{A}{\mathbf{B}}^{\mathrm{T}}\right)& =1^{\mathrm{T}}(\mathbf{A}\odot \mathbf{B})1\\ \mathbf{M}\mathbf{A}\odot {\mathbf{B}}^{\mathrm{T}}\mathbf{M}& =\mathbf{M}\left(\mathbf{A}\odot {\mathbf{B}}^{\mathrm{T}}\right)\mathbf{M}\end{array}$$

一般性质

1. 若$\mathbf{A},\mathbf{B}$均为$m\times n$矩阵，则$$\begin{array}{rl}\mathbf{A}\odot \mathbf{B}& =\mathbf{B}\odot \mathbf{A}\\ (\mathbf{A}\odot \mathbf{B}{)}^{\mathrm{T}}& ={\mathbf{A}}^{\mathrm{T}}\odot {\mathbf{B}}^{\mathrm{T}}\\ (\mathbf{A}\odot \mathbf{B}{)}^{\mathrm{H}}& ={\mathbf{A}}^{\mathrm{H}}\odot {\mathbf{B}}^{\mathrm{H}}\\ (\mathbf{A}\odot \mathbf{B}{)}^{\ast }& ={\mathbf{A}}^{\ast }\odot {\mathbf{B}}^{\ast }\end{array}$$
2. 任意矩阵与零矩阵的Hadamard积：$\mathbf{A}\odot {\mathbf{O}}_{m\times n}={\mathbf{O}}_{m\times n}\odot \mathbf{A}={\mathbf{O}}_{m\times n}$
3. 若c为常数，则$c(\mathbf{A}\odot \mathbf{B})=(c\mathbf{A})\odot \mathbf{B}=\mathbf{A}\odot (\mathbf{c}\mathbf{B})$
4. 正定（或半正定）矩阵$\mathbf{A},\mathbf{B}$的Hadamard积$\mathbf{A}\odot \mathbf{B}$也是正定（或半正定的）。
5. 矩阵${\mathbf{A}}_{m\times m}=\left[a_{ij}\right]$与单位矩阵${\mathbf{I}}_m$的Hadamard积为$m\times m$对角矩阵，即：$$\mathbf{A}\odot {\mathbf{I}}_m={\mathbf{I}}_m\odot \mathbf{A}=\mathrm{diag}(\mathbf{A})=\mathrm{diag}\left(a_{11},a_{22},\cdots ,a_{mm}\right)$$
6. 若$\mathbf{A},\mathbf{B},\mathbf{C},\mathbf{D}$均为$m\times n$矩阵，则$$\begin{array}{rl}\mathbf{A}\odot (\mathbf{B}\odot \mathbf{C})& =(\mathbf{A}\odot \mathbf{B})\odot \mathbf{C}=\mathbf{A}\odot \mathbf{B}\odot \mathbf{C}\\ (\mathbf{A}\pm \mathbf{B})\odot \mathbf{C}& =\mathbf{A}\odot \mathbf{C}\pm \mathbf{B}\odot \mathbf{C}\\ (\mathbf{A}+\mathbf{B})\odot (\mathbf{C}+\mathbf{D})& =\mathbf{A}\odot \mathbf{C}+\mathbf{A}\odot \mathbf{D}+\mathbf{B}\odot \mathbf{C}+\mathbf{B}\odot \mathbf{D}\end{array}$$
7. 若$\mathbf{A},\mathbf{B},\mathbf{D}$为$m\times m$矩阵，且$\mathbf{D}$为对角矩阵，则$$(\mathbf{D}\mathbf{A})\odot (\mathbf{B}\mathbf{D})=\mathbf{D}(\mathbf{A}\odot \mathbf{B})\mathbf{D}$$
8. 若$\mathbf{A},\mathbf{C}$为$m\times m$矩阵，且$\mathbf{B},\mathbf{D}$为$n\times n$矩阵。则$$(\mathbf{A}\oplus \mathbf{B})\odot (\mathbf{C}\oplus \mathbf{D})=(\mathbf{A}\odot \mathbf{C})\oplus (\mathbf{B}\odot \mathbf{D})$$
9. 若$\mathbf{A},\mathbf{B},\mathbf{C}$为$m\times n$矩阵，则$$\mathrm{tr}\left({\mathbf{A}}^{\mathrm{T}}(\mathbf{B}\odot \mathbf{C})\right)=\mathrm{tr}\left(\left({\mathbf{A}}^{\mathrm{T}}\odot {\mathbf{B}}^{\mathrm{T}}\right)\mathbf{C}\right)$$

Hadamard积服从的不等式

1. Oppenheim不等式：令$\mathbf{A}$与$\mathbf{B}$是$n\times n$ 半正定矩阵，则$$|\mathbf{A}\odot \mathbf{B}|⩾a_{11}\cdots a_{nn}|\mathbf{B}|$$特例：若$\mathbf{B}={\mathbf{I}}_n$，且$\mathbf{A}$为$n\times n$半正定矩阵，则有Hadamard不等式：$$|\mathbf{A}|\le a_{11}\cdots a_{nn}$$这是因为$|\mathbf{A}|=b_{11}\cdots b_{nn}|\mathbf{A}|⩽\left|{\mathbf{I}}_n\odot \mathbf{A}\right|$，而${\mathbf{I}}_n\odot \mathbf{A}=\mathrm{diag}\left(a_{11},\cdots ,a_{nn}\right)$，故而有$|\mathbf{A}|\le a_{11}\cdots a_{nn}$。
2. 令$\mathbf{A}$与$\mathbf{B}$是$n\times n$ 半正定矩阵，则$$|\mathbf{A}\odot \mathbf{B}|⩾|\mathbf{A}\mathbf{B}|$$
3. 特征值不等式：令$\mathbf{A}$与$\mathbf{B}$是$n\times n$ 半正定矩阵，${\lambda }_1,\cdots ,{\lambda }_n$是Hadamard积$\mathbf{A}\odot \mathbf{B}$的特征值，而${\hat{\lambda }}_1,\cdots ,{\hat{\lambda }}_n$是矩阵乘积$\mathbf{A}\mathbf{B}$的特征值，则$$\prod _{i=k}^n{\lambda }_i⩾\prod _{i=k}^n{\hat{\lambda }}_i,k=1,\cdots ,n$$可以理解为不等式2的特征值版本。
4. Hadamard积的秩不等式：令$\mathbf{A}$与$\mathbf{B}$是$n\times n$ 矩阵，则$$\mathrm{rank}(\mathbf{A}\odot \mathbf{B})⩽\mathrm{rank}(\mathbf{A})\mathrm{rank}(\mathbf{B})$$