图信号处理学习笔记（3）：基于GMRF的图估计

上一篇文章中提及了图信号插值的一种方法，这是基于图已给定的情况。在实际的推荐系统等应用中，不仅要针对未知节点进行预测，还要获得一个良好的，切合训练数据的graph。

Reference：
[1] E. Pavez and A. Ortega, “Generalized Laplacian precision matrix estimation for graph signal processing,” 2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Shanghai, 2016, pp. 6350-6354.
[2] H. E. Egilmez, E. Pavez and A. Ortega, “Graph Learning From Data Under Laplacian and Structural Constraints,” in IEEE Journal of Selected Topics in Signal Processing, vol. 11, no. 6, pp. 825-841, Sept. 2017.
[3] C. Zhang, D. Florencio, and P. A. Chou, “Graph signal processing—A probabilistic framework,” Microsoft Research, WA, USA, Tech. Rep. MSR-TR-2015-31, 2015.

一、优化问题概述

本质上，图学习可以归结为一个矩阵优化求解问题：给定节点集合$V$和对应的信号集合（训练数据集），估计存在的节点连接$E$及其权重$w$，或者换句话说，估计其图描述矩阵$Q$。在文[1]中，以任意的主对角线为正的对称矩阵（例如协方差矩阵$K$），来输出一个泛化拉普拉斯矩阵（Generalized Laplacian，简称为GL）$Q$。GL矩阵本身只需要满足对称且非对角线的元素为负数或0，对主对角线的元素没有要求。因此，在笔记（1）中提到的拉普拉斯矩阵，标准化拉普拉斯矩阵等，都是GL矩阵的特例。

所以，事实上GL矩阵可以由一个满足拉普拉斯矩阵特性的矩阵和一个对角矩阵相加。前者表达了节点与节点之间的关系，后者表达了单个节点自身的隐藏信息。

GL矩阵在这个问题中相比Laplacian和Normalized Laplacian有如下优势：1. 减少约束数量，便于优化。2. 使输出的矩阵更加泛化，能够包含更多节点自身的信息。3. 相比于普通矩阵，GL矩阵依然能满足节点域定理（Nodal Domain Theorem），使得该矩阵能够有实际意义上的频谱分解。节点域定理简单地说，就是能够保证在特征值变大的情况下，特征向量的过零点变多。（也就是实际意义上的高低频的区分）

先来讨论怎样的GL矩阵能够满足要求。以推荐系统为例，我们需要通过图的连接来表述各个用户间的相似程度。两个用户间的连接权值越大，他们的偏好越相似，则他们对特定事物的爱好程度也越相似。由此可见，最后生成的图，要做到在连接权值大的两个节点之间，对数据集达到平滑（Smoothness） 的效果。举例：用户A对物品1的偏好为5，用户B对物品1的偏好为4，用户C的偏好为3，显然A与B之间的相似度要更大，即连接权值要更大，此时可以发现，从偏好5到偏好4没有急剧的变化，这就是达到了平滑的效果。

因此，优化函数的建立，就是要以找到一个使数据集在上面的表现尽可能平滑的图为目标。在笔记（1）中提到，对于单个图信号，要度量其在图上的平滑程度，可以通过瑞利熵（Rayleigh Quotient） 来分析。假定图的Laplacian矩阵为$\mathbf{L}$，则图信号${\mathbf{x}}_i$在$\mathbf{L}$中的平滑程度为：
$${\sigma }_i={\mathbf{x}}_i^T\mathbf{L}{\mathbf{x}}_i$$

该式的值的范围在$[{\lambda }_{min},{\lambda }_{max}]$之间，即最小特征值与最大特征值之间。因此，当${\sigma }_i$越小，则图信号${\mathbf{x}}_i$在$\mathbf{L}$上越平滑。

那么很明显地，要寻找最优的$\mathbf{L}$在满足GL矩阵的约束的条件下，使得目标函数$f$最小化。$f$可定义如下：
$$f=\sum _{i=1}^N{\sigma }_i=\sum _{i=1}^N{\mathbf{x}}_i^T\mathbf{L}{\mathbf{x}}_i=tr({\mathbf{X}}^T\mathbf{L}\mathbf{X})=tr(\mathbf{L}\mathbf{X}{\mathbf{X}}^T)=Ntr(\mathbf{L}\mathbf{K})$$

由上式，$\mathbf{K}=\mathbf{X}{\mathbf{X}}^T/N$即为数据集$\mathbf{X}$在零均值条件下的协方差矩阵。

本文中，整个算法可以归结为一个基于高斯马尔科夫随机场（Gaussian Markov Random Field，GMRF） 的优化问题：一个随机向量$\mathbf{x}=(x_1,...,x_n{)}^T$被称为关于图$\mathcal{G}=(\mathcal{V}=\{1,...,n\},\mathcal{E})$的GMRF，假定均值向量为$\mu$，精度矩阵（协方差矩阵$\mathbf{K}$的逆矩阵，满足半正定特性）为$\mathbf{Q}$，则随机向量$\mathbf{x}$的概率密度函数为：
$$\mathbf{p}(\mathbf{x}|\mathbf{Q})=\frac{|\det (\mathbf{Q}){|}^{1/2}}{(2\pi {)}^{N/2}}\exp (-\frac{1}{2}({\mathbf{x}}^T-\mu )\mathbf{Q}(\mathbf{x}-\mu ))$$
并且${\mathbf{Q}}_{ij}$仅在节点$i$和节点$j$的边缘存在时（即$E_{ij}\in \mathcal{E}$）才不为零。

事实上，对于无向图$\mathcal{G}$，令其邻接矩阵为$\mathcal{A}\ge 0$，在高斯随机场的前提条件下，我们可以用泛化的精度矩阵$\mathbf{Q}$来表示图的GL矩阵$\mathcal{L}$。这是因为$\mathcal{Q}$可以与图的邻接矩阵$\mathcal{A}$形成一一映射的关系。或者说，一个半正定矩阵可以和一个非负对称矩阵形成一一映射的关系。 其映射方式如下：

定义一个基于$n\ast n$的矩阵$\mathbf{W}$和$n\ast n$的矩阵$\mathbf{Q}$的映射，使得：
$$\begin{gathered} {\mathbf{W}}_{ij}=-{\mathbf{Q}}_{ij}\mathrm{f}\mathrm{o}\mathrm{r}\mathrm{a}\mathrm{l}\mathrm{l}i̸=j \\ {\mathbf{W}}_{ii}=\sum _{i=1}^n{\mathbf{Q}}_{ij} \end{gathered}$$

另定义一个$n\ast n$的矩阵$\hat{\mathbf{Q}}$，使其满足：
$$\begin{gathered} {\hat{\mathbf{Q}}}_{ij}=-{\mathbf{W}}_{ij}\mathrm{f}\mathrm{o}\mathrm{r}\mathrm{a}\mathrm{l}\mathrm{l}i̸=j \\ {\hat{\mathbf{Q}}}_{ii}=\sum _{i=1}^n{\mathbf{W}}_{ij} \end{gathered}$$

易证$\mathbf{Q}=\hat{\mathbf{Q}}$。

假定$\mathbf{W}$是一个非负对称矩阵，下面证明$\mathbf{Q}$是一个半正定矩阵。由笔记（1）可知，定义大小为$|\mathcal{E}|\times |\mathcal{V}|$的关联矩阵$\mathbf{R}$，其第$e$行为${\mathbf{r}}_e^T$。假定$\mathcal{E}$中的第$e$条边为$\{i_e,j_e\}，i_e\le j_e$，则对于$i̸=j$，有：
$${\mathbf{R}}_{ei}=\{\begin{array}{r}\sqrt{{\mathbf{W}}_{i_e{j}_e}}\mathrm{i}\mathrm{f}i=i_e\\ -\sqrt{{\mathbf{W}}_{i_e{j}_e}}\mathrm{i}\mathrm{f}i=j_e\\ 0\mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}$$

对于$i=j$，有：
$${\mathbf{R}}_{ei}=\{\begin{array}{r}\sqrt{{\mathbf{W}}_{i_e{i}_e}}\mathrm{i}\mathrm{f}i=i_e\\ 0\mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}$$

显然$\hat{\mathbf{Q}}={\mathbf{R}}^T\mathbf{R}$，则对于任意$\mathbf{x}$，有${\mathbf{x}}^T\hat{\mathbf{Q}}\mathbf{x}={\mathbf{x}}^T{\hat{\mathbf{R}}}^T\mathbf{R}\mathbf{x}=||\mathbf{R}\mathbf{x}|{|}^2\ge 0$，$\hat{\mathbf{Q}}$为半正定矩阵得证。

本文中，为了简化问题，将GMRF问题简化为零均值的情况，此时$\mathbf{x}$满足：
$$\mathbf{p}(\mathbf{x}|\mathbf{Q})=\frac{|\det (\mathbf{Q}){|}^{1/2}}{(2\pi {)}^{N/2}}\exp (-\frac{1}{2}{\mathbf{x}}^T\mathbf{Q}\mathbf{x})$$

虽然$\mathbf{Q}$一定满足正定，但对于GL矩阵来说，还需要非对角线的元素不为正才能满足节点域定理。因此问题变成了一个极大似然估计问题：
$$\begin{gathered} {\mathbf{Q}}^{\ast }={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}_{\mathbf{Q}}\mathbf{p}(\mathbf{x}|\mathbf{Q}) \\ ={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}_{\mathbf{Q}}(\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{d}\mathrm{e}\mathrm{t}(\mathbf{Q})-\sum _i{\mathbf{x}}_i^T\mathbf{Q}{\mathbf{x}}_i) \\ ={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}_{\mathbf{Q}}(\mathrm{t}\mathrm{r}(\mathbf{K}\mathbf{Q})-\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{d}\mathrm{e}\mathrm{t}(\mathbf{Q})) \end{gathered}$$
包含约束：$\mathbf{Q}⪰0$，且当$i̸=j$时，${\mathbf{Q}}_{ij}\le 0$。

上述优化问题的第一项正巧对应了前文所提的平滑项，因此可以添加一个系数$\alpha \ge 1$，来控制平滑程度和高斯随机场的比重。

二、优化方法

接下来讨论如何对该函数进行优化。对于$\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{d}\mathrm{e}\mathrm{t}(\mathbf{Q})$而言，只有当$\mathbf{Q}$为半正定或正定时是凸函数。根据非对角线小于等于零的约束，可以建立Lagrangian函数如下：
$$L(\mathbf{Q},\Lambda )=-\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{d}\mathrm{e}\mathrm{t}(\mathbf{Q})+\mathrm{t}\mathrm{r}(\mathbf{K}\mathbf{Q})+\mathrm{t}\mathrm{r}(\mathbf{\Lambda }\mathbf{Q})$$

根据KKT条件，满足约束：
$$\begin{gathered} {\lambda }_{ij}>0,q_{ij}<0\mathrm{i}\mathrm{f}i̸=j \\ {\lambda }_{ij}=0\mathrm{i}\mathrm{f}i=j \\ {\lambda }_{ij}{q}_{ij}=0 \end{gathered}$$

同时，令$\frac{\partial L}{\partial \mathbf{Q}}$的偏导数为零，有：
$$-{\mathbf{Q}}^{-1}+\mathbf{K}+\mathbf{\Lambda }=0$$

对于$-\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{d}\mathrm{e}\mathrm{t}(\mathbf{Q})$的求导过程如下：
$$-\frac{\partial }{\partial q_{ij}}\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{d}\mathrm{e}\mathrm{t}(\mathbf{Q})=-\frac{1}{\mathrm{d}\mathrm{e}\mathrm{t}(\mathbf{Q})}\frac{\partial \mathrm{d}\mathrm{e}\mathrm{t}(\mathbf{Q})}{\partial q_{ij}}=-\frac{1}{\mathrm{d}\mathrm{e}\mathrm{t}(\mathbf{Q})}\mathrm{a}\mathrm{d}\mathrm{j}(\mathbf{Q}{)}_{ji}=-({\mathbf{Q}}^{-1}{)}_{ji}$$

其中$\mathrm{a}\mathrm{d}\mathrm{j}(\mathbf{Q})$为$\mathbf{Q}$的伴随矩阵，且满足$\mathrm{a}\mathrm{d}\mathrm{j}(\mathbf{Q})=\mathrm{d}\mathrm{e}\mathrm{t}(\mathbf{Q}){\mathbf{Q}}^{-1}$。

在文[1]中，引用了Block Coordinate Descent的方法。其优越性在于可以一次更新整列的参数，十分快速。

将$\mathbf{Q}$以$2\times 2$的矩阵块表示：
$$\mathbf{Q}=\left[\begin{array}{r}{\mathbf{Q}}_{11}{\mathbf{q}}_{12}\\ {\mathbf{q}}_{12}^T{q}_{22}\end{array}\right]$$

其中${\mathbf{Q}}_{11}$是$(n-1)\times (n-1)$的子矩阵，${\mathbf{q}}_{12}$是长度为$n-1$的向量，$q_{22}$是一个常量。如上，可以将${\mathbf{Q}}^{-1}$表示为：
$${\mathbf{Q}}^{-1}=\left(\begin{array}{r}({\mathbf{Q}}_{11}-\frac{{\mathbf{q}}_{12}{\mathbf{q}}_{12}^T}{q_{22}}{)}^{-1}-\frac{{\mathbf{Q}}_{11}^{-1}{\mathbf{q}}_{12}}{c}\\ -\frac{{\mathbf{q}}_{12}^T{\mathbf{Q}}_{11}^{-1}}{c}\frac{1}{c}\end{array}\right)$$

其中$c=q_{22}-{\mathbf{q}}_{12}^T{\mathbf{Q}}_{11}^{-1}{\mathbf{q}}_{12}$。根据$-{\mathbf{Q}}^{-1}+\mathbf{K}+\mathbf{\Lambda }=0$，最后一列的参数满足：
$$\begin{gathered} \frac{{\mathbf{Q}}_{11}^{-1}{\mathbf{q}}_{12}}{q_{22}-{\mathbf{q}}_{12}^T{\mathbf{Q}}_{11}^{-1}{\mathbf{q}}_{12}}+{\mathbf{k}}_{12}+{\lambda }_{12}=0(1) \\ {q}_{22}-{\mathbf{q}}_{12}^T{\mathbf{Q}}_{11}^{-1}{\mathbf{q}}_{12}=\frac{1}{k_{22}}(2) \end{gathered}$$

然后，将(1)和(2)合并，并根据KKT条件，其同时满足：
$$\begin{gathered} {\mathbf{Q}}_{11}^{-1}{\mathbf{q}}_{12}{k}_{22}+{\mathbf{k}}_{12}+{\lambda }_{12}=0(3) \\ {\lambda }_{12}\ge 0(4) \\ {\mathbf{q}}_{12}\le 0(5) \\ {\lambda }_{12}\odot {\mathbf{q}}_{12}=0(6) \end{gathered}$$

其中$\odot$表示各元素相乘。

基于更新对象为${\mathbf{q}}_{12}$和$q_{22}$，将${\mathbf{Q}}_{11}^{-1}$视为已知。根据上述的KKT条件，可以将优化问题改写为偏导数约束对于更新对象的积分（即式（3）的积分），并将拉格朗日乘子移除，得如下目标函数：
$$\underset{{\mathbf{q}}_{12}}{\min }{\mathbf{q}}_{12}^T{\mathbf{Q}}_{11}^{-1}{\mathbf{q}}_{12}+\frac{1}{k_{22}}{\mathbf{q}}_{12}^T{\mathbf{k}}_{12}(7)$$

由上式可见，优化问题变成了带非负约束的最小二乘问题。
但是，在（7）中，由于${\mathbf{Q}}_{11}^{-1}$在节点多且非稀疏的情况下，求值是非常麻烦的。所以要设法规避此问题：将式（3）两边同时乘以${\mathbf{Q}}_{11}^{-1}$，得新的约束：
$$k_{22}{\mathbf{q}}_{12}+{\mathbf{Q}}_{11}({\mathbf{k}}_{12}+{\lambda }_{12})=0(8)$$

此时，将(4)(5)(6)(8)作为新的一组KKT条件，针对$k_{12}+{\lambda }_{12}$进行优化，可得优化函数：
$$\underset{{\lambda }_{12}\ge 0}{\min }({\mathbf{k}}_{12}+{\lambda }_{12}){\mathbf{Q}}_{11}({\mathbf{k}}_{12}+{\lambda }_{12})(9)$$

上式可由Lagrange Multiplier求解，求得${\lambda }_{12}$后，可根据式（8）求得${\mathbf{q}}_{12}$的值。然后，将式（2）和式（8）化简，以及式（6）的约束，则可求得$q_{22}$的值如下：
$$q_{22}=\frac{1}{k_{22}}(1-{\mathbf{q}}_{12}^T{\mathbf{k}}_{12})$$

以上迭代过程不断重复直到所有的行和列收敛，即可得到最终的图。

三、结果

下图将算法应用到图像的纹理学习上。将原图进行8*8的分块用作训练集进行训练，可以看到总体上能够模拟出纹理的朝向。