Graph Matching
受严骏驰老师讲座内容启发，最近项目中一个关键问题才找到了一些解决途径，为了能够快速对Graph Matching的起源和发展现状有一定了解，从而形成知识体系来更好得解决问题，准备慢下来，把这些知识沉淀下来，写成一篇blog。
(讲座链接：https://www.bilibili.com/video/BV1Zf4y1S7Zr)
Graph Matching 属于一种组合优化问题，图这类数据结构形式在推荐系统、知识图谱等中最为常见，而在计算机视觉领域中，为解决少样本学习或目标检测类别长尾分布等，图结构也有较多工作采用。
1. Graph matching 和 Registration 的区别？
用一句话说：Registration需要在变换空间中寻找一种最有效的变换，这种变换能够使两幅图像之间在某种意义上达到匹配，而Graph matching是一种非参数的模型，只关心point之间和edge之间的对应关系。
2. 最原始的Graph matching有哪些步骤？
①提取特征(特征检测)：1. SIFT , 2. CNN
②初始化assignment matrix
a. 1st-order Feature
Node correspondence, 此时是 Feature Matching问题，是linear的。
b. 2nd-order Feature
此时才是 Graph Matching 问题，是quadratic(二次)的，因此其也被称作**QAP(Quadratic Assignment problem)**问题。
③建立Kp(Kq)存储相似度信息
a. Kp矩阵。
下图中的Cst即是一种相似度计算方式，两两进行计算来填充。
b. Kq矩阵
c. Affinity Matrix
进一步得，为了让存储相似度信息更加方便，采用Affinity Matrix代替Kp、Kq存储的相似度信息。
d. 上图Affinity Matrix的解释：
横纵轴每格代表的节点对相同，事先进行编码。
例如，以左上角为原点，向右向下分别代表着，1a,1b,1c…。
1.对角线(Diagonal)元素20个，代表原Kp矩阵信息，例如1b - 1b，表示1节点和b节点的相似度。
2.非对角线元素则代表原Kq矩阵信息，例如3b - 5c，则代表35这条边和bc边的相似性。
即每个点构成一个超点，形成下图中的 Association Graph。
④求解目标：找到一个assignment matrix，使得总和相似性最大化
or:
注意：这里的vec(X*)是对X*按 列 向量化，变成20X1的矩阵，转置后变成1X20。因此最后三个矩阵相乘是一个标量，对这个标量最大化即可。
3. 有哪些常用的改进手段？
①松弛
当上图中的K矩阵没有特殊性质时，解X*是一个NP-hard问题，因而对于Graph Matching问题，松弛手段的使用是常见的。
a. Spectral Approximation
去掉原始的 离散域限制条件：
化为模的形式，使得X*向量化后的二范数 为1。
即：
缺点：松弛后将不太紧凑
优点：求解速度快，利用类似谱方法求解，求特征值、特征向量等等。
相关文章：
b. Double-stochastic Approximation
一种较为紧凑的松弛策略，仍保留原始不等式约束，将X*原本属于的0、1二值矩阵，松弛到[0,1]这一实数域。
即：
缺点：速度相较于a.来说慢一些
优点：紧凑
相关文章：
②考虑更高阶信息
我们在上面的讲解中有提到1st-order Feature和2nd-order Feature，从1st到2nd包含了更多的信息，一个自然而然的想法，是否可以扩展到 3-Order 及以上，形成一个超图，来对更多的信息进行建模泛化。
但在节点数较多时，相关的组合数会指数爆炸，因而现有的方法还是以二阶为主，但通过图嵌入的方式，有可能将高阶信息向低阶嵌入。
③K矩阵分解
从上面的描述可以看到，K矩阵是十分稀疏的，其空间规模远大于节点的Kp矩阵和边的Kq矩阵之和，因而找到一种将K矩阵进行分解的方法，用时间来换空间，就很有必要。
最后推导出K矩阵可由上述几个小矩阵(G1、G2、Kp、Kq)做克罗内克(Kronecker)积。
即：
相关文章：
补充知识：
哈达玛积(Hadamard products)，完全的对应元素相乘，也叫 基本积。
克罗内克积(Kronecker products)，张量积的特殊形式，见百度。
④Path-following optimization
基于分解模型可以提出一个路径跟踪算法，一开始做一个图优化的松弛，把原目标函数变成一个凸函数。图优化的好处在于 对初始解不敏感，最开始能够快速逼近最优解，而后再增大约束，变成凹函数，最终能够到达 自然收敛到离散解的目的，避免了连续域解激活时的偏差。
⑤小结
传统非机器学习(深度学习)方法，主要有两条路径：
左列：不分解
右列：分解了，空间换时间
4. 从图的两两匹配到多图匹配？
在实际场景中，往往有多个图像需要同时匹配，此时两两图匹配的方式不仅速度较慢，而且还无法利用多个图的整体信息，影响鲁棒性。
相关工作：
相关文章解读，挖个坑，后面写
5. 目标函数建模的优化
多图匹配引入了一些正则，本质上是优化目标函数的建模。在多数Graph Matching问题中目标函数的全局最优解，并不是物理意义的最优解，因而一个自然而然的想法是，能否通过一些学习手段来优化目标函数。
我们回到最初的Graph Matching中，我们是假定了，点与点之间，边与边之间的匹配重要程度是完全相同的，但在现实问题中并不是这样，我们需要对某些点和某些边更注意，这和纯CV里的 注意力机制有些相似。
a. “Learning Graph Matching” TPAMI2009 and " Learning Graphs to Match" ICCV2013
6. 基于深度学习的图匹配
a.“Deep Learning of Graph Matching.” CVPR2018 最佳论文提名
论文中非常详细的反向传播推导，暂时挖个坑，后面再解读。
前向推理的思路是很简单的：
①给定两个图像
②用CNN去提取关键点的特征（即此时可以形成图结构并计算相似性）
③用谱方法SM计算特征值、特征向量（前文有讲解）
④做Matching算平移误差
⑤梯度回传更新CNN权重
本文局限
①SM是一个近似解，并不是针对Graph Matching的最优方案。
②SM复杂度高。
③offset Loss的损失函数有缺陷，类似光流损失函数，对 距离位移敏感。而对于匹配问题，不应该在意形变、物理平面差距，而应该最在意配没有配准。
即：
针对上述局限的改进:
b. Learning Combinatorial Embedding Networks for Deep Graph Matching(ICCV19)
待续