遥感图像检索：浅谈MLIRM

《Multilabel Remote Sensing Image Retrieval Using a Semisupervised Graph-Theoretic Method》（2018 IEEE）

————————————————————————————————
转载请注明出处：https://blog.csdn.net/weixin_44390691/article/details/105179929
————————————————————————————————

这篇文章在多标签遥感图像检索的框架中引入了一种半监督图论方法，该方法仅需要少量具有多标签特征的训练图像即可在较短的时间内精确地在目标集中检索出和query图像相似的遥感图像。

所提出的方法包括四个主要步骤：

第一步包括图像分割和从分割区域中提取特征。在分割这一步骤中，文章采用了参数核图分割算法（parameter kernel graph cut algorithm），因为这个算法可以实现图像的无监督分割。分割算法的正则化参数设置为0.75。然后使用坐标下降法迭代优化目标函数，直到函数收敛，得到最佳分割区域。分割之后，从每个区域提取特征，来为每个区域rik创建特征向量fik。

第二步利用了不同土地覆被类别的底层标签相关性，构建图像邻域图，并使用相关的标签传播算法将标签信息从训练图像传播到未标签图像，使用基于半监督图的算法将数据集中的每个图像与多标签相关联。展开来讲，可以分为三个子步骤：

1. 使用档案库中的图像作为节点并使用其特征相似关系作为边缘来构造邻域图。这一步的最终目标是要使这个函数最小：
   
   X代表遥感图像，W是两张图像之间的权值，相似度越高，权值越大。
   在这里，邻域图的选取参考了KNN算法，将相似度按照降序排列之后选取前K张图像

2. 在这个步骤中，作者采用了《Label propagation through linear neighborhoods》这篇文章中的方案（创建标签矢量值的矩阵，并通过使用W中的重构权重执行基本行操作来更新矩阵的值），利用标签与标签之间的相关性，一次性地传播所有的标签。这里涉及到一个函数：
   
   Y是一个矩阵，代表图像和标签之间的对应关系。带波浪号的为更新之后的矩阵，不带波浪号的是更新之前的矩阵。优化这个函数直至收敛，由此就可以得到最佳的W，并且将最佳权值赋给遥感图像。这里β值设置为0.99。

3. 通过标签传播获得的标签分数离散化为二进制值，以指示特定图像中是否存在类标签。

在第三步中，通过一种新颖的区域标记策略，将类别标记和图像区域相互关联起来。这里给了一个示例，表示图像标记的过程：

在第四步中，这些标签用于为每个图像创建一个RAG（region adjacency graph，区域邻接图），然后用光谱匹配算法（SM algorithm）来计算query图像和retrieval图像之间的相似度，并将检索结果按照降序排列。

在实验部分，文章采用了UC-MERCED大型遥感数据集，共2100张图像（21个类别），大小为256×256像素。标签数量为17个，一个类别可以包含多个标签（e.g. 类别airport可以对应标签airplane, pavement, grass, buildings, cars）。图像中的每一个区域用三种特征向量描述：形状特征，强度特征和纹理特征。这三种特征串联起来，得到一个大小为232D的特征向量。

文中将提出的MLIRM方法和另外四种最先进的方法进行比较：KNN, ARGMM（Attributed Relational Graph Modeling and Matching method，属性关系图建模和匹配）, ML-SVM（multi-label SVM method，多标签SVM方法）, MC-SVM（multi-class SVM method，多类别SVM方法）。前两种方法（KNN, ARGMM）是有监督的，后两种（ML-SVM, MC-SVM）是无监督的。在实验中，每种方法的结果都包括三种评估指标：准确性（Accuracy），精度（Precision）和召回率（Recall）。

首先，文章中用FP（错误检索率）和TP（正确检索率）的曲线图衡量了邻接数量K值和训练图像数量T值对实验结果的影响：

从图中可以看出，K值越大，正确率越小，这可能是因为选取的邻接数量越大，在邻居中获得相对而言不那么相关的图像的概率越大，从而降低了系统性能；而T值越大，正确率越高，这是因为训练数据越多，未标记图像的标记就会越准确，检索正确的概率就越大。另外，从图中可以看出T=15和T=20时结果相差不大，而T=15时训练数据更小，过程更轻松。因此实验最终选取K=5，T=15来进一步实验。

这个表格给出了MLIRM和其他四种方法相比的结果。可以看出这三个指标当中，每一项指标都是所提出的MLIRM表现最佳。

同时，文中还给出了这些方法每一个步骤所需的时间，以及总体所需的时间：

虽然提出的MLIRM所用的时间并不是最短的（最快的是KNN），但已经远远优于除KNN以外的其他三种方法，且MLIRM的精度超过了这四种方法。在上一个表格中，精度最接近MLIRM的方法是MC-SVM，相差基本都在1%以内，但是这里MC-SVM所需的时间几乎是MLIRM的两倍，因此整体而言MLIRM是最优的方法。

总结

1. 这篇文章提出的方法在准确率和时间复杂度方面都达到了较高的水准，在遥感图像检索中可以算是十分优秀的方法。但是从第二部分的方法论当中可以窥见，这个方法对于分割算法和区域特征提取方法很敏感，检索的准确率受其影响很大，在这方面的鲁棒性不够强。
2. 根据文章描述来看，这个方法似乎一次只能输入一张query图像（这一点文章中并没有明确指出，是我个人的一个猜测）。如果这个情况属实，那么在需要检索大量遥感数据的场景下，这个方法的显然就比较费时费力。在这个方法的基础上可以考虑扩展成并行检索，这样可以大大提高检索效率。