高分遥感语义分割论文阅读之一

Incorporating DeepLabv3+ and object-based image analysis for semantic segmentation of very high resolution remote sensing images

summary

虽然端到端语义分割深度模型在复杂的模式描述方面比目前流行的OCNN更高效、更简单，但由于分层抽象的特征表示方式，无法准确预测对象边界。因此，要提高最先进的语义分割模型性能，*基于对象的互补策略是必要的。基于对象的策略克服了VHR图像的局部光谱变化，并通过图像分割提供准确的边界信息。*此外，图像对象可以访问地理实体(如建筑物、树木等)，*因此可以利用具有更多语义意义的基于对象的图像特征更好地识别复杂的城市场景(如用于识别道路的狭窄线性几何特征)。*为了实现基于对象的互补策略，本研究利用D-S理论对概率进行融合，并应用对象约束的高阶CRF对标记结果进行细化，提高了同一对象中像素的标记一致性。所提议的策略的有效性已在前面几节中得到证明。

Research Objective

采用深度学习方法与其它方法结合，解决超高分辨率遥感图像语义分割问题

Problem Statement

近年来，语义分割模型实现了端到端逐像素的预测，使得遥感图像解译变得越来越容易。然而，在应用这些模型对VHR图像进行语义标注时，仍存在以下问题:(1)不能准确地捕捉地物轮廓;(2)不能建立地物空间上下文关系模型;(3)不能克服VHR图像的局部光谱变化。(4)VHR图像语义分割的另一个挑战是，仅通过深度学习方法无法分割具有相似光谱外观的目标。

Method(s)

本研究有意结合语义分割深度模型和OBIA对VHR图像进行语义标注，并利用DSM提高标注性能。为此，我们首先分别生成两种模式的概率输出:在光谱图像上训练DeepLabv3+网络，以及使用从图像和DSM派生的手工特征基于图像对象的RF模型。然后利用D-S理论对这两个分类器的输出进行组合。最后，将融合后的概率输出作为一元势输入到对象约束的高阶CRF模型中，通过最小化所构建的CRF的能量函数来生成优化的语义标注结果。
总体流程为4步：

1. DeepLabv3+ training and prediction
2. RF classification with hand-crafted features
3. D-S fusion of probabilities
4. Object-constrained higher-order CRF optimization

总体框架

DeepLabV3+框图

Evaluation

通过基于像素的总体准确率(OA，像素正确标记的百分比)和Kappa系数(Kappa) 讨论了基于视觉解释和语义标记地图定性评估的实验结果。

Conclusion

1. 将OBIA策略引入到最先进的语义分割模型DeepLabv3+中，可以提高VHR图像的语义标注精度。DeepLabv3+很难处理对象的光谱异质性，从而导致小对象的错误分类，集成方案有助于解决这一问题。
2. DeepLabv3+很难保留准确的地物边界信息，与OBIA相结合可以缓解这一问题。
3. D-S理论可以有效地融合不同分类器的概率输出，从而获得更可靠的分类结果。
4. 通过引入对像素的对象约束，高阶CRF在细化图像语义标记结果方面优于成对CRF。

Notes