经典遥感影像建筑物提取模型Building Extraction Based on U-Net with an Attention Block and Multiple Losses（AMUNet）

Building Extraction Based on U-Net with an Attention Block and Multiple Losses（AMUNet）在2020年发表于remote sensing期刊。

论文网址：https://www.researchgate.net/publication/341018039_Building_Extraction_Based_on_U-Net_with_an_Attention_Block_and_Multiple_Losses
简介：本论文提出的AMUNet模型通过注意块提高了模型的灵敏度，抑制了无关特征区域的背景影响。同时为了提高模型的性能，在训练网络时提出了一种多loss的方法，最终在屋顶分割数据集上表现出了良好的性能。
提出问题：在现阶段，分割模型主要存在两个问题。首先是高维特征对背景信息和目标区域的反应不敏感。有些方法不能准确区分背景信息和目标区域，导致高维特征提取过程中空间信息的丢失。在上采样的过程中，由于空间信息不足，分割的结果在像素级变成了网格，出现了椒盐噪声。由于模型只在像素层面上进行分类，而忽略了像素之间的关系，所以出现了分割结果的空间不连续。第二个方面是边界模糊性。传统的分割方法只考虑目标图像和输出结果之间的相交率（IoU）。虽然模型的预测精度得到了提高，但输出结果的边界会变得模糊和不规则。
论文提出的解决办法：我们提出了一个带有注意力区块的基于Multiloss的UNet模型（AMUNet）。注意块主要是为了提高从模型中提取高维特征信息的灵敏度，并通过使用门控制特征图的每个像素来抑制背景信息的影响。通过考虑低维信息和补偿高维特征信息的不足，我们设计了注意块。因此，有必要使用大规模的卷积特征图来获得更大范围的感受野中的局部信息，这样就可以补偿高维特征所损失的空间信息。同时，我们还提出了一种多损失方法来解决分割区域边界不清晰的问题。在这项工作中，我们先用一个基于像素级的损失函数来约束分割信息量，然后用一个IoU损失函数来约束像素级的输出结果。
网络结构：在这项工作中，我们探索了网络的结构以克服对感兴趣区域的不敏感问题，采用了基于注意机制的门控制机制，并设计了端到端的特征图处理方法，网络结构图如下所示。设计的模型主要包括三个模块：下采样、注意力模块和上采样。

基于像素的Multiloss方法：我们提出了一种Multiloss方法来优化结果。下图显示了多重损失法的结构图。对于最后两个卷积，通过不同的损失优化语义分割结果，这意味着模型的输出受到两个损失函数的约束，最终的卷积层起到微调结果的作用。在损失函数组成方面，我们使用基本损失和补偿损失之和来形成最终损失。首先是基本损失。我们使用基于像素的损耗，它主要测量上采样中的每个像素值，分为两部分。第一部分是像素携带的信息总量，用二进制交叉熵表示；第二部分基于像素值间隙测量，它比较分割结果和人工生成的成对标签之间的差异。

实验结果：1）与UNet模型本身进行比较。结果对比图如下
2）模型泛化能力展示如下图所示：

讨论部分：1）与之前的语义分割模型进行对比实验

2）消融实验结果如下


结论：实验结果表明，该方法对Inria航空图像标注和屋顶分割数据集航空图像具有良好的泛化能力。此外，本文提出的方法也可用于其他语义分割应用。该方法考虑了特征选择和信道空间大小，通过学习高阶结构特征优化提取结果。首先，空间和注意力机制有助于增强有效信息，同时提高分割性能，缓解过度分割。其次，我们提出了一种基于像素的多损失方法来约束分割结果，以避免分割图像的后处理。通过在网络结构中设计注意块和多丢失模块，可以提高网络模型的性能，优化分割结果的边界。与现有模型相比，该方法在精度和IoU方面都表现良好。实验在Inria航空图像和屋顶分割建筑数据集航空图像上进行。结果表明，空间和通道注意机制可以选择性地增加有效信息，提高模型的预测能力；多损耗模块可以在较短的时间内进一步优化预测结果。此外，注意模块对高阶信息确实具有信息补偿作用，并且在多损失约束下的分割效果也得到了显著改善。
不足与展望：虽然所提出的方法表现良好，但作为一个完全监督的方法，它依赖于大量的人工标签样本。需要进一步研究以简化手动注释。今后可以探索的方法包括数据增强技术和用于对抗性学习的半监督语义分割。数据扩充技术可以增加培训。半监督语义分割的对抗式学习可以使用未标记的数据生成自学习的内容信号来细分网络。