tensorflow遥感图像分类_一种新的基于补丁的多注意机制的CNN-RNN框架，用于遥感中的多标签图像分类...

一种新的基于补丁的多注意机制的CNN-RNN框架，用于遥感中的多标签图像分类

题目：

A CNN-RNN Framework with a Novel Patch-Based Multi-Attention Mechanism for Multi-Label Image Classification in Remote Sensing

作者：

Genger Sumbul，BegümDemir

来源：

Submitted to 2019 IEEE International Geoscience and Remote Sensing Symposium

Computer Vision and Pattern Recognition (cs.CV)

(Submitted on 28 Feb 2019)

链接：

https://arxiv.org/abs/1902.11274

摘要

本文提出了一种新的框架，在多标签遥感（RS）图像分类的背景下共同利用卷积神经网络（CNN）和递归神经网络（RNN）。拟议框架由四个主要模块组成。第一个模块旨在通过考虑RS图像带可以与不同的空间分辨率相关联来提取初步局部描述符。为此，我们引入了K-Branch CNN，其中每个分支旨在提取具有相同空间分辨率的图像带的描述符。第二个模块旨在模拟局部描述符之间的空间关系。为此，我们提出了一种双向RNN架构，其中长短期记忆节点通过考虑局部区域（图像块）的空间关系来丰富局部描述符。第三个模块旨在为本地描述符定义多个注意力分数。为此，我们引入了一种新的基于补丁的多注意机制，该机制考虑了多个土地覆盖类的联合发生，并提供了基于注意的局部描述符。最后一个模块旨在将这些描述符用于多标签RS图像分类。在我们的大型Sentinel-2基准存档（称为BigEarthNet）上获得的实验结果表明，与现有技术方法相比，所提出的框架的有效性。最后一个模块旨在将这些描述符用于多标签RS图像分类。在我们的大型Sentinel-2基准存档（称为BigEarthNet）上获得的实验结果表明，与现有技术方法相比，所提出的框架的有效性。最后一个模块旨在将这些描述符用于多标签RS图像分类。在我们的大型Sentinel-2基准存档（称为BigEarthNet）上获得的实验结果表明，与现有技术方法相比，所提出的框架的有效性。

要点

图1:新型基于patch的多注意机制的CNN-RNN框架框图。

图2:K-Branch CNN获取局部描述符。

图3:提出的双向RNN模块。正向,反向传递分别以红色和蓝色显示。

图4:我们的Sentinel-2图像及其多标签的例子
BigEarthNet案例。

英文原文

This paper presents a novel framework that jointly exploits Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN) in the context of multi-label remote sensing (RS) image classification. The proposed framework consists of four main modules. The first module aims to extract preliminary local descriptors by considering that RS image bands can be associated with different spatial resolutions. To this end, we introduce a K-Branch CNN in which each branch aims at extracting descriptors of image bands that have the same spatial resolution. The second module aims to model spatial relationship among local descriptors. To this end, we propose a Bidirectional RNN architecture in which Long Short-Term Memory nodes enrich local descriptors by considering spatial relationships of local areas (image patches). The third module aims to define multiple attention scores for local descriptors. To this end, we introduce a novel patch-based multi-attention mechanism that takes into account the joint occurrence of multiple land-cover classes and provides the attention-based local descriptors. The last module aims to employ these descriptors for multi-label RS image classification. Experimental results obtained on our large-scale Sentinel-2 benchmark archive (called as BigEarthNet) show the effectiveness of the proposed framework compared to a state of the art method.