针对遥感目标检测（小目标、旋转框、密集目标）的论文整理

文献整理

A Multi-Feature Fusion-Based Change Detection Method for Remote Sensing Images

内容摘要

• 加权模糊聚类的特征融合

  • 马尔可夫随机场特征
  • Gabor滤波器是一个用于边缘检测的线性滤波器，多次卷积后可以得到Gabor纹理特征
  • 以上两种特征做差分运算
  • 特征融合权重根据Relief Algorithm和距离$P_{d,s}$计算，

• 海陆分割

  • Cai, L., Shi, W., He, P., Miao, Z., Hao, M., & Zhang, H. (2015). Fusion of multiple features to produce a segmentation algorithm for remote sensing images. Remote Sensing Letters, 6(5), 390–398

• 简单的阈值技术

• 结论

  • 提高检测精度
  • 但是有可能导致单一特征淹没问题

---

A Survey on Vision Transformer

内容摘要

• 自然语言处理领域的Transformer结构应用到图像处理领域

• 本文主要内容是Transformer在视觉应用的综述（截止到2021.8）下图是主要的发展过程
  

• 

  以上为Transformer传统结构，广泛用于NLP中

  • Encoder和Decoder中包含了一个注意力机制层和一个前向传播网络层
  • 自注意力机制推导：
    • 输入：i位置的原值$x_i$，输出i位置的注意力值$y_i$(针对全局来说的重要性)
    • 满足这个公式，$y_i=\frac{1}{C(X_i)}{\sum }_{\forall j}{e}^{\theta (x_i)\varphi (x_j)}g(x_j)$,如果$\theta (\cdot )$$\varphi (\cdot )$两个函数代表的是线性的，并且$C(X_i)=\frac{1}{{\sum }_{\forall j}g(x_j)}$函数还可以改写成$y_i=softmax(X{W}_{\theta }{W}_{\varphi }^{T}X)W_{g}X$
    • 多头的注意力机制：通过Dot-product Self-Attention的改进，通过计算每一组内的向量分数，然后通过归一化、概率转化最终得到每个点对应的注意力程度，多头经过分组，让注意力不只是集中在一个点上，可以从多组里面分别找到需要注意的点。
  • 一些其他的理论
    • 在编码器和解码器中，存在残差连接以及归一化操作类似于$LayerNorm(X+Attention(X))$
    • 前馈网络，通过一个线性层、一个非线性激活、一个线性层之后，得到一个输出。

• ViT方法，纯粹通过Transformer得到输出，将图像分为一定宽度的序列，让序列进入编码器，然后进行解码得到最终的结果。，如下图所示：
  

• 卷积+Transformer方法，可以诸如CPVT的方法

---

Aerial Target Detection Based on the Improved YOLOv3 Algorithm

内容摘要

• 不画旋转框,仍然采用原本的YOLOv3架构
• 通过对DOTA数据集进行K-means聚类，得到比较多的12种anchor尺寸，将其作为YOLOv3的scale设置
• 通过对YOLOv3网络结构的修改，增加了两次的上采样，让比较小的目标对应的小feature map也可以和大目标的feature map融合，最后能够实现大目标和小目标的同时检测。

---

Aircraft Rotated Boxes Detection Method Based on YOLOv5

内容摘要

• Involution理解
  • 通过involution的加入，让网络获得空间特异性和通道共享，在空间的感受野上更大，能够获得更远空间上的联系
  • involution本身只是一个对卷积的优化过程
• 通过循环标注（CSL）实现旋转框
• 通过involution优化特征提取和精确度
• 通过coordinate attention机制，解决复杂背景和小目标分离的问题
• 具体：在YOLOv5的网络里加入CSP网络，并且用involution替换掉CSP网络的卷积，减少参数
• FPN实现小尺度的识别

---

Airport Detection Based on Improved Faster RCNN in Large Scale Remote Sensing Images

内容摘要

• 采用Faster RCNN作为baseline
• 训练过程改进：多尺度训练
• 损失函数的修改
• 多类别的不均衡，采用去除冗余的方法
• NMS最大抑制参数改进，RPN在ROI pooling阶段

---

（ViT）AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE

Attention-Based Convolutional Networks for Ship Detection in High-Resolution Remote Sensing Images

内容摘要

• 在原本的SSD的基础上，增加Attention的分支
• SSD=卷积层+目标检测（卷积+平均池化）+NMS筛选层
• 目标检测里面的五个卷积层特征做融合处理
• 注意力机制采用全卷积网络

---

Bilinear CNN Models for Fine-grained Visual Recognition

内容摘要

• 两路CNN特征提取和语义信息，细粒度的特征提取

• 两路特征通过外积来实现池化操作，池化操作可以获取到需要的位置信息
  

• 端到端的训练过程（输入图片，输出类别信息），利用链式法则反向传播
  

---

Bottleneck Transformers for Visual Recognition

内容摘要

• 设计了一个Transformer结构的Bottleneck模块
• 最后三层上，ResNet结构中的512，3*3的层用多头的注意力机制层来替换
• 具体为通过前面的卷积学习低级特征，自注意力机制汇总feature map上的信息
• 通过对feature map下采样让注意力能注意到更小的目标
  

---

Bounding Box Regression with Uncertainty for Accurate Object Detection

内容摘要

• sorfter-NMS
• 本文主要对极大抑制参数的改进 使得最后的检测框能够更加趋近于ground truth 从而更加准确地预测
• 将predict框看成是高斯分布，将ground-truth看作是狄拉克函数（冲激）
• 设计KL-loss，对于模糊地标注可以被捕捉，并且获得更小地loss值
• Loss中地可学习参数可以用于后处理阶段，（NMS中使用）
• 概率分布是可解释的，可以通过Vote选出候选框中更趋近ground-truth的框

---

CAD-Net A Context-Aware Detection Network for Objects in Remote Sensing Imagery

内容摘要

• 设计语义获取网络（CAD-Net），获取全局语义和局部语义
• 设计空间尺度的注意力机制，需要配合特征金字塔使用，加在网络的neck位置
• 设计了一个全新的解决方案，可以桥接地面传感器和遥感获得数据上的检测器区别（类似于迁移学习）

---

Deep Residual Learning for Image Recognition

内容摘要

• 本文是残差网络最初的论文，主要介绍了深度残差网络的设计以及相应的作用和实践
• 现在ResNet已经被验证是可以很好捕捉特征的一个网络结构，可以很好地完成特征的提取（作为backbone主干网络使用）

---

End-to-End Object Detection with Transformers

内容摘要

• 本文是DETR的提出论文
• 并不是完全的Transformer结构，通过CNN提取一系列的图像特征，并且通过Transformer的编码器和解码器来实现特征的解译，从而获取到检测结果
  

---

Factorized Bilinear Models for Image Recognition

内容摘要

• 分解双线性的操作来理解成对特征的影响，并且这样提取到的可以很好融合到卷积、全连接层
• 通过随机特征丢弃来实现过拟合的防止

---

Fast R-CNN

内容摘要

• 设计了RoI pooling层，和SPP网络相同，但是不再有多尺度的pooling，作者分析后认为不需要多尺度也可以获取到比较好的结果
• RoI Pooling的输入适度要求一样
• 设计了Multi-task的Loss函数
• 用softmax代替了SVM的分类器改进

---

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

内容摘要

• 本文是Faster R-CNN的提出，其中最大的贡献是提出了RPN网络（感兴趣区域提议网络）
• 为了提升速度，让RPN网络和Faster RCNN的主干网络共享所有的特征，RPN先提议所有可能的RoI，再通过RoI Pooling层进行RoI的最终确定
• 网络结构上可以参考下方图，可以看出特征共享的特征：
  

---

Feature Pyramid Networks for Object Detection

内容摘要

• 本文提出了特征金字塔的网络
• 提出了Bottom-up路径，上采样不同的输出适度，来丰富金字塔特征
• 提出了Top-Down路径和横向连接：上采样获得到更高分辨率的特征，下采样获得到更低分辨率的特征，通过横向连接来进行增强操作

---

FPN特征提取的光学遥感图像船舶检测

内容摘要

• FPN在遥感图像上的使用

---

FRDet：一种基于候选框特征修正的多方向遥感目标快速检测方法

内容摘要

• RPN以及Focal Loss（前景和背景分割）在遥感上的使用

---

General Multi-label Image Classification with Transformers

提出了C-Tran 作为分类的Transformer结构

---

Generalized Intersection over Union A Metric and A Loss for Bounding Box

内容摘要

• 提出了G-IOU Loss
• 进一步提升了RoI和Ground truth之间的精确匹配度
• 任意两个形状的RoI都可以通过GIOU来构造Loss

---

Gliding Vertex on the Horizontal Bounding Box for Multi-Oriented Object Detection

内容摘要

• 滑动顶点的方法来获得到旋转框，
• 增加了glilding offset的参数，所以需要修改对应的全连接层
• 可以通过下方图片来理解本文的主要贡献
  

---

Gradient-Based Learning Applied to Document Recognition

梯度下降的提出

---

Hierarchical Bilinear Pooling for Fine-Grained Visual Recognition

内容摘要

• 提出了原始的双线性只采用了最后一层特征，忽略了内部层级之间的特征关系，并且传播过程中会有信息损失，所以需要充分利用特征
  

• 层次双线性：通过跨层次来获取不同层之间的特征关系

• 为了提升解译特征的能力，通过多层、跨层的特征双线性融合来获取更多的特征

---

Improved Bilinear CNN Model for Remote Sensing Scene Classification

内容摘要

• 将BCNN用于遥感图像的分类
• 主要贡献（改进）：减少了参数两和池化的特征维度
• 减少了计算复杂度，提升分类速度，省去了用于detection的heavy branch

---

Improving Object DetectionWith One Line of Code

内容摘要

• Soft-NMS的提出
• 相比原先的NMS，主要贡献是设计了衰减参数来变换常量NMS，优化了原先NMS在$N_t$的值选取上会存在的精度下降的问题，通过自动衰减来提升精度

---

Learning RoI Transformer for Detecting Oriented Objects in Aerial Images

内容摘要

• 模块化RRoI，能够让水平的RoI可以转换为旋转的RoI
• RoI-Transformer的提出，用于摇杆目标的检测的转换器
• 作为一个轻量级的Transformer可以被嵌入到其他的网络
• 主要提取的是空间不变特征，提升效率、降低复杂度

---

Object detection in remote sensing images based on deep transfer learning

内容摘要

• 迁移学习在遥感上的应用
• 用自然图像的模型来解决遥感图像数据不够的问题
• 提出领域自适应的Faster R-CNN图像水平和实力水平的结构

---

OBJECT DETECTION FOR REMOTE SENSING IMAGES BASED ON GUIDED ANCHORING AND FEATURE FUSION

内容摘要

• 遥感图像上的金字塔特征融合
• 指导锚点模块产生方框
• 金字塔结构取得特征，RoI对其后融合，RoI特征通过相加池化进行融合
• 合成的特征被用于全连接，得到不同类别的和精确位置

---

Position Detection and Direction Prediction for Arbitrary-Oriented Ships via Multiscale Rotation Region Convolutional Neural Network

内容摘要

• CNN实现遥感图像的位置和方向双重检测
• 擦用了Rotate NMS的极大抑制参数
• 稠密的特征金字塔结构
• 多尺度特征融合并且运用了RRoI的对齐工作

---

$R^2$-CNN: Fast Tiny Object Detection in Large-Scale Remote Sensing Images

内容摘要

• 切片、先分类后检测的两阶段网络：分类更轻量，不用让整张大幅度的图片经过检测器
• 设计了一个Tiny-Net的残差网络
• 使用特征金字塔作为全局注意力机制模块，特征金字塔特征被融合，可以获取到更多的予以信息
• 尺度不变的锚点策略
• 有效的放大缩小结构，位置敏感的感兴趣区域

---

Real-Time Object Detection in Remote Sensing Images Using Deep Learning

内容摘要

• 分块处理，提升效率
• 相似类别标注，可以学习到更多的相似类的区别
• 预处理操作，提升精度

---

ReDet: A Rotation-equivariant Detector for Aerial Object Detection

内容摘要

• 角度等变特征和角度不变特征的提取
• 角度等变特征进入主干网络
• 提出了RiRoI，用于提取角度不变特征（空间维度对齐特征、角度不变特征）
  网络结构如下：
  

---

传统的两个SAR检测

Remote sensing detection enhancement

内容摘要

遥感检测增强，通过速度匹配滤波器、检测前跟踪算法、高斯混合模型的背景估计以及噪声估计模型来检测。

---

Ship Classification in SAR Images Improved by AIS Knowledge Transfer

内容摘要

利用A-SVM算法以及就AIS知识迁移

SCRDet: Towards More Robust Detection for Small, Cluttered and Rotated Objects

内容摘要

• 针对密集、小的目标的优化
• SF-Net（Sampling Fusion Network）特征融合和锚点采样
• MDA-Net（Multi-Dimensional Attention Network）多尺度的注意力机制，通道注意力和像素级别的注意力机制
• L1正则化中加入了IOU常量，更具备鲁棒性
  网络结构：
  

---

Using the Improved Mask R-cnn and Softer-nms for Target Segmentation of Remote Sensing Image

内容摘要

• 对Mask R-CNN进行改进，加入了预测模块，来解决再分割分支上的Mask R-CNN训练困难的问题
• 用softer-NMS代替NMS

• Y. He, C. Zhu, J. Wang, M. Savvides and X. Zhang, “Bounding Box
  Regression with Uncertainty for Accurate Object Detection,” 2019
  IEEE/CVF Conference on Computer Vision and Pattern Recognition
  (CVPR), Long Beach, CA, USA, 2019, pp. 2883-2892.

---

YOLO-ACN: Focusing on Small Target and Occluded Object Detection

内容摘要

• 在YOLO v3的基础上加入了CIOU，用于代替GIOU
• 加入了注意力机制
• 更加轻量化
• 加入了soft-NMS
  网络结构如下：
  

---

光学遥感图像船只目标检测识别技术

内容摘要

• 预处理阶段采用去噪、去雾的算法
• 灰度阈值分割、纹理分析、区域生长法多种图像特征的提取
• 显著性计算模型的应用

---

基于多尺度LBP特征融合的遥感图像分类

内容摘要

• 提取多尺度局部二进制模型特征
• 通过多尺度的融合和灰度特征的融合进行分类操作

---

基于视觉注意机制的遥感图像船只检测

内容摘要

• 改进Itti模型，采用纹理特征、频域特征
• 特征显著图融合，网路训练

---

基于稀疏Transformer的遥感旋转目标检测

内容摘要

• DETR模型在遥感图像上的运用，并且设计了旋转框的识别

---

神经网络训练策略对高分辨率遥感图像场景分类性能影响的评估

内容摘要

• 加入学习率热身训练
• 加入了无偏置的衰减
• 标签平滑
• 分类的进一步提升

---

增强小目标特征的航空遥感目标检测

内容摘要

• HRnet的并行网络结构
• 特征金字塔的多尺度融合以及LSTM模块结构