针对遥感目标检测(小目标、旋转框、密集目标)的论文整理

文献整理

文章目录

  • 文献整理
    • A Multi-Feature Fusion-Based Change Detection Method for Remote Sensing Images
      • 内容摘要
    • A Survey on Vision Transformer
      • 内容摘要
    • Aerial Target Detection Based on the Improved YOLOv3 Algorithm
      • 内容摘要
    • Aircraft Rotated Boxes Detection Method Based on YOLOv5
      • 内容摘要
    • Airport Detection Based on Improved Faster RCNN in Large Scale Remote Sensing Images
      • 内容摘要
    • (ViT)AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
    • Attention-Based Convolutional Networks for Ship Detection in High-Resolution Remote Sensing Images
      • 内容摘要
    • Bilinear CNN Models for Fine-grained Visual Recognition
      • 内容摘要
    • Bottleneck Transformers for Visual Recognition
      • 内容摘要
    • Bounding Box Regression with Uncertainty for Accurate Object Detection
      • 内容摘要
    • CAD-Net A Context-Aware Detection Network for Objects in Remote Sensing Imagery
      • 内容摘要
    • Deep Residual Learning for Image Recognition
      • 内容摘要
    • End-to-End Object Detection with Transformers
      • 内容摘要
    • Factorized Bilinear Models for Image Recognition
      • 内容摘要
    • Fast R-CNN
      • 内容摘要
    • Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
      • 内容摘要
    • Feature Pyramid Networks for Object Detection
      • 内容摘要
    • FPN特征提取的光学遥感图像船舶检测
      • 内容摘要
    • FRDet:一种基于候选框特征修正的多方向遥感目标快速检测方法
      • 内容摘要
    • General Multi-label Image Classification with Transformers
      • 提出了C-Tran 作为分类的Transformer结构
    • Generalized Intersection over Union A Metric and A Loss for Bounding Box
      • 内容摘要
    • Gliding Vertex on the Horizontal Bounding Box for Multi-Oriented Object Detection
      • 内容摘要
    • Gradient-Based Learning Applied to Document Recognition
      • 梯度下降的提出
    • Hierarchical Bilinear Pooling for Fine-Grained Visual Recognition
      • 内容摘要
    • Improved Bilinear CNN Model for Remote Sensing Scene Classification
      • 内容摘要
    • Improving Object DetectionWith One Line of Code
      • 内容摘要
    • Learning RoI Transformer for Detecting Oriented Objects in Aerial Images
      • 内容摘要
    • Object detection in remote sensing images based on deep transfer learning
      • 内容摘要
    • OBJECT DETECTION FOR REMOTE SENSING IMAGES BASED ON GUIDED ANCHORING AND FEATURE FUSION
      • 内容摘要
    • Position Detection and Direction Prediction for Arbitrary-Oriented Ships via Multiscale Rotation Region Convolutional Neural Network
      • 内容摘要
    • R 2 R^2 R2-CNN: Fast Tiny Object Detection in Large-Scale Remote Sensing Images
      • 内容摘要
    • Real-Time Object Detection in Remote Sensing Images Using Deep Learning
      • 内容摘要
    • ReDet: A Rotation-equivariant Detector for Aerial Object Detection
      • 内容摘要
    • 传统的两个SAR检测
      • Remote sensing detection enhancement
        • 内容摘要
      • Ship Classification in SAR Images Improved by AIS Knowledge Transfer
        • 内容摘要
    • SCRDet: Towards More Robust Detection for Small, Cluttered and Rotated Objects
      • 内容摘要
    • Using the Improved Mask R-cnn and Softer-nms for Target Segmentation of Remote Sensing Image
      • 内容摘要
    • YOLO-ACN: Focusing on Small Target and Occluded Object Detection
      • 内容摘要
    • 光学遥感图像船只目标检测识别技术
      • 内容摘要
    • 基于多尺度LBP特征融合的遥感图像分类
      • 内容摘要
    • 基于视觉注意机制的遥感图像船只检测
      • 内容摘要
    • 基于稀疏Transformer的遥感旋转目标检测
      • 内容摘要
    • 神经网络训练策略对高分辨率遥感图像场景分类性能影响的评估
      • 内容摘要
    • 增强小目标特征的航空遥感目标检测
      • 内容摘要

A Multi-Feature Fusion-Based Change Detection Method for Remote Sensing Images

内容摘要

  • 加权模糊聚类的特征融合

    • 马尔可夫随机场特征
    • Gabor滤波器是一个用于边缘检测的线性滤波器,多次卷积后可以得到Gabor纹理特征
    • 以上两种特征做差分运算
    • 特征融合权重根据Relief Algorithm和距离 P d , s P_{d,s} Pd,s计算,
  • 海陆分割

    • Cai, L., Shi, W., He, P., Miao, Z., Hao, M., & Zhang, H. (2015). Fusion of multiple features to produce a segmentation algorithm for remote sensing images. Remote Sensing Letters, 6(5), 390–398

  • 简单的阈值技术

  • 结论

    • 提高检测精度
    • 但是有可能导致单一特征淹没问题

A Survey on Vision Transformer

内容摘要

  • 自然语言处理领域的Transformer结构应用到图像处理领域

  • 本文主要内容是Transformer在视觉应用的综述(截止到2021.8)下图是主要的发展过程
    针对遥感目标检测(小目标、旋转框、密集目标)的论文整理_第1张图片

  • 针对遥感目标检测(小目标、旋转框、密集目标)的论文整理_第2张图片

    以上为Transformer传统结构,广泛用于NLP中

    • Encoder和Decoder中包含了一个注意力机制层和一个前向传播网络层
    • 自注意力机制推导:
      • 输入:i位置的原值 x i x_i xi,输出i位置的注意力值 y i y_i yi(针对全局来说的重要性)
      • 满足这个公式, y i = 1 C ( X i ) ∑ ∀ j e θ ( x i ) ϕ ( x j ) g ( x j ) y_i=\frac{1}{C(X_i)}\sum_{\forall j}e^{\theta(x_i)\phi(x_j)}g(x_j) yi=C(Xi)1jeθ(xi)ϕ(xj)g(xj),如果 θ ( ⋅ ) \theta(·) θ() ϕ ( ⋅ ) \phi(·) ϕ()两个函数代表的是线性的,并且 C ( X i ) = 1 ∑ ∀ j g ( x j ) C(X_i)=\frac{1}{\sum_{\forall j}g(x_j)} C(Xi)=jg(xj)1函数还可以改写成 y i = s o f t m a x ( X W θ W ϕ T X ) W g X y_i=softmax(XW_\theta W^T_\phi X)W_gX yi=softmax(XWθWϕTX)WgX
      • 多头的注意力机制:通过Dot-product Self-Attention的改进,通过计算每一组内的向量分数,然后通过归一化、概率转化最终得到每个点对应的注意力程度,多头经过分组,让注意力不只是集中在一个点上,可以从多组里面分别找到需要注意的点。
    • 一些其他的理论
      • 在编码器和解码器中,存在残差连接以及归一化操作类似于 L a y e r N o r m ( X + A t t e n t i o n ( X ) ) LayerNorm(X+Attention(X)) LayerNorm(X+Attention(X))
      • 前馈网络,通过一个线性层、一个非线性激活、一个线性层之后,得到一个输出。
  • ViT方法,纯粹通过Transformer得到输出,将图像分为一定宽度的序列,让序列进入编码器,然后进行解码得到最终的结果。,如下图所示:
    针对遥感目标检测(小目标、旋转框、密集目标)的论文整理_第3张图片

  • 卷积+Transformer方法,可以诸如CPVT的方法


Aerial Target Detection Based on the Improved YOLOv3 Algorithm

内容摘要

  • 不画旋转框,仍然采用原本的YOLOv3架构
  • 通过对DOTA数据集进行K-means聚类,得到比较多的12种anchor尺寸,将其作为YOLOv3的scale设置
  • 通过对YOLOv3网络结构的修改,增加了两次的上采样,让比较小的目标对应的小feature map也可以和大目标的feature map融合,最后能够实现大目标和小目标的同时检测。

Aircraft Rotated Boxes Detection Method Based on YOLOv5

内容摘要

  • Involution理解
    • 通过involution的加入,让网络获得空间特异性和通道共享,在空间的感受野上更大,能够获得更远空间上的联系
    • involution本身只是一个对卷积的优化过程
  • 通过循环标注(CSL)实现旋转框
  • 通过involution优化特征提取和精确度
  • 通过coordinate attention机制,解决复杂背景和小目标分离的问题
  • 具体:在YOLOv5的网络里加入CSP网络,并且用involution替换掉CSP网络的卷积,减少参数
  • FPN实现小尺度的识别

Airport Detection Based on Improved Faster RCNN in Large Scale Remote Sensing Images

内容摘要

  • 采用Faster RCNN作为baseline
  • 训练过程改进:多尺度训练
  • 损失函数的修改
  • 多类别的不均衡,采用去除冗余的方法
  • NMS最大抑制参数改进,RPN在ROI pooling阶段

(ViT)AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE

Attention-Based Convolutional Networks for Ship Detection in High-Resolution Remote Sensing Images

内容摘要

  • 在原本的SSD的基础上,增加Attention的分支
  • SSD=卷积层+目标检测(卷积+平均池化)+NMS筛选层
  • 目标检测里面的五个卷积层特征做融合处理
  • 注意力机制采用全卷积网络

Bilinear CNN Models for Fine-grained Visual Recognition

内容摘要

  • 两路CNN特征提取和语义信息,细粒度的特征提取

  • 两路特征通过外积来实现池化操作,池化操作可以获取到需要的位置信息
    针对遥感目标检测(小目标、旋转框、密集目标)的论文整理_第4张图片

  • 端到端的训练过程(输入图片,输出类别信息),利用链式法则反向传播
    针对遥感目标检测(小目标、旋转框、密集目标)的论文整理_第5张图片


Bottleneck Transformers for Visual Recognition

内容摘要

  • 设计了一个Transformer结构的Bottleneck模块
  • 最后三层上,ResNet结构中的512,3*3的层用多头的注意力机制层来替换
  • 具体为通过前面的卷积学习低级特征,自注意力机制汇总feature map上的信息
  • 通过对feature map下采样让注意力能注意到更小的目标
    针对遥感目标检测(小目标、旋转框、密集目标)的论文整理_第6张图片

Bounding Box Regression with Uncertainty for Accurate Object Detection

内容摘要

  • sorfter-NMS
  • 本文主要对极大抑制参数的改进 使得最后的检测框能够更加趋近于ground truth 从而更加准确地预测
  • 将predict框看成是高斯分布,将ground-truth看作是狄拉克函数(冲激)
  • 设计KL-loss,对于模糊地标注可以被捕捉,并且获得更小地loss值
  • Loss中地可学习参数可以用于后处理阶段,(NMS中使用)
  • 概率分布是可解释的,可以通过Vote选出候选框中更趋近ground-truth的框

CAD-Net A Context-Aware Detection Network for Objects in Remote Sensing Imagery

内容摘要

  • 设计语义获取网络(CAD-Net),获取全局语义和局部语义
  • 设计空间尺度的注意力机制,需要配合特征金字塔使用,加在网络的neck位置
  • 设计了一个全新的解决方案,可以桥接地面传感器和遥感获得数据上的检测器区别(类似于迁移学习)

Deep Residual Learning for Image Recognition

内容摘要

  • 本文是残差网络最初的论文,主要介绍了深度残差网络的设计以及相应的作用和实践
  • 现在ResNet已经被验证是可以很好捕捉特征的一个网络结构,可以很好地完成特征的提取(作为backbone主干网络使用)

End-to-End Object Detection with Transformers

内容摘要

  • 本文是DETR的提出论文
  • 并不是完全的Transformer结构,通过CNN提取一系列的图像特征,并且通过Transformer的编码器和解码器来实现特征的解译,从而获取到检测结果
    针对遥感目标检测(小目标、旋转框、密集目标)的论文整理_第7张图片

Factorized Bilinear Models for Image Recognition

内容摘要

  • 分解双线性的操作来理解成对特征的影响,并且这样提取到的可以很好融合到卷积、全连接层
  • 通过随机特征丢弃来实现过拟合的防止

Fast R-CNN

内容摘要

  • 设计了RoI pooling层,和SPP网络相同,但是不再有多尺度的pooling,作者分析后认为不需要多尺度也可以获取到比较好的结果
  • RoI Pooling的输入适度要求一样
  • 设计了Multi-task的Loss函数
  • 用softmax代替了SVM的分类器改进

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

内容摘要

  • 本文是Faster R-CNN的提出,其中最大的贡献是提出了RPN网络(感兴趣区域提议网络)
  • 为了提升速度,让RPN网络和Faster RCNN的主干网络共享所有的特征,RPN先提议所有可能的RoI,再通过RoI Pooling层进行RoI的最终确定
  • 网络结构上可以参考下方图,可以看出特征共享的特征:
    针对遥感目标检测(小目标、旋转框、密集目标)的论文整理_第8张图片

Feature Pyramid Networks for Object Detection

内容摘要

  • 本文提出了特征金字塔的网络
  • 提出了Bottom-up路径,上采样不同的输出适度,来丰富金字塔特征
  • 提出了Top-Down路径和横向连接:上采样获得到更高分辨率的特征,下采样获得到更低分辨率的特征,通过横向连接来进行增强操作

FPN特征提取的光学遥感图像船舶检测

内容摘要

  • FPN在遥感图像上的使用

FRDet:一种基于候选框特征修正的多方向遥感目标快速检测方法

内容摘要

  • RPN以及Focal Loss(前景和背景分割)在遥感上的使用

General Multi-label Image Classification with Transformers

提出了C-Tran 作为分类的Transformer结构


Generalized Intersection over Union A Metric and A Loss for Bounding Box

内容摘要

  • 提出了G-IOU Loss
  • 进一步提升了RoI和Ground truth之间的精确匹配度
  • 任意两个形状的RoI都可以通过GIOU来构造Loss

Gliding Vertex on the Horizontal Bounding Box for Multi-Oriented Object Detection

内容摘要

  • 滑动顶点的方法来获得到旋转框,
  • 增加了glilding offset的参数,所以需要修改对应的全连接层
  • 可以通过下方图片来理解本文的主要贡献
    针对遥感目标检测(小目标、旋转框、密集目标)的论文整理_第9张图片

Gradient-Based Learning Applied to Document Recognition

梯度下降的提出


Hierarchical Bilinear Pooling for Fine-Grained Visual Recognition

内容摘要

  • 提出了原始的双线性只采用了最后一层特征,忽略了内部层级之间的特征关系,并且传播过程中会有信息损失,所以需要充分利用特征
    针对遥感目标检测(小目标、旋转框、密集目标)的论文整理_第10张图片

  • 层次双线性:通过跨层次来获取不同层之间的特征关系

  • 为了提升解译特征的能力,通过多层、跨层的特征双线性融合来获取更多的特征


Improved Bilinear CNN Model for Remote Sensing Scene Classification

内容摘要

  • 将BCNN用于遥感图像的分类
  • 主要贡献(改进):减少了参数两和池化的特征维度
  • 减少了计算复杂度,提升分类速度,省去了用于detection的heavy branch

Improving Object DetectionWith One Line of Code

内容摘要

  • Soft-NMS的提出
  • 相比原先的NMS,主要贡献是设计了衰减参数来变换常量NMS,优化了原先NMS在 N t N_t Nt的值选取上会存在的精度下降的问题,通过自动衰减来提升精度

Learning RoI Transformer for Detecting Oriented Objects in Aerial Images

内容摘要

  • 模块化RRoI,能够让水平的RoI可以转换为旋转的RoI
  • RoI-Transformer的提出,用于摇杆目标的检测的转换器
  • 作为一个轻量级的Transformer可以被嵌入到其他的网络
  • 主要提取的是空间不变特征,提升效率、降低复杂度

Object detection in remote sensing images based on deep transfer learning

内容摘要

  • 迁移学习在遥感上的应用
  • 用自然图像的模型来解决遥感图像数据不够的问题
  • 提出领域自适应的Faster R-CNN图像水平和实力水平的结构

OBJECT DETECTION FOR REMOTE SENSING IMAGES BASED ON GUIDED ANCHORING AND FEATURE FUSION

内容摘要

  • 遥感图像上的金字塔特征融合
  • 指导锚点模块产生方框
  • 金字塔结构取得特征,RoI对其后融合,RoI特征通过相加池化进行融合
  • 合成的特征被用于全连接,得到不同类别的和精确位置

Position Detection and Direction Prediction for Arbitrary-Oriented Ships via Multiscale Rotation Region Convolutional Neural Network

内容摘要

  • CNN实现遥感图像的位置和方向双重检测
  • 擦用了Rotate NMS的极大抑制参数
  • 稠密的特征金字塔结构
  • 多尺度特征融合并且运用了RRoI的对齐工作

R 2 R^2 R2-CNN: Fast Tiny Object Detection in Large-Scale Remote Sensing Images

内容摘要

  • 切片、先分类后检测的两阶段网络:分类更轻量,不用让整张大幅度的图片经过检测器
  • 设计了一个Tiny-Net的残差网络
  • 使用特征金字塔作为全局注意力机制模块,特征金字塔特征被融合,可以获取到更多的予以信息
  • 尺度不变的锚点策略
  • 有效的放大缩小结构,位置敏感的感兴趣区域

Real-Time Object Detection in Remote Sensing Images Using Deep Learning

内容摘要

  • 分块处理,提升效率
  • 相似类别标注,可以学习到更多的相似类的区别
  • 预处理操作,提升精度

ReDet: A Rotation-equivariant Detector for Aerial Object Detection

内容摘要

  • 角度等变特征和角度不变特征的提取
  • 角度等变特征进入主干网络
  • 提出了RiRoI,用于提取角度不变特征(空间维度对齐特征、角度不变特征)
    网络结构如下:
    针对遥感目标检测(小目标、旋转框、密集目标)的论文整理_第11张图片

传统的两个SAR检测

Remote sensing detection enhancement

内容摘要

遥感检测增强,通过速度匹配滤波器、检测前跟踪算法、高斯混合模型的背景估计以及噪声估计模型来检测。


Ship Classification in SAR Images Improved by AIS Knowledge Transfer

内容摘要

利用A-SVM算法以及就AIS知识迁移

SCRDet: Towards More Robust Detection for Small, Cluttered and Rotated Objects

内容摘要

  • 针对密集、小的目标的优化
  • SF-Net(Sampling Fusion Network)特征融合和锚点采样
  • MDA-Net(Multi-Dimensional Attention Network)多尺度的注意力机制,通道注意力和像素级别的注意力机制
  • L1正则化中加入了IOU常量,更具备鲁棒性
    网络结构:
    针对遥感目标检测(小目标、旋转框、密集目标)的论文整理_第12张图片

Using the Improved Mask R-cnn and Softer-nms for Target Segmentation of Remote Sensing Image

内容摘要

  • 对Mask R-CNN进行改进,加入了预测模块,来解决再分割分支上的Mask R-CNN训练困难的问题
  • 用softer-NMS代替NMS
  • Y. He, C. Zhu, J. Wang, M. Savvides and X. Zhang, “Bounding Box
    Regression with Uncertainty for Accurate Object Detection,” 2019
    IEEE/CVF Conference on Computer Vision and Pattern Recognition
    (CVPR), Long Beach, CA, USA, 2019, pp. 2883-2892.


YOLO-ACN: Focusing on Small Target and Occluded Object Detection

内容摘要

  • 在YOLO v3的基础上加入了CIOU,用于代替GIOU
  • 加入了注意力机制
  • 更加轻量化
  • 加入了soft-NMS
    网络结构如下:
    针对遥感目标检测(小目标、旋转框、密集目标)的论文整理_第13张图片

光学遥感图像船只目标检测识别技术

内容摘要

  • 预处理阶段采用去噪、去雾的算法
  • 灰度阈值分割、纹理分析、区域生长法多种图像特征的提取
  • 显著性计算模型的应用

基于多尺度LBP特征融合的遥感图像分类

内容摘要

  • 提取多尺度局部二进制模型特征
  • 通过多尺度的融合和灰度特征的融合进行分类操作

基于视觉注意机制的遥感图像船只检测

内容摘要

  • 改进Itti模型,采用纹理特征、频域特征
  • 特征显著图融合,网路训练

基于稀疏Transformer的遥感旋转目标检测

内容摘要

  • DETR模型在遥感图像上的运用,并且设计了旋转框的识别

神经网络训练策略对高分辨率遥感图像场景分类性能影响的评估

内容摘要

  • 加入学习率热身训练
  • 加入了无偏置的衰减
  • 标签平滑
  • 分类的进一步提升

增强小目标特征的航空遥感目标检测

内容摘要

  • HRnet的并行网络结构
  • 特征金字塔的多尺度融合以及LSTM模块结构

你可能感兴趣的:(机器学习,目标检测,计算机视觉,机器学习)