文献阅读:STDnet-ST:Spatio-temporal ConvNet for small object detection

STDnet-ST

  • 摘要
  • Introduction
  • 二、STDnet-ST结构
    • 1.空时卷积网络
    • 2.tubelet linking
  • 总结

摘要

  • 最近一个可能提高整体目标检测成功的趋势是将空间信息与时间视频信息一起操作。本文引入STDnet-ST 一个视频的小目标检测的空间-时间卷积网络。本文中定义像素16*16 几乎看不出特征的为小目标。STDnet-ST是一种架构,它可以随着时间的推移检测小的对象,并将包含这些小对象的可能性最高的top-ranked区域对相关联。这允许在整个时间内将小对象连接起来作为tubelets。此外,本文提出了一种方法,以消除无利可图的对象链接,以提供高质量的tubelets,提高准确性。STDnet-ST在公开的USC-GRAD-STDDb、UAVDT和VisDrone2019-VID视频数据集上进行评估,在小目标方面实现了最先进的结果。

Introduction

  • 小目标检测精度远低于大目标,主要有两个原因:缺乏架构(architectures)和数据集。数据集已经得到解决,现有的数据集主要为无人机拍摄,公开数据集有:UAVDT, VIsDrone2019-VID,USC-GRAD-STDdb等。
  • 将视频中的相同的对象链接成序列或tubelets,以提高分类分数,这已经被证明是解决这个问题的不同方法中最有效的技术。
  • 本文主要贡献:
    1. 基于STDnet的空时卷积网络同时操作两个输入帧,这两个输入通过较浅层的相关模块和最终的tubelets linking集成在一起
      (a). 空时卷积网络同时生成当前帧的检测当前帧与先前帧的相关性。相关性是在图像中最有前途的区域上以一种自然的方式执行的,即由我们的网络中最浅的层提供的极有可能拥有对象的区域。
      (b). tubelet linking是基于Viterbi算法,但我们包括三个创新。首先,它使用Convnet生成的相关性来连接tubelet的对象。其次,它评分了对象之间的关联度,并考虑到tubelet的置信度变异性,这是tubelet置信度的一个指标。第三,tubelet抑制算法避免了无利可图的tubelet。这是通过在Viterbi算法中的每个帧中插入额外的节点来实现的。所有这些贡献使STDnet-ST提高了在高质量tubelet中最有可能是真阳性的探测器的信心,并降低了那些在无利可图tubelet中最有可能是假阳性的探测器的信心
    2. 实现了在数据集UAVDT, VIsDrone2019-VID,USC-GRAD-STDdb上小目标检测的state-of-the-art
      文献阅读:STDnet-ST:Spatio-temporal ConvNet for small object detection_第1张图片

二、STDnet-ST结构

两部分组成:空时卷积网络tubelet linking

1.空时卷积网络

网络包含两个分支和选中区域的相关性操作组成,每一个分支都是基于STDnet(关注检测小目标,但没有考虑时间信息)
文献阅读:STDnet-ST:Spatio-temporal ConvNet for small object detection_第2张图片

2.tubelet linking

总结

你可能感兴趣的:(论文阅读记录,人工智能,深度学习)