基于迁移学习的野火检测研究综述
论文地址:
https://arxiv.org/abs/2306.12276
本文调查了不同的公开可用的神经网络模型,用于检测野火使用常规可见距离相机,放置在山顶或森林瞭望塔。神经网络模型在ImageNet-1 K上进行了预训练,并在自定义野火数据集上进行了微调。这些模型的性能进行了评估,在一组不同的野火图像,调查提供了有用的信息,为那些有兴趣使用转移学习野火检测。Swin Transformer-tiny具有最高的AUC值,但ConvNext-tiny检测到所有野火事件,并且在我们的数据集中具有最低的误报率。
基于异构图和线框的房间布局估计多边形检测
论文地址:
https://arxiv.org/abs/2306.12203
提出了一种基于神经网络的多边形语义平面检测方法。该方法可以例如用于解决房间布局估计任务。该方法是建立在,结合并进一步发展了几个不同的模块,从以前的研究。该网络采用RGB图像,并使用沙漏主干估计线框和特征空间。从这些,线和结特征被采样。然后将线和接合点表示为无向图,从该无向图获得所寻找的平面的多边形表示。这最后一步的两种不同的方法进行了研究,其中最有前途的方法是建立在异构图形Transformer。在所有情况下,最终输出是语义平面在2D中的投影。结构化3D数据集的方法进行了评估,我们调查的性能都使用采样和估计的线框。实验显示了基于图形的方法的潜力,通过在使用合成线框检测的2D度量中的房间布局估计中优于现有技术的方法。
在工业场景中利用多模合成数据进行以自我为中心的人-物交互检测
论文地址:
https://arxiv.org/abs/2306.12152
在本文中,我们解决了以自我为中心的人与物体的交互(EHOI)检测在工业环境中的问题。为了克服在此上下文中缺乏公共数据集,我们提出了用于生成与若干注释和数据信号配对的EHOI的合成图像(例如,深度图或实例分割掩模)。使用建议的管道,我们提出了EgoISM-HOI一个新的多模态数据集组成的合成EHOI图像在工业环境中的手和物体的丰富注释。为了证明所提出的工具产生的合成EHOI数据的实用性和有效性,我们设计了一种新的方法,预测和结合不同的多模态信号来检测RGB图像中的EHOI。我们的研究表明,利用合成数据预训练所提出的方法显着提高性能时,在现实世界的数据测试。此外,所提出的方法优于国家的最先进的类不可知的方法。为了支持这一领域的研究,我们在www.example.com上公开发布了数据集、源代码和预训练模型https://iplab.dmi.unict.it/egoism-hoi。
一种融合注意力机制和特征融合网络的轻质人造板缺陷检测方法
论文地址:
https://arxiv.org/abs/2306.12113
近年来,深度学习在木板缺陷检测方面取得了重大进展。然而,仍然存在诸如检测低、检测速度慢以及难以在木板表面上部署嵌入式设备等挑战。为了克服这些问题,本文提出了一种轻量化的木板缺陷检测方法YOLOv 5-LW,该方法结合了注意力机制和特征融合网络。首先,为了提高可接受缺陷的检测能力,我们引入了多尺度双向特征金字塔网络(MBiFPN)作为特征融合网络。MBiFPN减少了特征丢失,丰富了局部和细节特征,提高了模型对可接受缺陷的检测能力。其次,为了实现轻量级设计,我们重构了ShuffleNetv 2网络模型作为骨干网络。这种重建减少了参数的数量和计算要求,同时保持性能。我们还引入了Stem Block和Spatial Pyramid Pooling Fast(SPPF)模型来补偿轻量级设计所带来的任何准确性损失,确保模型的检测能力保持不变,同时具有计算效率。第三,我们通过引入高效通道注意力(ECA)来增强骨干网络,这提高了网络对与缺陷检测相关的关键信息的关注。该模型通过关注本质特征,能够更准确地识别和定位缺陷,并利用自主开发的木板缺陷数据集对该方法进行了验证,实验结果表明了改进的YOLOv 5-LW方法的有效性。与原模型相比,该方法的准确率达到92.8%,参数个数减少27.78%,计算量压缩41.25%,检测推理速度提高10.16%。
遥感图像分类与目标检测稳健性的综合研究:测量与基准
论文地址:
https://arxiv.org/abs/2306.12111
深度神经网络(DNN)在遥感(RS)图像解释中得到了广泛的应用。然而,在以前的工作中已经证明DNN容易受到不同类型的噪声的影响,特别是对抗性噪声。令人惊讶的是,一直缺乏对RS任务的鲁棒性的全面研究,促使我们对RS中图像分类和对象检测的鲁棒性进行彻底的调查和基准测试。据我们所知,这项研究代表了RS任务中自然鲁棒性和对抗鲁棒性的第一次全面检查。具体来说,我们已经策划并公开了包含自然和对抗性噪声的数据集。这些数据集是评估基于DNN的模型的鲁棒性的宝贵资源。为了提供模型鲁棒性的全面评估,我们用许多不同的分类器和检测器进行了细致的实验,包括广泛的主流方法。通过严格的评估,我们发现了有见地和有趣的发现,揭示了对抗性噪声制作和模型训练之间的关系,对各种模型的敏感性和局限性有了更深入的了解,并为开发更具弹性和鲁棒性的模型提供了指导。
端到端增强超参数自监督异常检测方法
论文地址:
https://arxiv.org/abs/2306.12033
自监督学习(SSL)已经成为一种有前途的范例,它将自我生成的监督信号呈现给现实世界的问题,绕过了大量的手动标记负担。SSL对于异常检测等无监督任务特别有吸引力,其中标记的异常通常不存在并且获取成本很高。虽然自监督异常检测(SSAD)最近出现了兴趣激增,但文献未能将数据增强视为超参数。同时,最近的工作已经报道,增强的选择有显着的影响检测性能。在本文中,我们介绍了ST-SSAD(自调整自监督异常检测),第一个系统的方法SSAD方面严格调整增强。为此,我们的工作提出了两个关键贡献。第一个是新的无监督验证损失,它量化了增强的训练数据和(未标记的)测试数据之间的对齐。在原则上,我们采用转导,量化的程度,增强模仿真正的异常生成机制,在对比增强数据与任意的伪异常,而不考虑测试数据。其次,我们提出了新的可微增强函数,允许数据增强超参数通过我们提出的验证损失进行端到端的调整。两个测试平台的语义类异常和微妙的工业缺陷的实验表明,系统调整增强提供了显着的性能增益超过目前的做法。
基于尖峰神经网络的超低延迟高精度目标检测
论文地址:
https://arxiv.org/abs/2306.12010
尖峰神经网络(SNN)因其能量效率和大脑启发的事件驱动特性而引起了广泛的兴趣。虽然像Spiking-YOLO这样的最新方法已经将SNN扩展到更具挑战性的对象检测任务,但它们通常具有高延迟和低检测精度,使得它们难以部署在延迟敏感的移动平台上。此外,从人工神经网络(ANN)到SNNs的转换方法很难保持ANN的完整结构,导致特征表示差和转换错误高。为了应对这些挑战,我们提出了两种方法:时间步长压缩和尖峰时间相关集成(STDI)编码。前者通过压缩信息减少了ANN-SNN转换所需的时间步长,而后者设置了一个时变阈值,以扩大信息容量。我们还提出了一个基于SNN的超低延迟和高精度对象检测模型(SUHD),该模型在PASCAL VOC和MS COCO等非平凡数据集上实现了最先进的性能,与MS COCO数据集上的Spiking-YOLO相比,时间步长减少了750倍,平均精度(mAP)提高了30%。据我们所知,SUHD是迄今为止最深入的基于尖峰的对象检测模型,它实现了超低的时间步长来完成无损转换。
探索数据集合成的有效性–苹果检测在果园中的应用
论文地址:
https://arxiv.org/abs/2306.11763
近年来,深度目标检测模型取得了显著的成功,但仍然存在一个主要障碍:需要大量的训练数据。获得这样的数据是一个繁琐的过程,主要是耗时的,导致新的研究途径,如合成数据生成技术的探索。在这项研究中,我们探讨了稳定扩散2.1-基地生成合成数据集的苹果树的对象检测和比较,它的基线模型训练的现实世界的数据。在使用提示工程创建真实苹果树的数据集并利用先前训练的稳定扩散模型之后,通过训练YOLOv5m对象检测模型来注释和评估自定义数据集,以预测真实世界苹果检测数据集中的苹果。选择YOLOv5m是因为其快速的推理时间和最小的硬件需求。结果表明,当在一组真实世界图像上评估时,在生成的数据上训练的模型与在真实世界图像上训练的基线模型相比表现略差。然而,这些发现仍然非常有希望,因为平均精度差异仅为0.09和0.06,分别。定性结果表明,该模型可以准确地预测苹果的位置,除了在严重遮荫的情况下。这些发现说明了潜在的合成数据生成技术作为一个可行的替代广泛的训练数据的对象检测模型的收集。
BMAD:医疗异常检测基准
论文地址:
https://arxiv.org/abs/2306.11876
异常检测(AD)是机器学习和计算机视觉中的一个基础研究问题,在工业检测,视频监控和医疗诊断中具有实际应用。在医学成像中,AD对于检测和诊断可能指示罕见疾病或病症的异常尤其重要。然而,缺乏一个通用的和公平的基准评估AD方法的医学图像,这阻碍了更广泛的和强大的AD方法在这个特定的领域的发展。为了弥合这一差距,我们引入了一个全面的评估基准评估异常检测方法的医学图像。该基准包括来自五个医学领域(即,脑MRI、肝CT、视网膜OCT、胸部X射线和数字组织病理学)和三个关键评估指标,并且包括总共十四种最先进的AD算法。这个标准化和精心策划的医疗基准与结构良好的代码库,使最近提出的异常检测方法之间的全面比较。这将有助于社会进行公平的比较,并推动AD在医学影像领域的发展。有关BMAD的更多信息,请访问我们的GitHub存储库:https://github.com/DorisBao/BMAD。