揭露伪装:有效的扩散生成图像检测
https://arxiv.org/abs/2307.06272
图像合成已经看到了显着的进步,基于扩散的生成模型,如去噪扩散概率模型(DDPM)和文本到图像扩散模型的出现。尽管它们的有效性,但致力于检测扩散生成的图像的研究缺乏,这可能会带来潜在的安全和隐私风险。本文通过提出一种新的检测方法,称为扩散生成图像检测(SeDID)的逐步误差,解决了这一差距。由基于统计的 SeDID Stat \text{SeDID}_{\text{Stat}} SeDIDStat和基于神经网络的 SeDID NNs \text{SeDID}_{\text{NNs}} SeDIDNNs组成,SeDID利用了扩散模型的独特属性,即确定性反向和确定性去噪计算误差。我们的评估表明,SeDID的优越性能优于现有的方法时,应用于扩散模型。因此,我们的工作作出了关键的贡献,区分扩散模型生成的图像,标志着在人工智能安全领域的重要一步。
大型类分离不是基于关系推理的OOD检测所需要的
https://arxiv.org/abs/2307.06179
标准的识别方法在测试时无法处理新的类别。他们对已知类别的过度自信使得预测对于医疗保健或自动驾驶等安全关键应用来说不可靠。分布外(OOD)检测方法通过识别语义新颖性提供了一种解决方案。这些方法中的大多数都利用了已知数据的学习阶段,这意味着训练(或微调)模型以捕获正态性的概念。该过程显然对可用样本的量敏感,并且对于机载系统来说可能在计算上是昂贵的。一个可行的替代方案是评估由大型预训练模型产生的嵌入空间中的相似性,而无需任何进一步的学习努力。我们专注于这样一个无微调的OOD检测设置。这项工作提出了一个深入的分析最近引入的关系推理预训练和调查的学习嵌入的属性,突出的类间特征距离和OOD检测精度之间的相关性的存在。由于类分离取决于所选择的预训练目标,我们提出了一种替代的损失函数来控制类间的利润,我们通过彻底的实验显示其优势。
图像中多变量高斯异常检测的可视化方法
https://arxiv.org/abs/2307.06052
本文介绍了一种简化的PaDiM(像素化异常检测通过实例建模)方法的异常检测在图像中,拟合一个单一的多元高斯(MVG)分布的特征向量提取的骨干卷积神经网络(CNN)和使用他们的马氏距离作为异常得分。我们在这个框架中引入了一个中间步骤,通过应用白化变换的特征向量,这使得能够在视觉上解释由MVG学习的特征的热图的生成。所提出的技术进行评估的MVTec-AD数据集,结果显示了可视化模型验证的重要性,提供了在这个框架中的问题,否则不可见的见解。本文生成的可视化结果可在www.example.com上公开获得https://doi.org/10.5281/zenodo.7937978。
瑜伽:基于轻量级特征学习和多尺度注意力的野外深层目标检测
https://arxiv.org/abs/2307.05945
我们介绍了YOGA,这是一种基于深度学习的轻量级对象检测模型,可以在低端边缘设备上运行,同时仍能实现有竞争力的准确性。YOGA架构由一个两阶段特征学习管道和一个廉价的线性变换组成,它只使用传统卷积神经网络所需的卷积滤波器的一半来学习特征图。此外,它执行多尺度特征融合在其颈部使用的注意机制,而不是传统的检测器使用的朴素级联。YOGA是一个灵活的模型,可以很容易地放大或缩小几个数量级,以适应广泛的硬件限制。我们在COCO-val和COCO-testdev数据集上评估YOGA与其他超过10个国家的最先进的对象检测器。结果表明,YOGA在模型大小和准确性之间取得了最佳平衡(AP增加高达22%,参数和FLOPs减少23-34%),使其成为低端边缘设备上野外部署的理想选择。我们在NVIDIA Jetson Nano上的硬件实施和评估进一步证实了这一点。
一种新的麦长管蚜种群检测数据集及其比较研究
https://arxiv.org/abs/2307.05929
蚜虫是农作物、农村家庭和全球粮食安全的主要威胁之一。化学害虫防治是作物生产的必要组成部分,以使产量最大化,然而,考虑到环境污染和成本,没有必要将化学方法应用于整个田地。因此,准确定位蚜虫和估计侵染程度是准确地局部施用农药的关键。蚜虫检测是非常具有挑战性的,因为每一个蚜虫都非常小,并且所有的蚜虫都聚集在一起作为集群。在本文中,我们建议通过检测蚜虫集群来估计感染水平。我们在高粱地里拍摄了数百万张图片,手动选择了5,447张含有蚜虫的图片,并对图片中的每个蚜虫集群进行了注释。为了将这些图像用于机器学习模型,我们将图像裁剪成补丁,并创建了一个包含超过151,000个图像补丁的标记数据集。然后,我们实现和比较四个国家的最先进的目标检测模型的性能。
对有丝分裂检测的再思考:走向多样化的数据和特征表征
https://arxiv.org/abs/2307.05889
有丝分裂检测是计算病理学的基本任务之一,由于有丝分裂细胞的异质性,这是极具挑战性的。目前的研究大多是通过增加模型的复杂性来解决技术方面的异质性。然而,由于缺乏对生物学知识的考虑和复杂的模型设计可能会导致过拟合问题,同时限制了检测模型的泛化能力。在本文中,我们系统地研究了形态外观在不同的有丝分裂阶段,以及模糊的非有丝分裂细胞,并确定平衡的数据和功能的多样性,可以实现更好的概括性。基于这一观察结果,我们提出了一种新的可推广的框架(MitDet)有丝分裂检测。多样性指导样本平衡(DGSB)考虑了数据的多样性。利用类间和类内特征多样性保持模块(InCDP)来保持特征多样性。引入染色增强(SE)模块以同时增强数据和特征的域相关多样性。大量的实验表明,我们提出的模型优于所有的SOTA方法在几个流行的有丝分裂检测数据集在内部和外部测试集使用最小的注释工作与点注释。全面的消融研究也证明了重新思考数据和特征多样性平衡的有效性。通过对实验结果的定性和定量分析,我们相信我们提出的模型不仅可以达到SOTA的性能,而且可以从新的角度启发未来的研究。源代码位于https://github.com/Onehour0108/MitDet。
镰状细胞病患者超宽带眼底照相中伪影的自动检测
https://arxiv.org/abs/2307.05780
重要性:超宽视野眼底摄影(UWF-FP)已显示出用于镰状细胞视网膜病变筛查的实用性;然而,图像伪影可能降低图像质量和分级能力。目的:建立一种UWF-FP伪影自动分类算法。设计:基于神经网络的自动伪影检测算法被设计用于识别患者UWF-FP横截面中常见的UWF-FP伪影。在图像的子集上训练预训练的ResNet-50神经网络,并且在保持测试集上量化分类准确度、灵敏度和特异性。背景:本研究基于三级保健医院的患者。参加者:从镰状细胞病(SCD)患者获得了243个UWF-FP,并进行了以下类别的伪影标记:存在睫毛、下眼睑阻塞、上眼睑阻塞、图像太暗、暗伪影和图像未居中。结果:总体而言,每个类别的准确度为睫毛存在83.7%,下眼睑阻塞83.7%,上眼睑阻塞98.0%,图像过暗77.6%,暗伪影93.9%,图像未居中91.8%。结论和相关性:该自动算法显示出识别SCD患者中Optos UWF-FP子集上常见成像伪影的前景。正在进行进一步改进,其目标是通过向摄影师提供关于存在的伪影类型和图像重新采集的需要的实时反馈来提高镰状细胞视网膜病变(SCR)中远程视网膜筛查的效率。该算法还可能具有潜在的未来应用性,通过提高UWF-FP图像采集的质量和效率。
利用强度分布监督改进CT扫描中的病变分割和检测
https://arxiv.org/abs/2307.05804
我们提出了一种方法,将CT扫描的目标病变的强度信息,在训练分割和检测网络。我们首先建立一个基于强度的病变概率(ILP)的功能,从强度直方图的目标病变。它用于基于其强度计算每个体素的病变概率。最后,每个输入CT扫描的计算的ILP图被提供作为用于网络训练的附加监督,其目的是在没有附加标记成本的情况下就强度值而言通知网络关于可能的病变位置。该方法被应用于改善三种不同的病变类型,即小肠类癌肿瘤,肾脏肿瘤,肺结节的分割。所提出的方法的检测任务的有效性进行了研究。我们观察到在分割小肠类癌肿瘤、肾肿瘤和肺结节中,就每个病例的Dice评分而言,分别改善了41.3% -> 47.8%、74.2% -> 76.0%和26.4% -> 32.7%。就平均精度而言,在检测肾肿瘤方面实现了64.6% -> 75.5%的改进。ILP图的不同用途的结果和不同数量的训练数据的效果也被提出。