论文阅读--用MRF-YOLO检测野外未开封小棉铃数

Title: Small unopened cotton boll counting by detection with MRF-YOLO in the wild

Abstract: Accurate detection and counting of unopened cotton bolls at the early stage of cotton maturation is an effective way to develop crop load management and harvesting strategies in advance. However, robust and effective detection and counting of unopened bolls under complicated field conditions is a challenging task. In this study, we propose a deep learning method with multi-receptive field extraction based on YOLOX, called MRF-YOLO, to detect and count small targets, which we validate on a cotton boll dataset collected from a cotton farm. In the target detection part, a multi-scale residual block and an attention module are first introduced to enhance the extraction of cotton boll feature details. Second, a multi-receptive field extraction module is added to reduce the loss on small targets in the deep network. Finally, a small target detection layer is integrated to improve detection precision. Compared with existing methods, the proposed model achieves a 14.86% improvement in the average accuracy 50∶95 and 50 of 92.75% while maintaining a high processing speed. In the counting part, we propose a detection-based counting method using MRF-YOLO. The mean squared error and coefficient of determination (2) are 1.06 and 0.92, respectively. MRF-YOLO can be extended to a wide range of small target crop detection, enabling reliable yield predictions under real field conditions.

Keywords: Cotton boll detection; Plant count; multi-receptive field extraction; multi-scale feature; YOLOX

题目：用MRF-YOLO检测野外未开封小棉铃数

摘要：在棉花成熟早期准确检测和计数未开封的棉铃是提前制定作物负荷管理和收获策略的有效途径。然而，在复杂的现场条件下，对未打开的护柱进行稳健有效的检测和计数是一项具有挑战性的任务。在这项研究中，我们提出了一种基于YOLOX的多感受野提取的深度学习方法，称为MRF-YOLO，用于检测和计数小目标，并在从棉场收集的棉铃数据集上进行了验证。在目标检测部分，首先引入了多尺度残差块和注意力模块来增强对棉铃特征细节的提取。其次，增加了多感受野提取模块，以减少深度网络中小目标的损失。最后，集成了一个小目标检测层，以提高检测精度。与现有方法相比，该模型的平均精度50∶95和 50 达到了92.75%，提高了14.86%，同时还能保持较高的处理速度。在计数部分，我们提出了一种使用MRF-YOLO的基于检测的计数方法。均方误差和决定系数(2)  分别为1.06和0.92。MRF-YOLO可以扩展到广泛的小目标作物检测，从而能够在实际田间条件下进行可靠的产量预测。

关键词：棉铃检测；植物数量；多感受野提取；多尺度特征；YOLOX

文章出处：COMPUTERS AND ELECTRONICS IN AGRICULTURE

影响因子：6.757 (2021年)

作者: Qianhui Liu a, Yan Zhang a, Gongping Yang a,b,∗

作者单位:

a School of Software, Shandong University, Jinan 250101, China

b School of Computer, Heze University, Heze 274015, China

1.引言

在棉花生产周期中，未开放棉铃期是棉花生长发育最旺盛的时期。这也是病虫害高发期。棉花未结铃期的施肥、防虫、打顶等田间作业质量直接决定着棉花成熟期的产量和品质。因此，实时动态监测未开封棉铃的发育情况可以提供有用的生长信息。铃数是棉田管理、估产等一系列智能化任务的重要指标之一。准确检测和计数未开封的棉铃虫对于自动化农场的预防和控制管理至关重要，因为它们能够更好地做出知情的管理决策，以提高质量和效率。

传统的棉花生长阶段信息检测方法主要是手动的，这需要频繁的观察和专业知识。上述问题可以通过计算机视觉技术辅助的棉花自动检测来解决。基于图像处理技术结合人工智能的棉铃检测方法可以提高效率，减少人工检测的误差。它还可以用于后续的疾病检测和作物产量预测。在传统的基于机器学习的方法中，研究人员专注于在背景不复杂、目标单一的小路径图像上实现棉花检测。然而，在复杂的自然环境中，各种形状和大小的多目标、植物遮挡、光干扰、叶片反射等因素的存在，会降低传统图像处理方法检测棉铃的稳健性和准确性。传统的基于机器学习的方法不能很好地适应复杂的田间场景，也不能直接应用于田间棉花检测。因此，棉花田间检测是一个具有挑战性的多目标研究问题。

实时动态监测棉花生长期未开封铃的发育情况，可以为早期害虫诊断提供有用的信息，帮助种植者减少作物损失，提高产量。据我们所知，由于缺乏该检测领域具有代表性和可用的公共数据集，很少有发表的文章报道对未开封铃检测的研究。我们收集并构建了一个数据集，其中包含1500张在各种环境条件下从商业农场获得的未开封棉铃的图像。本研究重点研究了一种基于深度学习的小目标检测算法，用于未开封棉铃的检测和计数。

基于深度学习的计数方法可分为三类：基于回归、分类和检测的计数方法。基于回归的计数是一种单阶段策略，使用卷积神经网络提取特征，以直接回归图像中目标结构的连续计数。基于分类的计数是一种类似的策略，但它将图像分类为代表目标结构的离散计数/百分比的类别。我们开发了一种基于检测的计数算法，使用目标检测模型来准确计数复杂棉田中未开封的棉铃。

由于绿色未开封棉铃比开封棉铃小，并且具有与许多背景干扰因素相似的特性，因此在自然环境中检测未开封棉铃具有挑战性。为了解决这些问题，我们设计了一种基于YOLOX的新型未开封棉铃检测和计数集成模型。YOLOX作为YOLO家族中最新的算法模型，具有检测精度高、速度快的优点。然而，原始YOLOX对小、高度重叠和严重遮挡的目标的检测能力不足，容易导致漏检和误检问题。因此，我们提出了多感受野（multi-receptive field，MRF）-YOLO，这是一种适用于未开封棉铃图像中小型目标和复杂检测背景场景的深度学习方法。主干模块采用多尺度残差块，增加了提取棉铃细节的能力。增加了多感受野提取模块，以减少深度网络中小目标的特征信息损失。此外，对特征融合网络进行了细化，提高了检测精度。本文提出的MRF-YOLO算法适用于对未开封棉铃的高精度检测和计数，也适用于其他常见的小目标作物。有望为农业生产管理提供更可靠的支持，具有广阔的应用前景。

2.材料和方法

2.1数据采集

       试验数据来自中国伽师澳都棉场，该棉场棉花纤维产量为40%至41%，平均铃重为4.5g–6g。本研究在3000公顷的棉场上对相距足够远的三个地区进行了实地调查。我们在每个区域随机选择了1-2个具有代表性的采样点进行图像采集。全天环境条件的变化，如光照变化和天气条件，被用作图像采集标准，以确保数据的多样性。我们收集了不同天气条件下的图像，包括晴天（云层较少，光线充足）和阴天（多云和有阴影）。图像数据是在一天中的六个不同时间段采集的，即上午10点（上午阳光强烈）至晚上8点（黄昏阳光较弱）。因此，我们编制了一个数据集，涵盖了各种自然环境中的棉铃虫：前向光、背光、晴天和阴天的环境条件（见图1），确保了图像的充分性及其在现实世界中的可推广性。

图1. 不同时间未开封的棉铃图像示例：（a）10:00至12:00（晴天），（b）11:00至12:00（阴天），（c）12:00至13:00（晴天）、（d）18:00至19:00（阴天）、（e）16:30至18:30（晴天）和（f）10:30至12:00（多云）、（g）12:00至13-00（多云），（h）18:00到20:00（多云日）。

据粗略统计，该数据集中未开放棉铃的大小分布模式如下：小型目标棉铃约占总数的三分之二，而中型和大型目标棉铃所占比例较小。棉花植株上部或主茎附近有少量大铃，但60%以上的铃靶标仅为原始图像大小的十分之一，这意味着小铃靶标数量占大多数。

       用移动相机从棉花冠层上方0.8米的高度拍摄了分辨率为1080×1440的高分辨率图像。拍摄角度分别为向前、向上和多角度。从不同的环境中总共收集了750幅原始图像。

2.2数据预处理和扩充

       为了避免小样本量数据集导致的模型过拟合，使用数据增强方法处理图像，即添加噪声、调整亮度、旋转和翻转（图2）。这些方法使数据量增加了一倍。

图2. 数据集增强：（a）原始图像，（b）噪声，（c）调整亮度，（d）旋转90◦, （e） 旋转180◦, （f） 旋转270◦, （g） 垂直翻转，（h）水平翻转。

这些方法使数据量增加了一倍。添加的噪声增加了模型的鲁棒性，图像旋转和翻转有助于模型的性能。此外，亮度平衡可以消除环境中照明变化对检测性能的影响。最后，使用原始图像和增强图像来组织包含1500幅图像的数据集，用于目标检测算法。这些图像以8:1:1的比例分为训练集、验证集和测试集，分别为1200、150和150张图像。在划分数据集时，只选择原始图像来组织测试集。为了确保测试集中没有增强图像，我们在标记数据集时对原始图像进行了编号。因此，在这项工作中，原始图像被用作测试数据集来解释模型的性能。

我们使用图形图像注释工具LabelIm（GitHub - heartexlabs/labelImg: LabelImg is now part of the Label Studio community. The popular image annotation tool created by Tzutalin is no longer actively being developed, but you can check out Label Studio, the open source data labeling tool for images, text, hypertext, audio, video and time-series data.）在图像中的所有棉铃上手动绘制感兴趣的区域，并生成包含目标类型和坐标信息的XML文件。

2.3 MRF-YOLO结构和实施细节

       图3显示了使用针对小目标棉铃应用场景提出的MRF-YOLO模型的棉铃检测和计数算法的一般过程。在本节中，首先介绍了数据和模型的增强策略。然后介绍了被选为基准模型的YOLOX算法。最后，我们详细描述了MRF-YOLO的结构和实现细节，它在复杂环境中对背景颜色非常相似的小目标棉铃虫的检测具有鲁棒性和有效性。

图3. 提出了通道的检测和计数方法

2.3.1 针对小型对象和拟合模型的数据增强策略

       根据数据集的特点，我们在YOLOX中采用了数据改进的方法。增加了填充增强操作，以解决样本小且不平衡的问题。YOLOX模型使用Mosaic和Mixup（Zhang et al，2017）增强策略来提高性能。我们的调查表明，像MRFYOLO这样的小型模型最好削弱增强功能，因此我们取消了Mixup操作。Mosaic是YOLOv4（Bochkovskiy et al，2020）提出的一种有效技巧，通过随机裁剪四个任意图像并将它们拼接到单个图像上作为训练数据。这使得能够有效地减少GPU占用空间。对于有大量小目标的棉铃虫数据集，我们将Mosaic尺度从[0.1，2.0]降至[0.8，1.5]，以避免图像变得太小并丢失细节。在最后的15个epochs里，我们关闭了MRF-YOLO中的Mosaic增强操作，因为Mosaic生成的训练图像与自然图像的真实分布相去甚远，并且裁剪操作带来了许多标记不准确的盒子。这使得准确性在最后的训练阶段显著提高。

       由于棉铃目标通常只有原始图像大小的十分之一，并且背景区域大大超过了目标区域，因此必须增强数据集的正样本，使模型更专注于学习小目标。我们采用了填充操作，通过随机选择图像，裁剪其中的目标，然后将目标随机粘贴到其他图像。这样，在训练过程中增加了单个图像中小目标的正样本数量，改善了小目标稀疏场景中较差的检测精度。我们选择粘贴次数为3，以确保粘贴过程不会与当前标记的目标重叠，增强图像如图4所示。数据增强策略显著增强了模型的可推广性，显著减少了样本量不足和样本分布不平衡的问题，显著提高了小目标棉铃的检测效果。

 

图4. 数据增强策略：（a）原始图像（b）填充操作后的增强图像。

2.3.2 YOLOX

       MRF-YOLO是在YOLOX的基础上改进而来的，MRF-YOLO是在YOLOX的基础上改进而来的，。YOLOX提供了迄今为止YOLO系列中速度和精度的最佳平衡，并将YOLO检测器切换到无锚框方法，同时添加了最新的先进检测技术和前沿标签分配策略，如解耦合头(Decoupled head)和SimOTA。

注释：

1. 耦合头（Coupled head）：将卷积层输出的特征图直接送入几个全连接层或卷积层中，以生成目标位置和类别的输出。

2. 解耦合头（Decoupled head）：将目标位置和类别信息分别提取出来，通过不同网络分支分别学习，最后再进行融合。

 目标检测中分类和回归任务之间的冲突仍然是一个问题，解耦合头可以单独执行分类和定位，并且只在预测过程结束时将它们组合在一起，这是避免此类问题的一种很好的方法。然而，YOLO系列相关检测器的检测头保持耦合，即在1×1卷积中进行分类和回归，这降低了检测性能。因此，YOLOX将YOLO的头部替换为解耦头部（YOLO头部），这大大提高了收敛速度，如图5所示。

 

图5. YOLOX的解耦合头。对于每一级FPN特征，首先采用两个具有两个3×3卷积层的平行分支，

然后添加一个1×1卷积层以减少特征通道。

       与有锚框(anchor-based)的检测器不同，例如YOLOv4和YOLOv5，它们也使用手工分配的规则进行训练。YOLOX的无锚框(anchor-free)算法在保证检测性能的同时，显著减少了检测器参数和GFLOP的数量，满足了实际应用中的轻量级要求。最后，YOLOX必须完成标签分配以计算损失；具体方法是在初步筛选阳性样本后使用SimOTA优化锚定筛选。

       SimOTA选择成本最低的前k个预测作为其正样本。与这些预测相对应的网格标记为正，而其余网格标记为负。这种动态、先进的标签分配技术提高了检测精度，并为在具有挑战性的情况下检测绿色棉铃虫提供了坚实的基础。

       图6显示了YOLOX的结构。与之前版本的YOLO一样，YOLOX仍然可以分为三部分：backbone, neck, and YOLO head。Focus、CSP、SPP和PANet是主要组件：Focus用于改进接收域(reception domain)，CSP用于提取特征信息，SPP是分离重要的上下文特征并改进网络的非线性表示，PANet是融合高低特征以提高检测精度并获得更强的特征图。

       根据网络的深度和宽度，YOLOX有四种类型：YOLOX-S、YOLOX-M、YOLOX-L和YOLOXX。YOLOX-S结构最简单，运行速度快，满足实时检测要求。我们以YOLOX-S模型为出发点；然而，在真实条件下，未开封的棉铃很小，经常处于堵塞状态，YOLOX-S的检测精度不足以满足实际产量预测标准。在分析数据集特征和YOLOX网络结构的基础上，我们提出了MRF-YOLO。

2.3.3 用于检测的MRF-YOLO

       MRF-YOLO是一种轻量级、实用的检测和计数模型，可应对复杂农场环境中难以检测小铃和耗时的棉花产量人工计数的挑战。具体改进点如图7所示：（1）多感受野提取模块设计用于获取丰富的信息；（2） 应用特征提取部分中的bottleneck_se块来代替原始残差结构；（3） 针对小目标的特点，增加了小目标检测层，对PANet进行了改进；（4） 培训采用了多种先进的策略。MRF-YOLO模型显著提高了小目标棉铃的检测精度。

图7. MRF-YOLO的结构

（a）多感受野(Multi-receptive field)提取模块

       我们使用了尺寸为1080×1440的高分辨率图像，其中包含更详细的信息。然而，具有更高分辨率的图像需要神经元具有更大的感受野才能获得有效的语义。我们将输入特征图划分为大小为C/2×H×W的两个尺度X1和X2，以有效地从每个感受野捕获丰富的上下文信息，如图8所示。对于X1，使用具有不同膨胀率的膨胀卷积从不同感受野捕获信息，然后通过DenseNet中提出的密集连接进行合并，以获得Y1。根据数据集的特征，将膨胀率选择为3、6、12和18，并且在不汇集信息的情况下扩大感受野，以使每个卷积输出包含更大范围的信息。密集的连接以前馈的方式连接到每一层，以产生易于训练且参数高效的浓缩模型。对于未改变的尺度特征空间特征X2，执行深度可分离卷积来提取特征Y2，以保持初始输入的粗粒度信息。将两个比例拼接在一起以生成最终输出特征。

       在本研究中，将多感受野提取模块引入主干、C5和C4的最深输出，以扩大深层网络的感受野，减少小目标棉铃特征的损失。

（b）Bottle2neck_se多尺度块

       YOLOX采用以CSPDaknet为骨干特征提取网络的残差网络。当使用CSPNet结构时，原始堆叠的残差块被分为左右两部分，如图9（a）所示：内部残差结构瓶颈和外部残差边缘，经过少量处理后直接连接到末端。残差网络易于优化，并通过增加深度来提高精度。然而，由于数据集的背景信息比目标对象棉铃占据了更大的面积，因此需要更好地设计刺激特征的多尺度提取模块。

     bottle2neck_se模块在更精细的粒度级别上改进了多尺度表示，用一组更小的滤波器取代了瓶颈中的3×3滤波器。如图9（b）所示，特征层分为四组，第一部分不操作，第二部分通过3×3卷积层，第三部分在通过3×4卷积层之前与第二部分的卷积特征图相加，第四部分与第三部分相同，最后，所获得的四个部分的特征图被缝合成与输入层的输出相同数量的层。为了避免丢失特征信息，我们删除了瓶颈块中的1×1卷积，并使用SE模块对原始输出进行进一步加权。注意力机制的主要目的是从大量信息中选择对当前任务目标更关键的信息。SE模块侧重于信道信息，与残差模块结合后，SE模块更侧重于包含目标对象的信道层，这减少了来自树叶和复杂背景的干扰。

 

图9. CSPnet（a）和改进的Res单元Bottle2neck_se Block（b）的结构分解。

（c）小目标检测层

YOLOX在颈部网络结构中采用了三层尺度的特征图层设计，以8×、16×和32×下采样的特征图作为640×640输入图像尺度的特征层来检测不同大小的目标。然而，由于棉铃体积较小，其像素特征与自然光下的叶片相似，因此原始的颈部PANet无法满足当前的检测精度标准。由于浅层神经网络的细节更丰富，这意味着浅层特征可以保留更多的小目标，我们在特征融合网络连接中添加了小目标检测层和上采样和下采样的过程，以有效地整合浅层特征中的细节，更好地识别小目标。改进的颈部网络在不显著增加网络复杂性的情况下结合了浅层特征的映射。

       我们添加了一个4×下采样的特征图作为原始输入图像尺度的特征层，如下所示：对特征融合输出C3’进行上采样，然后与主干的C2层融合，生成新的F3特征图。然后对生成的F3特征进行下采样，并将获得的较大尺寸的特征图用作新的检测层YOLOX头，用于小目标检测。MRF-YOLO被改进为使用四个检测层进行检测。四种检测尺度被设计为利用底层特征的高分辨率和深层特征的高语义信息。如图7的颈部所示，这增强了网络的特征转移，可以在浅层网络中重用小目标棉铃，有效提高了检测精度。

（d）Alpha IoU损失和元ACON激活函数

       IoU是对象检测中的常用评估度量，用于评估预测框B和模型的人工标注Bgt之间的距离。计算公式如公式4所示。与其他损失相比，IoU损失对边界框尺度是不变的。但是，当两个框B和Bgt不重叠时，该值为零。因此，没有返回梯度，导致检测器不准确。

 

为了解决这个问题，我们使用了先进的IoU损失函数Alpha IoU（HE等人，2021）进行精确的边界框回归，而不是YOLOX的原始IoU损失训练回归分支。Alpha-IoU(α-IoU) 应用Box–Cox变换（Box和Cox，1964），并将IoU损失推广为功率IoU损失Lα-IoU, 然后，它被扩展到一个更一般的形式，带有一个附加的幂正则化项，该项可以表示如下：

通过调正α为了给检测器提供更大的灵活性，α-IoU显著优于现有的基于IoU的损失，对小数据集检测有显著改进。我们还介绍了meta-ACON（Ma et al.，2021）激活函数与HardSwish（Howard et al.，2019）激活函数的结合。meta-ACON激活函数可以是动态自适应的并且用参数来控制（无论激活函数是线性的还是非线性的）。在深度网络中取得了显著成果。在先进训练策略的帮助下，MRF-YOLO模型在小目标的棉检测方面比基线提高了近7%，满足了实际生产需求。

2.3.4 MRF-YOLO计数

       我们将MRF-YOLO模型应用于准确的棉铃检测和基于检测的棉铃计数，以创建一个完整有效的产量预测工具，满足收获期铃产量预测的需求。我们随机选择了100张640×640输入量表的图像，并运行训练后保存的最佳模型来确定棉铃数量。在每个检测到的棉铃周围应用边界框。因此，边界框的数量表示每个图像中检测到的棉铃目标的数量。计数过程首先从注释文件中确定图像中棉铃的真实数量，然后评估并将其与模型计算的数量进行比较。MRF-YOLO模型计数是在适用于棉铃数据集的设计网络架构上进行的，因此实现了相对较高的计数精度(R2=0.92）。计数结果如图10（a）和（b）所示。

图10. MRF-YOLO的计数性能

3. 结果

3.1实验配置

       在本研究中，我们的模型和所有比较模型在GPU服务器上执行检测操作。表1显示了实验配置。在检测过程中，总共使用了1200张未开花棉铃的图像进行训练。本实验中所有目标检测算法的随机梯度下降（SGD）动量被设置为0.9。初始学习率设置为0.01，权重衰减为0.0005，并采用预热学习率策略，热身训练轮次(warm-up epoch)为5。在训练过程中，由于GPU内存的限制，批次大小被设置为8，总共进行了200个历时。

       计数操作由本地CPU执行。我们从测试图像中随机选择100张图像用于计数实验。输入大小固定为与用于检测过程的大小相同的大小，为640×640像素。

3.2评估指标

       我们使用精确度、召回率、平均精确度和GFLOPs指标来评估MRF-YOLO的检测性能。精度是指所有预测样本中实际阳性样本为阳性的概率。它测量正样本结果预测的准确性。回忆是实际正样本被预测为正样本的概率，代表总体预测精度。它们的计算如等式（8）和（9）所示。

其中真阳性（TP）表示对棉铃目标的正确预测；假阳性（FP）表示背景或其他特征被预测为棉铃的情况；假阴性（FN）是指棉花目标样本被误认为其他特征。

       精度-召回曲线或P–R曲线是通过将精度和召回分别设置为垂直轴和水平轴来给出的。P–R曲线下的面积称为平均精度（AP），如等式10所示。

其中真阳性（TP）表示对棉铃目标的正确预测；假阳性（FP）表示背景或其他特征被预测为棉铃的情况；假阴性（FN）是指棉花目标样本被误认为其他特征。

       精度-召回曲线或P–R曲线是通过将精度和召回分别设置为垂直轴和水平轴来给出的。P–R曲线下的面积称为平均精度（AP），如等式10所示。

我们将单个类别的AP表示为每个类别的AP值的总和，以描述平均精度（mAP），因为我们的研究中只有一类目标棉铃。AP50是IoU=0.5时不同召回的平均准确度。IoU测量预测目标与人工标注重叠的程度。AP50∶95是AP50，AP55……AP90等十个值的平均值，如等式（11）所示计算。GFLOP表示在GPU条件下该模型的浮点运算次数（以千兆位为单位）。

平均绝对误差（MAE）、平均绝对百分比误差（MAPE）、决定系数(R2），和均方根误差（RMSE）作为评价指标来评估模型在棉铃计数中的性能。MAE反映了棉花铃株的真实数量与计数数量之间的平均差异，并且MAPE越小，模型越接近完美。RMSE是基于MSE的观测值和真值之间偏差的平方根度量，它经常被用作机器学习模型性能的度量。公式如下：

其中mi 、mi 和ci 分别表示注释文件中第i个图像的实际数、平均实际数和第i个图像的预测数。N是测试图像的数量

3.3模型性能和比较

3.3.1 消融实验(Ablation experiment)

       为了证明MRF-YOLO的有效性，我们对数据增强处理方法和改进的架构进行了消融实验，如表2所示。✓表示启用的方法或模块。

表2. 模型消融实验。

 从表2中可以看出通过采用填充数据增强方法，AP50从85.76%提高到88.11%, AP50:95提高了8.78%，说明该方法有效地缓解了小目标检测的困难。用bottleneck_se模块代替残差块提高了多尺度特征提取能力，AP50提高到89.48%。将小目标检测层引入特征融合后，检测精度分别提高了1.15%和2.42%。加入MRF提取模块后，模型AP50最终达到92.75%，精度和召回率都有所提高。如图11显示，MRF-YOLO模型在不同环境条件下检测小目标棉铃时表现良好。

图11. 在不同时期和天气下检测到的棉铃虫：

（a）11:00至12:00（晴天）之间的图像，（b）16:30至18:30（晴天）期间的图像。

3.3.2 检测模型评估

     我们比较了两阶段算法Faster R-CNN、一阶段检测器YOLOv3、YOLOv4、YOLOv5、SSD、RetinaNet、YOLOX、一种改进的基于YOLOv5的未开封棉铃检测方法和MRF-YOLO算法在未开封棉铃数据集上的检测性能。作为一种两阶段算法，Faster R-CNN具有良好的检测精度。与其他单阶段算法不同，Faster R-CNN使用区域建议网络来生成潜在区域，这些区域被映射到特征图上以获取特征矩阵，因此模型更复杂。单阶段算法，如SSD和YOLOv3、YOLOv4、YOLOv5等YOLO系列算法，使用锚框的多纵横比加上多尺度检测技术，以实现比两阶段算法更快的运行速度。然而，检测精度稍差。RetinaNet是一种单阶段算法，它提出了Focal Loss来进一步提高检测性能，达到了两阶段算法的检测水平。作为YOLO家族中最新提出的算法模型，YOLOX使用无锚框技术来实现速度和精度之间的良好平衡。比较模型的运行环境如表1所示。实验结果如表3所示。

表1. 实验配置

表3. 目标检测算法的比较

 根据实验结果，MRF-YOLO模型在精度、召回率和平均准确度方面优于所有比较的检测算法。与两阶段目标检测更快的R-CNN和RetinaNet相比，MRF-YOLO实现了更高的平均精度，并且网络中的计算量减少了五分之四。与YOLO系列单目标探测模型相比，MRF-YOLO实现了探测精度AP50分别比YOLOv3和YOLOv4高9.35%和8.68%，GFLOP减少了三分之一。与YOLOv5相比，MRF-YOLO的复杂性降低了，这意味着在处理速度方面具有优势。与最初的YOLOX相比MRF-YOLO的AP50：95从59.67%显著提高到74.35%，提高了查准率和查全率。图12显示了AP曲线的比较。

由于MRF-YOLO通过集成多个模块来提高小目标的检测性能，因此网络的GFLOP和计算量的增加是不可避免的，这增加了模型的复杂性和训练时间。为了解决上述限制，我们用深度可分离卷积取代了模块中的标准卷积，这有效地降低了模型复杂性、网络参数和计算。与原始YOLOX相比，MRF-YOLO的GFLOP从32.64略微增加到42.87，这表明MRF-YOLO模型的复杂性和训练时间略高于原始模型。作为YOLO家族中最新提出的算法模型，YOLOX具有检测精度高、检测速度快的优点，与YOLO系列中的其他模型相比，它在速度和精度方面取得了卓越的平衡。所提出的MRF-YOLO具有YOLOX的网络轻、模型小、模型检测速度快等优点，但也比原来的YOLOX具有更高的检测精度。尽管MRF-YOLO的计算成本略高于原始模型网络，但其模型复杂度仍低于其他一阶段和两阶段检测模型，从而实现了更快的运行速度，并显著提高了AP和召回率。因此，MRF-YOLO算法的综合性能优于其他比较算法。

       图13说明了MRF-YOLO和YOLOX模型对相同数据的检测性能。与原始YOLOX模型相比，MRF-YOLO中更丰富的多尺度特征信息有效地降低了模型的误检率，如图13（a）和（b）所示。MRF提取模块的引入和特征融合网络的改进使我们的模型能够检测YOLOX遗漏的小目标棉铃，即使在存在复杂背景的情况下，如图13（c）和（d）所示。我们发现，MRF-YOLO偶尔会识别出置信度得分较低的目标，这是由树叶遮蔽棉铃和反射阳光造成的。

图13. YOLOX与MRF-YOLO检测结果的比较。

YOLOX对于（a）、（b）具有误检测率，并且对于（c）和（d）具有漏检率

MRF-YOLO正确地检测（a）、（b）、（c）和（d）

3.3.3 计数中的模型评估

       我们在测试集中随机选择了100张图像，基于最佳模型对棉花铃目标进行了计数。表4显示了YOLOX和MRF-YOLO模型的性能。

表4. 均方根误差（RMSE）、平均绝对误差（MAE）、决定系数(R2)

和用YOLOX和MRF-YOLO模型计算棉铃的平均绝对百分比误差（MAPE）

 

YOLOX模型的计数度量实现了0.81的R2值，而MRF-YOLO模型实现了0.92。与原始模型相比，MRF-YOLO的RMSE值和MAE值分别降低了50%和56%，表明MRF-YOLO在棉铃计数中实现了更高的精度。

       图10展示了MRF-YOLO模型的计数性能。如图10（a）和（b）所示，MRF提取模块的引入提高了MRF-YOLO对小目标的检测能力，从而实现了对特定棉铃目标相对较高的计数精度。因此，由于模型的错误检测率降低，有效地减少了来自假阴性的计数误差，如图10（c）和（d）。例如，在图10（d）中，只有一个棉铃目标被误认为其他特征会导致假阴性误差。通过对计数损失的分析，我们发现计数误差可能主要来自假阳性。大多数假阳性误差是由预测为棉铃的叶片引起的，例如图10（c）中的铃9和图10（d）中的铃11。假阳性的原因推测如下：周围叶片的颜色特征与未打开的棉铃非常相似，而叶片表面光滑，可以反射阳光。当叶片从一定角度反射阳光并卷曲成类似棉铃的椭圆形时，该模型可能会以较低的置信水平将其检测为棉铃。此外，表4中假阴性或假阳性的计数误差在统计学上低于原始YOLOX模型的计数误差。

       我们得出结论，MRF-YOLO有效地提高了铃检测和计数的性能，并在产量预测任务中具有实际应用。

4. 分析与讨论

       对于数据集，本研究中未打开棉花铃目标对象属于1080×1440像素图像空间中大小不超过60像素的小对象。因此，为了保证实际生产的应用要求，需要对模型进行数据增强处理，以更好地实现检测精度，并为下一步的预测奠定基础。

       在目标检测中，YOLOX在处理输入数据的同时对原始图像进行缩放，降低了网络的特征提取能力。对于我们的数据集，图像分辨率很高，并且在缩放时会丢失细节。因此，应用于该任务的YOLOX仍然可以改进。为了解决YOLOX网络结构造成的信息限制，通过增强多尺度特征提取、融合多层次特征、增加感受野等方法对YOLOX进行了改进，有效提高了小目标检测的精度。

       对于计数部分，我们考虑并比较了基于回归、基于分类和基于MRF-YOLO检测的方法，并决定将计数部分纳入检测模型。基于回归和基于分类的方法可能会遇到过拟合问题。此外，对于我们复杂的环境数据集，特征提取能力不足，计数精度达不到要求的标准。因此，MRF-YOLO模型在计数的同时保证了检测的准确性，便于在真实的农场环境中应用。

5. 结论

       本文提出了基于深度学习的MRF-YOLO算法，用于精确检测和计数农场未开封的棉铃。我们重建了一个适用于作物图像中小型目标和复杂检测背景场景的深度卷积网络。通过在主干模块中引入多尺度块、添加多接收场提取模块以及融合多层次特征，提高了小目标检测的准确性。MRF-YOLO在检测小型和遮蔽的棉铃虫方面表现良好，实现了速度和准确性的平衡。MRF-YOLO模型在复杂的野外环境中具有较强的鲁棒性，扩展了YOLO在遮挡和重叠条件下的适用性。该方法对棉花种植季节产量预测和智能田间管理具有一定的指导意义。MRF-YOLO算法作为一种新型的综合检测和计数模型，不仅适用于对未开封棉铃的高精度检测和计数，而且可推广到其他常见的小目标作物，为促进精准农业的智能化发展提供了有效的自动化工具。未来，我们的目标是获得并组合基于MRF YOLO的棉铃虫视频数据集，用于实时移动检测。将创建一套用于精准农业应用的实时工作流程，以检测即时图像中的微小目标作物。