基于高效多分支卷积神经网络的生长点精确检测与生态友好型除草

摘要

在本研究中，我们提出了一种基于编码器-解码器的双解码器分支卷积神经网络来检测杂草生长点。
该解码器融合了空间注意力和通道注意力，并采用了一种新的激活门机制来控制注意力。
我们还提出了一种简单而有效的策略来组合解码器分支的输出。在包含不同杂草生长阶段的野外数据集上对该方法进行了测试，并与基于点度量的最新方法进行了比较。
结果表明，该方法优于现有方法，检测率为0.8505，精度为0.8641，漏检率为0.1391,RMSE为22.68,MAE为17.95。实现代码可以访问https://github.com/dewamsa/WGPdetection.git。

1、介绍

已经发展了几种控制杂草的方法，包括使用除草剂和人工除草。然而，这两种方法都有局限性:除草剂可能导致作物污染和环境污染(fenimore et al.， 2016)，而人工除草是劳动密集型的，并不是所有情况下都有效。区分作物和杂草可能是一个挑战，特别是在杂草生长迅速，场景变得更加复杂的情况下。在这种情况下，基于深度学习的视觉系统可能是一个有用和可行的解决方案。
针对以往研究的一些局限性，本研究提出了一种新的杂草生长点检测方法，以有效地控制杂草。具体而言，该方法包括一个提供空间信息的快速连接的编码器-解码器卷积神经网络(CNN)，一个解耦的注意机制和一个切换机制，以控制每个解码器使用的注意类型，一个鲁棒空间注意反向机制，并为解码器的两个分支的输出提供了一种高效的归并机制。第一个分支训练生成热图，热图广泛用于计数任务(Khaki et al.， 2022;卢和曹，2020;He et al.， 2022)，而第二个分支是在分割任务训练。我们的实验表明，heat - map分支比分割分支检测到更多的目标物体，但也产生更多的假阳性。通过结合这两个分支的输出，我们可以充分利用它们的优势，提高方法的整体性能。

2、相关工作

2.1 杂草检测，高效除草

杂草检测是一项困难的任务，农作物和杂草之间的高度视觉相似性，以及复杂的和被遮挡的田野场景。Hasan等人(2021)强调了这一任务中的主要挑战。此外，杂草的生长在后期会很快成为问题，因为它们通过风传播种子，导致杂草数量增加。人们提出了各种方法来应对这些挑战，并在现场场景中定位杂草。
Guerrero等人(2017)利用几何方法通过视觉系统检测作物行数和杂草密度。
Wang et al.(2020)采用了语义分割和编译码卷积神经网络，并扩展卷积层来区分农作物和杂草，得到了88.91%的MIoU。
Moazzam等人(2021)对甜菜作物采用了一种基于补丁的图像分类方法，尽管这种方法在杂草检测中被发现效率较低。Shorewala等人(2021年)也使用了基于地块的分类，首先检测植被，然后区分作物和杂草。Zhang等(2022)利用传统的特征提取器，如方向梯度直方图和局部二值模式，从图像小块中提取并使用支持向量机进行分类。他们的数据集很简单，因为背景已经被删除了。相比之下，Jin等人(2021年)使用CenterNet来检测作物，然后检测剩余的绿色对象作为杂草，尽管这种方法很耗时。
此外，Kim和Park(2022)提出了一种多任务语义分割卷积神经网络，该网络将两个编码-解码器模型按顺序堆叠，用于杂草检测。Wang等人(2022)为此提出了一种新颖的双注意网络。Zou等人(2021年)改进了用于田间图像杂草分割的U-Net体系结构，但指出用这种方式精确标记杂草的语义分割存在挑战。
以往的杂草检测研究大多集中在小的农田区域，并使用不同分辨率的数据集。
其他研究也发现了标签过程中由于遮挡和环境变化而面临的挑战，特别是在高分辨率图像中。
基于patch的方法将原始图像裁剪成更小的patch，会导致杂草的外观不完整，使得分割方式中的基于像素的标注变得不合适。为了解决这个问题，我们使用了一种语义图形方法，其中用圆形区域标记目标目标(杂草生长点)(参见第2.3节)。这为检测模型提供了关于焦点区域的具体而清晰的信息。

2.2 用于密集预测任务的编解码网络

针对密集预测任务，提出了几种利用编码器-解码器网络的方法。Ronneberger等(2015)介绍了U-Net，一种带有跳跃连接的u型卷积神经网络，用于生物医学目标分割。Zhou等人(2018)对U-Net进行了改进，引入了UNet++，它使用嵌套和密集的跳过连接来捕捉更详细的细节。Chen等人(2018b)的DeepLabV3+利用atrous卷积来控制网络计算的特征分辨率。Sun等人(2019)提出了高分辨率网络(HRNet)，其目的是通过使用并行多分辨率卷积和重复多分辨率融合来保持高分辨率表示。Yuan等人(2020)引入了对象上下文表示概念，该概念通过利用相关目标区域的表示来增强单个像素的表示。Fan等人(2020)提出了MA-Net，这是一种具有编码器和解码器部分以及两种类型的自注意机制的多尺度注意网络。传输学习也可以用来提高编码器-解码器网络的性能，编码器通常使用在ImageNet数据集上训练的预训练网络进行初始化。

2.3 语义图形是一种有效的标签方法

语义图形是一种标签方法，它允许在直观图形中编码人类的知识或意图，甚至可以很容易地为复杂的场景进行注释。这种技术可以通过视觉手段清晰而简洁地表示信息。Adhikari等人(2019)首次引入了用于水稻品系检测的语义图形概念。这种方法比标记单个稻田更简单，因为它涉及到画一条有意义的线，可以快速完成。Ilyas等人(2021年)也使用语义图形来标记草莓，以预测草莓成熟程度并在给定场景中计数，证明该方法比边界框和语义分割注释快3-5倍。
杂草在天然农田中的生长呈现出复杂多变的景象，杂草的大小、土壤结构各不相同，杂草的分布和密度是随机的。为了有效地建模和消除这些杂草，一个有效的标签方法，提供清晰和简单的标签是必要的。通过瞄准植物的“生长点”，即新茎、新叶和新细胞出现的地方，就有可能阻止杂草的生长并有效地消灭它们。为了实现这一目标，重要的是要有可以轻松地使用神经网络建模的数据。
本研究的目的是利用语义图形对杂草生长点进行识别。观察到杂草的生长点通常位于杂草的几何中心。因此，直接标记生长点比使用语义分割标签分割杂草的所有部分更实用。当场景中包含数百个杂草时，语义图形方法更有效。在本研究中，使用圆圈来标记杂草的生长点。

3、总结

在这项工作中，我们提出了一种有效的生长点检测方法，该方法基于编码器-解码器卷积神经网络，在解码器中嵌入解耦注意力，在编码器中预先训练 EfficientNet B6。我们的结果表明，热图和分割分支的组合比使用任何一种方法都要好。