基于高草压数据集和改进PSP网络的杂草密度检测方法

新词1：高胁迫杂草
解释1：高胁迫杂草环境是指生长在受到严重压力和恶劣条件影响的环境中的杂草植物。这些环境可能包括干旱地区、贫瘠的土壤、高盐度土壤、污染区域或其他不适宜大多数植物生长的地方。
大规模喷洒在农田是最广泛使用的除草方法之一。
新词2：处方图
解释2：Prescription maps（处方地图）是农业领域中的一种空间变量施用地图，用于指导农业输入物质（如化肥、杀虫剂或除草剂）的施用。这些地图根据多种因素创建，包括农田的土壤特性、作物需求、病虫草害风险、历史产量数据等。

摘要

准确检测杂草密度对提高农药利用率、减少环境污染具有重要意义。
本文的目的是将传统的图像处理技术与深度学习技术相结合，研究高胁迫杂草环境下杂草数据集的半监督标注和杂草密度检测方法。
首先，本文利用作物数据集训练U-Net实现作物分割，并利用颜色指数和Otsu阈值分割算法实现植被分割。
然后，通过从植被分割结果中去除作物区域来实现杂草分割，并将分割结果制成杂草数据集。
使用该数据集训练改进的 PSP 网络并执行杂草分割。
对获得的按区域分割的图像计算杂草像素数与该区域总像素数的比值来测量杂草密度。
最后，根据杂草密度阈值生成代表不同处理强度的处方图。
结果表明，EXG 颜色指数在杂草注释方面优于其他三个指数
关键词：数据注释、图像处理、处方图、语义分割、杂草密度检测

1、介绍

杂草防治是农业生产的重要环节，对于提高农作物产量和品质起着至关重要的作用。如何有效清除杂草一直是农业工作者面临的难题。在现代农业中，化学除草剂被广泛应用于大面积的农田喷洒，以达到除草的目的。这种做法，不符合实际大田环境中杂草分布不均匀的特点。在无杂草地区喷洒除草剂，造成了除草剂的浪费，增加了除草成本。此外，过量使用除草剂会损害农田生物多样性和食品安全。
因此，减少除草剂使用的选择性喷洒设备，得到了广泛的研究。这类设备必须基于对目标信息的准确感知来实现无人精准除草，而要解决的关键问题之一就是实现对田间杂草密度的准确检测。
在最近的研究中，卷积神经网络在机器视觉应用中表现良好，基于监督学习的语义分割方法：U-Net、Deeplabv3、PSP Net、Transformer等。缺点：像素标注方法需要高度的人工干预和领域专业知识，因此在标注过程中需要大量的时间和精力。特别是在杂草压力高的真实田间环境中，单个图像中可能包含作物以及大量杂草，叶子相互遮挡。杂草和背景之间的界限很模糊。这使得数据注释任务更具挑战性。如何降低或避免有监督学习方法带来的标注成本，成为实现杂草密度检测的关键问题。
重点：
1、基于作物行检测
鉴于作物种植是按照规则的行距排列的特点，一些解决方案使用作物行检测作为更精确的行内杂草分割的基础。Lottes 和 Stachniss 假设行之间的绿色植被是杂草，并在作物行内以概率方式结合基于图像的分类器和几何分类器，以便在用少量注释数据进行训练后实现作物和杂草分类。
加西亚-桑蒂兰和帕哈雷斯利用马氏距离来测量图像光谱的相似性，并结合贝叶斯分类方法来识别和分类田间作物行中的杂草。提出了一种基于绝对特征角点(AFCP)的杂草和作物角点提取方法。通过结合绝对角来识别杂草的位置，这种方法避免了直接检测作物行，减少了计算量，提高了处理速度[19]。基于作物行检测的方法在很大程度上依赖于规则播种和连续苗行。随着这些条件的恶化，杂草密度检测的准确性下降[20]
2、深度学习方法与传统的图像处理技术相结合
针对单一种植和易于野外标注的特点，部分方案将深度学习方法与传统的图像处理技术相结合。邹等采用过绿减去过红指数的方法对无人机图像进行植被分割，得到[21]。他们采用改进的U-Net实现无人机图像中的农作物分割，将农作物从植被分割结果中剔除，将剩余的植被视为杂草。Jin等利用稍作修改的overgreen index实现植被分割，利用YOLO V3检测种植区，确定种植区以外的植被均为杂草[22]。
该方法避免了对杂草数据集的直接标注，缩短了标注时间。但植被、作物、杂草三步分割处理时间长，模型实时性不强，不利于实际应用。
3、无监督
在上述研究的基础上，提出了利用无监督手段实现植被分割的方法，并对植被分割结果进行分类，实现杂草分割。Shorewala等将去除背景后的植被分割图像切割成大小相同的像素块，然后使用微调CNN分类器对具有植物像素的块进行分类，从而识别杂草区域，计算杂草密度[20]。Mishra等对分割后的像素块进行分类后，将深度卷积神经网络(deep convolutional neural network, DCNN)模型训练为训练数据，实现直接杂草分类[23]。该方法简化了杂草分割过程。但在分类过程中，忽略植被像素较少的像素块，根据杂草像素和作物像素在像素块中的比例，将整个像素块分类为某一类。这种处理方法会导致部分杂草的像元丢失或分类错误，影响杂草密度的最终计算结果。

针对高杂草压力环境下的杂草密度检测问题，结合传统的图像处理方法和深度学习算法，提出了一种基于高杂草压力数据集和改进PSP网络的杂草密度检测方法。该方法从数据集的标注和杂草的直接检测入手。
贡献：
1、引入一种半监督数据标记方法。该方法利用基于作物数据集的U-Net模型和基于颜色指数的Otsu阈值分割算法，将杂草区域的直接注释转换为间接注释。该方法解决了在杂草压力高的图像中手动标注杂草区域的费力和耗时的任务。
2、对PSP Net语义分割模型进行了改进，使其适用于高杂草压力环境下的杂草分割模型。为了提高模型的实时性，我们引入了轻量级的MobilenetV3作为骨干特征提取网络。为了减少金字塔特征提取模块后重构和放大的特征特征图中高频细节的丢失，我们采用了双三次插值方法，该方法可以提供更平滑、更详细的插值结果。之后，我们引入了卷积块注意模块，增强了模型对关键特征的注意，提高了模型的鲁棒性。结合合理的训练策略，PSP Net在高杂草压力数据集上取得了显著的性能提高。
3、通过滑动窗口扫描算法和像素计数算法，实现了杂草密度的计算和区域分级，并生成处方地图。

3、结论

本文主要研究高杂草压力环境下的杂草密度检测问题。我们研究了高杂草压力图像的快速标记，并提出了一种改进的卷积神经网络。首先，我们介绍了一种简单的半监督标记方法，适用于高杂草压力下的图像。该标记方法能够对杂草压力高的图像进行有效的标注。其次，我们提出了一种改进的PSP网络模型，可以准确地分割高杂草胁迫下的区域。
其中，半监督数据标注分三步进行。首先对U-net语义分割模型进行训练，利用监控标注的作物数据对作物进行检测。其次，利用ExG颜色指数和Otsu阈值算法对原始图像进行植被分割。最后，去除植被分割结果中包含的农作物像素，将剩余的植被视为杂草。最后通过对图像进行形态学处理得到杂草标注，与原始图像形成完整的杂草数据集。
在此基础上，对PSP网络模型进行了改进和训练。改进后的PSP网络模型的MIoU、mPA和准确率分别提高了2.15%、0.92%和1.16%，模型检测速度提高了6.9倍。与原模型相比，改进模型的精度和实时性有了显著提高。
最后，基于改进的模型，本文实现了杂草检测和杂草密度计算。该方法得到的杂草密度结果与实际值之间的决定系数(R2)为0.83，均方根误差(RMSE)为0.17。除草密度阈值生成的处方地图精度为78%。以上结果表明，本文方法的检测结果与实际结果具有较强的相关性，预测结果准确可靠。
在杂草压力大、杂草分布不均匀的农田中，人工监测和注释杂草是一项成本较高的工作。考虑到作物种植的单一性和规律性，本文对作物的监督标注方法更有利于降低数据集标注的时间成本，加快监督卷积神经网络在杂草密度检测任务中的应用。
本文提出的方法可以应用于一些基于杂草密度变化的杂草除草方法，如可变喷雾和可变火焰除草，有利于降低除草成本和环境污染。未来的工作将优化植被分割方法，提高杂草数据集的标注质量，并将其与变量喷洒除草机器人相结合，进行杂草密度检测，并应用于实际的田间场景。