Verification of improved YOLOX model in detection of greenhouse crop organs: Considering tomato论文笔记

摘要-论文主要提升阶段-模型调整和实验环境-主要处理过程-对比其他常用目标检测模型-结论与讨论

1.摘要

1.样本均衡、随机变换和马赛克增强被用于识别多目标和小样本图像。
2.解耦的头部结构，并根据无锚概念重新设计了检测头部
3.基于两步微调多轮优化策略训练，构建了一种高效的番茄花果识别模型。
4.针对不同的农业场景，设计了两套不同性能的轻量级检测网络。YOLOXMOB模型的大小较小（仅34.2MB），mAP高达81.39%，检测速度为61.85FPS。建议将其用作移动的设备的部署模型。
5.YOLOXPC网络层深，性能强，mAP达到86.16%，推荐用于监控调度计算机。

2.解决多尺度问题的方法

前人是如何解决这个多尺度问题的了？
1） 使用多尺度特征做检测
2）dilated/deformable convolution用于增加大目标的感受野
3） independent predictions at layers of different resolutions
4）context
5）多尺度训练
6）多尺度检测
参考：https://blog.csdn.net/hongxingabc/article/details/79374982

3.论文主要提升阶段

1)针对多目标图像数据的不对称性和小样本训练易拟合的问题，提出了一种图像均衡扩展和在线数据训练增强的方法;
2）针对群体开花、果实数量、颜色等多目标，建立了一种适用于复杂环境的番茄关键器官识别检测模型;
3）针对生产实践中部署的不同边缘设备，开发了不同性能的轻量级网络解决方案，为各类温室复杂场景下番茄花果的协调高效监控提供了针对性的解决方案。

4.实验条件和环境

综上所述，本研究综合考虑了计算精度和计算效率的特点，采用P-R曲线、AP单类目标平均精度、mAP、模型检测速度和网络权值作为评价指标。
实验环境总结见表1。在实验中，设定了网络训练参数; BithSize的大小根据网络大小动态设置为8或4，并使用预设模型进行100个历元的训练。动量因子设置为0.95，余弦退火衰减系数设置为0.005，初始学习率设置为0.001。模型训练使用马赛克数据增强和余弦退火来动态优化学习速率。

5.主要处理过程

5.1.图像均衡扩展
番茄小花【1452个番茄小花标签】，未成熟番茄（3087个未成熟番茄标签->大【1721个标签】小【1834个标签】），成熟番茄1296个成熟番茄标签（原来：大，小；扩充完：大1636个标签，小1594个标签）
消除了非对称样本引起的模型数据判别问题，避免了网络对单个样本的过拟合，提高了模型的泛化能力。
5.2.图像增强
在均衡之后，数据集包含1474张图片，其中8237张是检测到的对象，并且随后以9：1的比率划分训练和测试数据集。其中，1328张图片用于训练，135张图片用于测试。在训练组中，训练集和验证集以8：2的比例划分。本研究使用了两种在线图像增强方法：图像随机变换与镶嵌数据增强
5.3.模型构建 2.4.1.YOLOX算法及其改进 2.4.2.超参数的模型训练与优化
1.相比之下，基于无锚概念的YOLOX网络不需要预先设定先验框架;通过YOLO头输出特征层的预测结果Reg（20，20，4）。随后，它计算特征层上预测特征点的位置，对应于图8中的红色点。最后，对预测点的分布位置进行排序，并进行非最大抑制处理，得到与图8中红色检测框对应的预测目标检测框。
2.微调训练法：2.1 冻结阶段–冻结特征提取网络，只训练预测网络的权值参数，直到预测网络的权值收敛到饱和。2.2 解冻阶段，此时模型主体未被冻结，并对特征提取网络的权值进行训练，以优化整个网络的权值。
3.模型训练过程中，利用余弦退火衰减动态优化模型的学习速率，使训练模型收敛到最优解。
4.YOLOXMOB是在YOLOX-s的基础上，结合两步微调和多轮优化训练，仅针对番茄花果识别的定制模型。
到达epoch=100后，达到稳定的识别效果
在原始网络模型的基础上，采用了网络优化策略–增强训练（马赛克数据增强和余弦退火学习率）、扩展历元和多轮历元–以发挥网络的潜在性能。采用两轮迭代训练策略模型得到的mAP为86.19%，比原网络提高了4.41%。总的来说，两轮训练策略模型的性能与原始网络相比有显著提高，对于所有类型的目标检测都具有最高的mAP。
YOLOXPC模型与更深的网络层可以实现准确、高效的小目标识别。单个图片识别速度大约是0.02秒,检测效率和每­在复杂环境中表现远高于手动检测

6.对比其他常用的目标检测模型

SSD检测头使用锚概念发现­网络,锚窗口必须预设提前检测对象的大小。成熟的西红柿,因为大型水果体积,即使射击距离很长,它们rela­有效重要和容易区分。
尽管YOLO系列网络意思要高得多的地图比SSD和Faster-RCNN系列网络,网络的缺点存在,如大型模型重量,计算速度略低,和无法有效地识别小目标番茄小花。
同样的数据上，YOLOX目标探测网络各版本的mAP远超其他主流探测网络。这是因为YOLOX模型采用了无锚点的概念，没有预设锚点窗口，大大提高了小目标物体的识别效果。该模型利用更深的网络层和无锚点的预设锚点窗口，提高了对小目标的检测能力。
YOLOX网络得益于优化的网络设计，即：一个分类回归层和一个无锚点概念，使得不同形状和大小的番茄小花能够被高精度识别。

结论与讨论

在农业生产中，检测模型识别的准确性并不是模型评价的唯一目标;综合考虑实时检测任务的响应速度和边缘设备的计算能力，提出多目标优化部署策略。
7.2综上所述，本研究建立了一套适合温室实际环境的多目标检测模型方案。该方案基于温室的复杂背景，平衡了网络规模、响应速度和识别精度，有效地实现了对番茄花、果实等小目标的识别和检测。提出了一种改进的YOLOX算法，该算法在YOLOv5的基础上改进了检测头，引入了一个解耦头，减少了单级网络中分类和预测任务造成的准确率损失，并在检测效果上识别出阻塞和密集。其次，无锚概念不需要预先设置锚框，增强了模型对小目标的检测能力。结果表明，优化后的YOLOXMOB虽然准确度不是最高的，但其体积更小，检测数据更快。优化后的YOLOXPC在复杂环境下的番茄花果识别任务中取得了比其他主流检测方法更高的识别准确率SOTA（State-of-the-art），达到了当前检测任务的最优模型。针对农业场景的多样性，YOLOXMOB网络模型骨干轻量化、检测速度快、移动边缘设备易于在温室内部署。相比之下，YOLOXPC网络模型具有更高的识别精度，对小目标更敏感。因此，适合部署在监控调度中心，以充分发挥其性能优势。在今后的农业应用中，将重点完善其他主要大棚蔬菜信息采集的支撑体系。该研究为构建更加智能化的农业物联网监控系统平台提供了思路