轻型目标检测模型算法相关资料
文章目录
-
- 轻量级目标检测的基本概念
- 相关研究综述论文
- 相关算法
- 算法代码
- 小结
基本介绍
轻量级目标检测是计算机视觉领域中的一个重要任务，旨在从图像或视频中检测出特定类别的物体并标定它们的位置。与传统的目标检测方法相比，轻量级目标检测侧重于在保持高检测准确性的同时，尽可能减少模型的计算和内存开销，以适应资源受限的环境，如移动设备、嵌入式系统等。
以下是轻量级目标检测的一般步骤和一些常见的方法：
-
数据准备和标注： 收集并准备包含目标的图像数据集，并为每个目标标注其类别和边界框位置。通常需要大量的标注数据来训练模型。
-
模型架构选择： 轻量级目标检测方法通常采用一些紧凑的模型架构，例如移动设备友好的卷积神经网络（CNN）。一些常见的轻量级模型包括：
- YOLO（You Only Look Once）系列： YOLOv3、YOLOv4 等，将目标检测视为回归问题，一次性预测目标的类别和边界框。
- SSD（Single Shot MultiBox Detector）： 在不同尺度的特征图上进行预测，适合小目标检测。
- EfficientDet： 基于 EfficientNet 架构，同时考虑检测精度和模型大小。
-
模型训练： 使用准备好的标注数据对选定的轻量级模型进行训练。训练过程中，通过优化损失函数来调整模型参数，使其能够准确地检测目标。
-
模型评估和优化： 使用验证数据集评估模型在未见过数据上的性能。根据评估结果，进行超参数调整和模型优化，以提高检测准确率和模型的轻量级特性。
-
推理和部署： 训练完成后，将训练好的轻量级目标检测模型部署到目标平台上，进行实时推理和目标检测。为了实现低延迟和高效能，可能需要使用硬件加速或模型压缩技术。
轻量级目标检测方法的发展旨在在保持良好的性能的同时，降低模型的计算和存储资源需求，从而适应各种应用场景。但需要注意的是，轻量级模型可能会在一些复杂场景下表现不如大型模型，因此在选择模型时需要权衡性能和资源开销。
相关研究综述论文
1.这个只是大概简单的介绍了一些方法：轻量化目标检测方法综述 - 百度文库 (baidu.com)
2.自我感觉这个文章做了很详细的介绍，对轻量级目标检测有较为深入的研究：看了几十篇轻量化目标检测论文扫盲做的摘抄笔记 (yii666.com)
3.小型目标检测综述论文：排版要求： (cjig.cn)小目标检测研究综述 - 专知VIP (zhuanzhi.ai)
4.基于现代深度学习的目标检测模型综述 - ScienceDirect
。。。。。
相关算法
1. YOLO Nano
YOLO Nano是一个高度紧凑的网络，它是一个基于YOLO网络的8位量化模型，并在PASCAL VOC 2007数据集上进行了优化。模型大小在4M左右，在计算上需要4.57B推算，性能表现上，在VOC 2007数据集上得到了69.1%的mAP。该网络非常适合边缘设备与移动端的实时检测。
论文地址：https://arxiv.org/abs/1910.01271
代码地址：liux0614/yolo_nano: Unofficial implementation of yolo nano (github.com)
YOLO Nano与Tiny YOLOv2、Tiny YOLOv3的对比：
很明显突出了YOLO Nano的算法优势
2. Micro-YOLO
Micro-YOLO基于YOLOv3-Tiny，它在保持检测性能的同时显着减少了参数数量和计算成本。研究者建议将YOLOv3-tiny网络中的卷积层替换为深度分布偏移卷积(DSConv：https://arxiv.org/abs/1901.01928v1)和带有squeeze和excitation块的移动反向瓶颈卷积 (MBConv：主要源自于EfficientNet)，并设计渐进式通道级剪枝算法以最小化数量参数并最大化检测性能。
论文地址：https://www.scitepress.org/Papers/2021/102344/102344.pdf
Micro-YOLO模型的参数量、乘加数可参见下表：
3. NanoDet
NanoDet是一款超快速、高精度、anchor-free的轻量级检测网络，可实现在移动设备上的实时运行。主要面向工程应用，暂未有论文发表。
工程链接：mirrors / RangiLyu / nanodet · GitCode
该网络具有如下特性：
1.超轻量级：模型文件只有0.98MB(INT8)或1.8MB(FP16)；
2.推理速度快：在移动ARM CPU上可达到97fps，即每帧10.23ms的推理速度；
3.高精度：CPU实时推理下最高可达34.3 [email protected]:0.95；
4.训练友好：比其他模型具有明显小的GPU memory消耗，在GTX1060 6G0上可做到batch-size=80；
5.方便部署：支持各种后端，包括ncnn、MNN和OpenVINO。并且提供了基于ncnn推理框架的Android演示。
6.NanoDet-Plus在NanoDet基础上进行了更进一步的优化，增加了AGM(Assign Guidance Module) 和DSLA(Dynamic Soft Label Assigner)模块，使精度在COCO dataset上有了7个点的 mAP提升(与NanoDet相比提升了30%左右)，且使得训练和部署更容易。
4. YOLOX-Nano
YOLOX是在YOLO系列的基础上进行了若干改进生成的新的高性能检测器。要点包括：(1) Anchor-free的检测方式；(2) 检测头解耦；(3) 先进的标签分配策略SimOTA；(4)强数据增广；(5) Multi positives。其中，YOLOX-Nano只有0.91M的参数量和1.08G FLOPs，在COCO数据集上获得了25.3%的mAP，比NanoDet高1.8% mAP。
论文地址：https://arxiv.org/abs/2107.08430
代码地址：https://github.com/Megvii-BaseDetection/YOLOX
5. 华为GhostNet
GhostNet通过Ghost模块构建高效的神经网络结构，从而减少神经网络的计算成本。Ghost模块将原始卷积层分为两部分，首先使用较少的卷积核来生成原始特征图，然后，进一步使用廉价变换操作以高效生产更多幻影特征图。在基准模型和数据集上进行的实验表明，该方法是一个即插即用的模块，能够将原始模型转换为更紧凑的模型，同时保持可比的性能。此外，在效率和准确性方面，使用提出的新模块构建的GhostNet均优于最新的轻量神经网络，如MobileNetV3。
论文地址：https://arxiv.org/pdf/1911.11907.pdf
代码地址：http://GhostNet
6. YOLOv5
代码地址：http://YOLOv5
YOLOv5是一系列目标检测架构的合集，其高精度、低耗时、易训练、易部署、好上手等特点，让YOLOv5的热度一举超过YOLOv4，成为当前目标检测界的主流。并且作者也一直在维护，新版本精度越来越高、速度越来越快、模型越来越小，截至目前为止，YOLOv5已经迭代到了第六个版本。为了应对移动端的部署应用，作者推出了YOLOv5的n版本，其参数量只有1.9M，在COCO val2007 dataset上的mAP精度也达到了28.4，而YOLOv5n6在YOLOv5n的基础上，mAP又有所提升，达到了34，同时模型参数量提升到3.2M。
7. YOLO-Fastest
Yolo-Fastest注重的是单核的实时推理性能，在满足实时的条件下的低CPU占用。目前Yolo-Fastest更新到了V2版本。
工程地址：
http://YOLO-FastestV2
http://YOLO-Fastest
模型特点：
1.简单、快速、紧凑、易于移植；
2.占用资源少，单核性能优异，功耗低；
3.基于yolo的已知最快最小通用目标检测算法；
4.适用于所有平台的实时目标检测算法；
5.ARM移动终端优化设计，优化支持NCNN推理框架。
6.训练速度快，计算能力要求低，训练只需要3GB视频内存，gtx1660ti训练COCO 1 epoch只需4分钟。
7.V2版本相对于V1版本更快更小：以0.3%的精度损失换取30%的推理速度提高，参数数量减少25%。
8. YOLOv5-Lite
YOLOv5-Lite为轻量型的YOLOv5改进版本，整体算法与YOLOv5基本一致，通过修改了YOLOv5的backbone达到模型压缩的目的。根据不同的backbone分别提供了e、s、c、g版本，e版本的backbone为shufflenetv2，s版本的backbone也是shufflenetv2 (与e版本的head不同)，c版本的backbone为PPLcnet，g版本的backbone为Repvgg。
工程地址：http://YOLOv5-Lite
与各个轻量级算法的精度对比：
各模型的backbone、head以及适用的平台可参加下面几个表：
9. YOLObile
YOLObile，顾名思义，是一种适用于移动设备的轻量级网络，从压缩、编译两个角度，在保证模型准确率的基础上，减少模型的大小，并提升模型在移动设备端的运行速度。新的YOLObile framework将YOLOv4压缩了14倍，准确率保持在49.0mAP。
论文地址：https://arxiv.org/pdf/2009.05697.pdf
代码地址：http://YOLObile
YOLObile使用了一种新的block-punched剪枝技术，并且为了提高在移动设备上的计算效率，采用了GPU-CPU协作方案以及高级编译器辅助优化。YOLObile在三星Galaxy S20 GPU上达到17FPS的帧率，使用GPU-CPU协作方案可将帧率提升至19.1 FPS，比YOLOv4的速度提升了5倍。
YOLObile与其他模型在精度和速度上的对比：
10. PP-PicoDet
PP-PicoDet是基于百度PaddleDetection提出的面向移动端和CPU的轻量级检测模型，在移动设备上具有卓越的性能，成为全新的SOTA轻量级模型，并且一直在更新维护，最新的版本发布于2022年3月20日。
论文地址：https://arxiv.org/abs/2111.00869
工程链接：http://PaddlePaddle/PaddleDetection
PP-PicoDet模型具有如下特点：
更高的mAP，参数量在1M以内，在输入像素416x416时，mAP超过30；
更快的预测速度，在ARM CPU上可达到150FPS；
部署友好，支持PaddleLite、MNN、MCNN、OpenVINO等平台，支持转换ONNX，并且提供了C++/Python/Android的Demo；
算法创新，在现有SOTA算法上进行了优化，包括ESNet、CSP-PAN、SimOTA等。
以上算法内容借鉴，详细请访问：轻量级目标检测算法整理_轻量级目标检测模型_牧羊女说的博客-CSDN博客