【YOLOv10多模态融合改进】| 引入轻量化特征提取模块,解决多模态中的双模型参数量、计算量增加问题(适用不同的轻量化模块)

一、本文介绍

本文记录的是利用轻量化模块改进 YOLOv10 的多模态目标检测网络模型。由于多模态模型在训练过程中使用的是两个模型,整体的参数量计算量相比一般的单模态模型大,所以轻量化也是多模态模型改进过程中常见的一个改进方向。本文介绍如何使用轻量化模块改进YOLOv10中的主要特征提取模块C2fCIB。效果如下,也可替换成其它轻量化模块。

模型 参数量(验证) 计算量(验证)
YOLOv10n前期融合 2.7 M 9.0 GFLOPs
轻量后的前期融合 2.1 M(-0.6) 7.3 GFLOPs(-1.7)
YOLOv10n中期融合 3.7 M 11.3 GFLOPs
轻量后的中期融合 2.7 M(-1.0) 8.5 GFLOPs(-2.8)
YOLOv10n中-后期融合 4.4 M 14.3 GFLOPs
轻量后的中-后期融合 3.4 M (-1.0) 11.1 GFLOPs(-3.2)
YOLOv10n后期融合 5.3 M 15.7 GFLOPs
轻量后的后期融合 4.2 M(-1.1) 12.3 GFLOPs(-3.4)

专栏地址:YOLO系列模型的多模态融合改进——极易上手、非常好发文的多模态改进教程!

文章目录

  • 一、本文介绍
  • 二、轻量化模块介绍
    • 2.1 结构组成
    • 2.2 工作原理
    • 2.3 优势
  • 三、轻量化改进的实现代码

你可能感兴趣的:(YOLO多模态融合改进,YOLO,目标检测,多模态,计算机视觉)