【YOLOv12多模态融合改进】| 引入轻量化特征提取模块,解决多模态中的双模型参数量、计算量增加问题(适用不同的轻量化模块)

一、本文介绍

本文记录的是利用轻量化模块改进 YOLOv12 的多模态目标检测网络模型。由于多模态模型在训练过程中使用的是两个模型,整体的参数量计算量相比一般的单模态模型大,所以轻量化也是多模态模型改进过程中常见的一个改进方向。本文介绍如何使用轻量化模块改进YOLOv12中的主要特征提取模块C3k2A2C2f。效果如下,也可替换成其它轻量化模块。

模型 参数量(验证) 计算量(验证)
YOLOv12n前期融合 2.5 M 6.7 GFLOPs
轻量后的前期融合 1.7 M(-0.8) 5.3 GFLOPs(-1.4)
YOLOv12n中期融合 4.0 M 8.9 GFLOPs
轻量后的中期融合 2.6 M(-1.4) 6.9 GFLOPs(-2.0)
YOLOv12n中-后期融合 4.2 M 10.4 GFLOPs
轻量后的中-后期融合 2.8 M (-1.4) 8.1 GFLOPs(-2.3)
YOLOv12n后期融合 5.0 M 11.5 GFLOPs
轻量后的后期融合 3.4 M(-1.6) 8.8 GFLOPs(-2.7)

专栏地址:YOLO系列模型的多模态融合改进——极易上手、非常好发文的多模态改进教程!

文章目录

  • 一、本文介绍
  • 二、轻量化模块介绍
    • 2.1 结构组成
    • 2.2 工作原理
    • 2.3 优势
  • 三、轻量化改进的实现代码

你可能感兴趣的:(YOLO多模态融合改进,YOLO,多模态,目标检测,计算机视觉)