RTDETR改进系列指南

基于Ultralytics的RT-DETR改进项目.(89.9¥)

为了感谢各位对RTDETR项目的支持,本项目的赠品是yolov5-PAGCP通道剪枝算法.具体使用教程

自带的一些文件说明

  1. train.py
    训练模型的脚本
  2. main_profile.py
    输出模型和模型每一层的参数,计算量的脚本(rtdetr-l和rtdetr-x因为thop库的问题,没办法正常输出每一层的参数和计算量和时间)
  3. val.py
    使用训练好的模型计算指标的脚本
  4. detect.py
    推理的脚本
  5. track.py
    跟踪推理的脚本
  6. heatmap.py
    生成热力图的脚本
  7. get_FPS.py
    计算模型储存大小、模型推理时间、FPS的脚本
  8. get_COCO_metrice.py
    计算COCO指标的脚本
  9. plot_result.py
    绘制曲线对比图的脚本

RT-DETR基准模型

  1. ultralytics/cfg/models/rt-detr/rtdetr-r18.yaml(有预训练权重COCO+Objects365,来自RTDETR-Pytorch版本的移植)

    rtdetr-r18 summary: 421 layers, 20184464 parameters, 20184464 gradients, 58.6 GFLOPs

  2. ultralytics/cfg/models/rt-detr/rtdetr-r34.yaml(有预训练权重COCO,来自RTDETR-Pytorch版本的移植)

    rtdetr-r34 summary: 525 layers, 31441668 parameters, 31441668 gradients, 90.6 GFLOPs

  3. ultralytics/cfg/models/rt-detr/rtdetr-r50-m.yaml(有预训练权重COCO,来自RTDETR-Pytorch版本的移植)

    rtdetr-r50-m summary: 637 layers, 36647020 parameters, 36647020 gradients, 98.3 GFLOPs

  4. ultralytics/cfg/models/rt-detr/rtdetr-r50.yaml(有预训练权重COCO+Objects365,来自RTDETR-Pytorch版本的移植)

    rtdetr-r50 summary: 629 layers, 42944620 parameters, 42944620 gradients, 134.8 GFLOPs

  5. ultralytics/cfg/models/rt-detr/rtdetr-r101.yaml

    rtdetr-r101 summary: 867 layers, 76661740 parameters, 76661740 gradients, 257.7 GFLOPs

  6. ultralytics/cfg/models/rt-detr/rtdetr-l.yaml(有预训练权重)

    rtdetr-l summary: 673 layers, 32970732 parameters, 32970732 gradients, 108.3 GFLOPs

  7. ultralytics/cfg/models/rt-detr/rtdetr-x.yaml(有预训练权重)

    rtdetr-x summary: 867 layers, 67468108 parameters, 67468108 gradients, 232.7 GFLOPs

专栏改进汇总

二次创新系列

  1. ultralytics/cfg/models/rt-detr/rtdetr-DCNV2-Dynamic.yaml

    使用自研可变形卷积DCNV2-Dynamic改进resnet18-backbone中的BasicBlock.(详细介绍请看百度云视频-MPCA与DCNV2_Dynamic的说明)

  2. ultralytics/cfg/models/rt-detr/rtdetr-iRMB-Cascaded.yaml

    使用EfficientViT CVPR2023中的CascadedGroupAttention对EMO ICCV2023中的iRMB进行二次创新来改进resnet18-backbone中的BasicBlock.(详细介绍请看百度云视频-20231119更新说明)

  3. ultralytics/cfg/models/rt-detr/rtdetr-PConv-Rep.yaml

    使用RepVGG CVPR2021中的RepConv对FasterNet CVPR2023中的PConv进行二次创新后改进resnet18-backbone中的BasicBlock.

  4. ultralytics/cfg/models/rt-detr/rtdetr-Faster-Rep.yaml

    使用RepVGG CVPR2021中的RepConv对FasterNet CVPR2023中的Faster-Block进行二次创新后改进resnet18-backbone中的BasicBlock.

  5. ultralytics/cfg/models/rt-detr/rtdetr-Faster-EMA.yaml

    使用EMA ICASSP2023对FasterNet CVPR2023中的Faster-Block进行二次创新后改进resnet18-backbone中的BasicBlock.

  6. ultralytics/cfg/models/rt-detr/rtdetr-Faster-Rep-EMA.yaml

    使用RepVGG CVPR2021中的RepConv和EMA ICASSP2023对FasterNet CVPR2023中的Faster-Block进行二次创新后改进resnet18-backbone中的BasicBlock.

  7. ultralytics/cfg/models/rt-detr/rtdetr-DWRC3-DRB.yaml

    使用UniRepLKNet中的DilatedReparamBlock对DWRSeg中的Dilation-wise Residual(DWR)进行二次创新改进rtdetr.

  8. ultralytics/cfg/models/rt-detr/rtdetr-ASF-P2.yaml

    在ultralytics/cfg/models/rt-detr/rtdetr-ASF.yaml的基础上进行二次创新,引入P2检测层并对网络结构进行优化.

  9. ultralytics/cfg/models/rt-detr/rtdetr-slimneck-ASF.yaml

    使用SlimNeck中的VoVGSCSP\VoVGSCSPC和GSConv和ASF-YOLO中的Attentional Scale Sequence Fusion改进rtdetr中的CCFM.

  10. ultralytics/cfg/models/rt-detr/rtdetr-goldyolo-asf.yaml

    利用华为2023最新GOLD-YOLO中的Gatherand-Distribute和ASF-YOLO中的Attentional Scale Sequence Fusion进行改进特征融合模块.

  11. ultralytics/cfg/models/rt-detr/rtdetr-HSPAN.yaml

    对MFDS-DETR中的HS-FPN进行二次创新后得到HSPAN改进RTDETR中的CCFM.

  12. ultralytics/cfg/models/rt-detr/rtdetr-ASF-Dynamic.yaml

    使用ICCV2023 DySample改进ASF-YOLO中的Attentional Scale Sequence Fusion的上采样模块得到Dynamic Sample Attentional Scale Sequence Fusion改进CCFM.

  13. ultralytics/cfg/models/rt-detr/rtdetr-iRMB-DRB.yaml

    使用UniRepLKNet中的DilatedReparamBlock对EMO ICCV2023中的iRMB进行二次创新来改进resnet18-backbone中的BasicBlock.

  14. ultralytics/cfg/models/rt-detr/rtdetr-iRMB-SWC.yaml

    使用shift-wise conv对EMO ICCV2023中的iRMB进行二次创新来改进resnet18-backbone中的BasicBlock.

自研系列

待更新

BackBone系列

  1. ultralytics/cfg/models/rt-detr/rt-detr-timm.yaml

    使用timm库系列的主干替换rtdetr的backbone.(基本支持现有CNN模型)

  2. ultralytics/cfg/models/rt-detr/rt-detr-fasternet.yaml

    使用FasterNet CVPR2023替换rtdetr的backbone.

  3. ultralytics/cfg/models/rt-detr/rt-detr-EfficientViT.yaml

    使用EfficientViT CVPR2023替换rtdetr的backbone.

  4. ultralytics/cfg/models/rt-detr/rtdetr-convnextv2.yaml

    使用ConvNextV2 2023替换rtdetr的backbone.

  5. ultralytics/cfg/models/rt-detr/rtdetr-EfficientFormerv2.yaml

    使用EfficientFormerv2 2022替换rtdetr的backbone.

  6. ultralytics/cfg/models/rt-detr/rtdetr-repvit.yaml

    使用RepViT ICCV2023替换rtdetr的backbone.

  7. ultralytics/cfg/models/rt-detr/rtdetr-CSwomTramsformer.yaml

    使用CSwinTramsformer CVPR2022替换rtdetr的backbone.

  8. ultralytics/cfg/models/rt-detr/rtdetr-VanillaNet.yaml

    使用VanillaNet 2023替换rtdetr的backbone.

  9. ultralytics/cfg/models/rt-detr/rtdetr-SwinTransformer.yaml

    使用SwinTransformer ICCV2021替换rtdetr的backbone.

  10. ultralytics/cfg/models/rt-detr/rtdetr-lsknet.yaml

    使用LSKNet ICCV2023替换rtdetr的backbone.

  11. ultralytics/cfg/models/rt-detr/rt-detr-unireplknet.yaml

    使用UniRepLKNet替换rtdetr的backbone.

  12. ultralytics/cfg/models/rt-detr/rtdetr-TransNeXt.yaml

    使用TransNeXt改进rtdetr的backbone.

AIFI系列

  1. ultralytics/cfg/models/rt-detr/rtdetr-AIFI-LPE.yaml

    使用LearnedPositionalEncoding改进AIFI中的位置编码生成.(详细介绍请看百度云视频-20231119更新说明)

  2. ultralytics/cfg/models/rt-detr/rtdetr-CascadedGroupAttention.yaml

    使用EfficientViT CVPR2023中的CascadedGroupAttention改进rtdetr中的AIFI.(详细请看百度云视频-rtdetr-CascadedGroupAttention说明)

  3. ultralytics/cfg/models/rt-detr/rtdetr-AIFI-DAttention.yaml

    使用Vision Transformer with Deformable Attention CVPR2022中的DAttention改进AIFI.

  4. ultralytics/cfg/models/rt-detr/rtdetr-AIFI-HiLo.yaml

    使用LITv2中具有提取高低频信息的高效注意力对AIFI进行二次改进.

Neck系列

  1. ultralytics/cfg/models/rt-detr/rtdetr-ASF.yaml

    使用ASF-YOLO中的Attentional Scale Sequence Fusion来改进rtdetr.

  2. ultralytics/cfg/models/rt-detr/rtdetr-slimneck.yaml

    使用SlimNeck中的VoVGSCSP\VoVGSCSPC和GSConv改进rtdetr中的CCFM.

  3. ultralytics/cfg/models/rt-detr/rtdetr-SDI.yaml

    使用U-NetV2中的 Semantics and Detail Infusion Module对CCFM中的feature fusion进行改进.

  4. ultralytics/cfg/models/rt-detr/rtdetr-goldyolo.yaml

    利用华为2023最新GOLD-YOLO中的Gatherand-Distribute进行改进特征融合模块.

  5. ultralytics/cfg/models/rt-detr/rtdetr-HSFPN.yaml

    使用MFDS-DETR中的HS-FPN改进RTDETR中的CCFM.

Head系列

  1. ultralytics/cfg/models/rt-detr/rtdetr-p2.yaml

    添加小目标检测头P2到TransformerDecoderHead中.

RepC3改进系列

  1. ultralytics/cfg/models/rt-detr/rtdetr-DWRC3.yaml

    使用DWRSeg中的Dilation-wise Residual(DWR)模块构建DWRC3改进rtdetr.

  2. ultralytics/cfg/models/rt-detr/rtdetr-Conv3XCC3.yaml

    使用Swift Parameter-free Attention Network中的Conv3XC改进RepC3.

  3. ultralytics/cfg/models/rt-detr/rtdetr-DRBC3.yaml

    使用UniRepLKNet中的DilatedReparamBlock改进RepC3.

  4. ultralytics/cfg/models/rt-detr/rtdetr-DBBC3.yaml

    使用DiverseBranchBlock CVPR2021改进RepC3.

ResNet主干中的BasicBlock/BottleNeck改进系列(以下改进BottleNeck基本都有,就不再重复标注)

  1. ultralytics/cfg/models/rt-detr/rtdetr-Ortho.yaml

    使用OrthoNets中的正交通道注意力改进resnet18-backbone中的BasicBlock.(详细介绍请看百度云视频-20231119更新说明)

  2. ultralytics/cfg/models/rt-detr/rtdetr-DCNV2.yaml

    使用可变形卷积DCNV2改进resnet18-backbone中的BasicBlock.

  3. ultralytics/cfg/models/rt-detr/rtdetr-DCNV3.yaml

    使用可变形卷积DCNV3 CVPR2023改进resnet18-backbone中的BasicBlock.(安装教程请看百度云视频-20231119更新说明)

  4. ultralytics/cfg/models/rt-detr/rtdetr-iRMB.yaml

    使用EMO ICCV2023中的iRMB改进resnet18-backbone中的BasicBlock.(详细介绍请看百度云视频-20231119更新说明)

  5. ultralytics/cfg/models/rt-detr/rtdetr-DySnake.yaml

    添加DySnakeConv到resnet18-backbone中的BasicBlock中.

  6. ultralytics/cfg/models/rt-detr/rtdetr-PConv.yaml

    使用FasterNet CVPR2023中的PConv改进resnet18-backbone中的BasicBlock.

  7. ultralytics/cfg/models/rt-detr/rtdetr-Faster.yaml

    使用FasterNet CVPR2023中的Faster-Block改进resnet18-backbone中的BasicBlock.

  8. ultralytics/cfg/models/rt-detr/rtdetr-AKConv.yaml

    使用AKConv 2023改进resnet18-backbone中的BasicBlock.

  9. ultralytics/cfg/models/rt-detr/rtdetr-RFAConv.yaml

    使用RFAConv 2023改进resnet18-backbone中的BasicBlock.

  10. ultralytics/cfg/models/rt-detr/rtdetr-RFCAConv.yaml

    使用RFCAConv 2023改进resnet18-backbone中的BasicBlock.

  11. ultralytics/cfg/models/rt-detr/rtdetr-RFCBAMConv.yaml

    使用RFCBAMConv 2023改进resnet18-backbone中的BasicBlock.

  12. ultralytics/cfg/models/rt-detr/rtdetr-Conv3XC.yaml

    使用Swift Parameter-free Attention Network中的Conv3XC改进resnet18-backbone中的BasicBlock.

  13. ultralytics/cfg/models/rt-detr/rtdetr-DRB.yaml

    使用UniRepLKNet中的DilatedReparamBlock改进resnet18-backbone中的BasicBlock.

  14. ultralytics/cfg/models/rt-detr/rtdetr-DBB.yaml

    使用DiverseBranchBlock CVPR2021改进resnet18-backbone中的BasicBlock.

  15. ultralytics/cfg/models/rt-detr/rtdetr-DualConv.yaml

    使用DualConv改进resnet18-backbone中的BasicBlock.

  16. ultralytics/cfg/models/rt-detr/rtdetr-AggregatedAtt.yaml

    使用TransNeXt中的聚合感知注意力改进resnet18中的BasicBlock.(百度云视频-20240106更新说明)

  17. ultralytics/cfg/models/rt-detr/rtdetr-DCNV4.yaml

    使用DCNV4改进resnet18中的BasicBlock.

  18. ultralytics/cfg/models/rt-detr/rtdetr-SWC.yaml

    使用shift-wise conv改进resnet18中的BasicBlock.

  19. ultralytics/cfg/models/rt-detr/rtdetr-VSS.yaml

    使用最新的Mamba架构Mamba-UNet中的VSS改进resnet18-backbone中的BasicBlock.

上下采样算子系列

  1. ultralytics/cfg/models/rt-detr/rtdetr-DySample.yaml

    使用ICCV2023 DySample改进CCFM中的上采样.

  2. ultralytics/cfg/models/rt-detr/rtdetr-CARAFE.yaml

    使用ICCV2019 CARAFE改进CCFM中的上采样.

  3. ultralytics/cfg/models/rt-detr/rtdetr-HWD.yaml

    使用Haar wavelet downsampling改进CCFM的下采样.

RT-DETR-L改进系列

  1. ultralytics/cfg/models/rt-detr/rtdetr-l-GhostHGNetV2.yaml

    使用GhostConv改进HGNetV2.(详细介绍请看百度云视频-20231109更新说明)

  2. ultralytics/cfg/models/rt-detr/rtdetr-l-RepHGNetV2.yaml

    使用RepConv改进HGNetV2.(详细介绍请看百度云视频-20231109更新说明)

  3. ultralytics/cfg/models/rt-detr/rtdetr-l-attention.yaml

    添加注意力模块到HGBlock中.(手把手教程请看百度云视频-手把手添加注意力教程)

注意力系列

  1. EMA
  2. SimAM
  3. SpatialGroupEnhance
  4. BiLevelRoutingAttention, BiLevelRoutingAttention_nchw
  5. TripletAttention
  6. CoordAtt
  7. CBAM
  8. BAMBlock
  9. EfficientAttention(CloFormer中的注意力)
  10. LSKBlock
  11. SEAttention
  12. CPCA
  13. deformable_LKA
  14. EffectiveSEModule
  15. LSKA
  16. SegNext_Attention
  17. DAttention(Vision Transformer with Deformable Attention CVPR2022)
  18. FocusedLinearAttention(ICCV2023)
  19. MLCA
  20. TransNeXt_AggregatedAttention
  21. HiLo

IoU系列

  1. IoU,GIoU,DIoU,CIoU,EIoU,SIoU(百度云视频-20231125更新说明)
  2. MPDIoU论文链接(百度云视频-20231125更新说明)
  3. Inner-IoU,Inner-GIoU,Inner-DIoU,Inner-CIoU,Inner-EIoU,Inner-SIoU论文链接(百度云视频-20231125更新说明)
  4. Inner-MPDIoU(利用Inner-Iou与MPDIou进行二次创新)(百度云视频-20231125更新说明)
  5. Normalized Gaussian Wasserstein Distance.论文链接(百度云视频-20231125更新说明)
  6. Shape-IoU,Inner-Shape-IoU论文链接(百度云视频-20240106更新说明)
  7. SlideLoss,EMASlideLoss创新思路.Yolo-Face V2(百度云视频-20240113更新说明)
  8. Wise-IoU(v1,v2,v3)系列(IoU,WIoU,EIoU,GIoU,DIoU,CIoU,SIoU,MPDIoU,ShapeIoU)(百度云视频-20240113更新说明)
  9. Inner-Wise-IoU(v1,v2,v3)系列(IoU,WIoU,EIoU,GIoU,DIoU,CIoU,SIoU,MPDIoU,ShapeIoU)(百度云视频-20240113更新说明)
  10. Focaler-IoU,Focaler-GIoU,Focaler-DIoU,Focaler-CIoU,Focaler-EIoU,Focaler-SIoU,Focaler-Shape-IoU,Focaler-MPDIoU论文链接(百度云视频-20240128更新说明)
  11. Focaler-Wise-IoU(v1,v2,v3)(IoU,WIoU,EIoU,GIoU,DIoU,CIoU,SIoU,MPDIoU,ShapeIoU)论文链接(百度云视频-20240128更新说明)
  12. Powerful-IoU,Powerful-IoUV2,Inner-Powerful-IoU,Inner-Powerful-IoUV2,Focaler-Powerful-IoU,Focaler-Powerful-IoUV2,Wise-Powerful-IoU(v1,v2,v3),Wise-Powerful-IoUV2(v1,v2,v3)论文链接

以Yolov8为基准模型的改进方案

  1. ultralytics/cfg/models/yolo-detr/yolov8-detr.yaml

    使用RT-DETR中的TransformerDecoderHead改进yolov8.

  2. ultralytics/cfg/models/yolo-detr/yolov8-detr-DWR.yaml

    使用RT-DETR中的TransformerDecoderHead和DWRSeg中的Dilation-wise Residual(DWR)模块改进yolov8.

  3. ultralytics/cfg/models/yolo-detr/yolov8-detr-fasternet.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023改进yolov8.(支持替换其他主干,请看百度云视频-替换主干示例教程)

  4. ultralytics/cfg/models/yolo-detr/yolov8-detr-AIFI-LPE.yaml

    使用RT-DETR中的TransformerDecoderHead和LearnedPositionalEncoding改进yolov8.(详细介绍请看百度云视频-20231119更新说明)

  5. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-DCNV2.yaml

    使用RT-DETR中的TransformerDecoderHead和可变形卷积DCNV2改进yolov8.

  6. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-DCNV3.yaml

    使用RT-DETR中的TransformerDecoderHead和可变形卷积DCNV3 CVPR2023改进yolov8.(安装教程请看百度云视频-20231119更新说明)

  7. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-DCNV2-Dynamic.yaml

    使用RT-DETR中的TransformerDecoderHead和自研可变形卷积DCNV2-Dynamic改进yolov8.(详细介绍请看百度云视频-MPCA与DCNV2_Dynamic的说明)

  8. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-Ortho.yaml

    使用RT-DETR中的TransformerDecoderHead和OrthoNets中的正交通道注意力改进yolov8.(详细介绍请看百度云视频-20231119更新说明)

  9. ultralytics/cfg/models/yolo-detr/yolov8-detr-attention.yaml

    添加注意力到基于RTDETR-Head中的yolov8中.(手把手教程请看百度云视频-手把手添加注意力教程)

  10. ultralytics/cfg/models/yolo-detr/yolov8-detr-p2.yaml

    添加小目标检测头P2到TransformerDecoderHead中.

  11. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-DySnake.yaml

    DySnakeConv与C2f融合.

  12. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-Faster.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023中的Faster-Block改进yolov8.

  13. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-Faster-Rep.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023中与RepVGG CVPR2021中的RepConv二次创新后的Faster-Block-Rep改进yolov8.

  14. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-Faster-EMA.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023中与EMA ICASSP2023二次创新后的Faster-Block-EMA的Faster-Block-EMA改进yolov8.

  15. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-Faster-Rep-EMA.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023中与RepVGG CVPR2021中的RepConv、EMA ICASSP2023二次创新后的Faster-Block改进yolov8.

  16. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-AKConv.yaml

    使用RT-DETR中的TransformerDecoderHead和AKConv 2023改进yolov8.

  17. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-RFAConv.yaml

    使用RT-DETR中的TransformerDecoderHead和RFAConv 2023改进yolov8.

  18. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-RFAConv.yaml

    使用RT-DETR中的TransformerDecoderHead和RFCAConv 2023改进yolov8.

  19. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-RFAConv.yaml

    使用RT-DETR中的TransformerDecoderHead和RFCBAMConv 2023改进yolov8.

  20. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-Conv3XC.yaml

    使用RT-DETR中的TransformerDecoderHead和Swift Parameter-free Attention Network中的Conv3XC改进yolov8.

  21. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-SPAB.yaml

    使用RT-DETR中的TransformerDecoderHead和Swift Parameter-free Attention Network中的SPAB改进yolov8.

  22. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-DRB.yaml

    使用RT-DETR中的TransformerDecoderHead和UniRepLKNet中的DilatedReparamBlock改进yolov8.

  23. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-UniRepLKNetBlock.yaml

    使用RT-DETR中的TransformerDecoderHead和UniRepLKNet中的UniRepLKNetBlock改进yolov8.

  24. ultralytics/cfg/models/yolo-detr/yolov8-detr-DWR-DRB.yaml

    使用UniRepLKNet中的DilatedReparamBlock对DWRSeg中的Dilation-wise Residual(DWR)进行二次创新改进yolov8.

  25. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-DBB.yaml

    使用RT-DETR中的TransformerDecoderHead和DiverseBranchBlock CVPR2021改进yolov8.

  26. ultralytics/cfg/models/yolo-detr/yolov8-detr-CSP-EDLAN.yaml

    使用RT-DETR中的TransformerDecoderHead和DualConv打造CSP Efficient Dual Layer Aggregation Networks改进yolov8.

  27. ultralytics/cfg/models/yolo-detr/yolov8-detr-ASF.yaml

    使用RT-DETR中的TransformerDecoderHead和ASF-YOLO中的Attentional Scale Sequence Fusion改进yolov8.

  28. ultralytics/cfg/models/yolo-detr/yolov8-detr-ASF-P2.yaml

    在ultralytics/cfg/models/yolo-detr/yolov8-detr-ASF.yaml的基础上进行二次创新,引入P2检测层并对网络结构进行优化.

  29. ultralytics/cfg/models/yolo-detr/yolov8-detr-slimneck.yaml

    使用RT-DETR中的TransformerDecoderHead和SlimNeck中VoVGSCSP\VoVGSCSPC和GSConv改进yolov8的neck.

  30. ultralytics/cfg/models/yolo-detr/yolov8-detr-slimneck-asf.yaml

    在ultralytics/cfg/models/yolo-detr/yolov8-detr-slimneck.yaml使用ASF-YOLO中的Attentional Scale Sequence Fusion进行二次创新.

  31. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-AggregatedAtt.yaml

    使用RT-DETR中的TransformerDecoderHead和TransNeXt中的聚合感知注意力改进C2f.(百度云视频-20240106更新说明)

  32. ultralytics/cfg/models/yolo-detr/yolov8-detr-SDI.yaml

    使用RT-DETR中的TransformerDecoderHead和U-NetV2中的 Semantics and Detail Infusion Module对yolov8中的feature fusion进行改进.

  33. ultralytics/cfg/models/yolo-detr/yolov8-detr-goldyolo.yaml

    利用RT-DETR中的TransformerDecoderHead和华为2023最新GOLD-YOLO中的Gatherand-Distribute进行改进特征融合模块.

  34. ultralytics/cfg/models/yolo-detr/yolov8-detr-goldyolo-asf.yaml

    利用RT-DETR中的TransformerDecoderHead和华为2023最新GOLD-YOLO中的Gatherand-Distribute和ASF-YOLO中的Attentional Scale Sequence Fusion进行改进特征融合模块.

  35. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-DCNV4.yaml

    使用DCNV4改进C2f.

  36. ultralytics/cfg/models/yolo-detr/yolov8-detr-HSFPN.yaml

    利用RT-DETR中的TransformerDecoderHead和使用MFDS-DETR中的HS-FPN改进YOLOV8中的PAN.

  37. ultralytics/cfg/models/yolo-detr/yolov8-detr-HSPAN.yaml

    利用RT-DETR中的TransformerDecoderHead和对MFDS-DETR中的HS-FPN进行二次创新后得到HSPAN改进YOLOV8中的PAN.

  38. ultralytics/cfg/models/yolo-detr/yolov8-detr-Dysample.yaml

    使用ICCV2023 DySample改进yolov8-detr neck中的上采样.

  39. ultralytics/cfg/models/yolo-detr/yolov8-detr-CARAFE.yaml

    使用ICCV2019 CARAFE改进yolov8-detr neck中的上采样.

  40. ultralytics/cfg/models/yolo-detr/yolov8-detr-HWD.yaml

    使用Haar wavelet downsampling改进yolov8-detr neck的下采样.

  41. ultralytics/cfg/models/yolo-detr/yolov8-detr-ASF-Dynamic.yaml

    使用ICCV2023 DySample改进ASF-YOLO中的Attentional Scale Sequence Fusion的上采样模块得到Dynamic Sample Attentional Scale Sequence Fusion改进yolov8-detr中的neck.

  42. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-SWC.yaml

    使用shift-wise conv改进yolov8-detr中的C2f.

  43. ultralytics/cfg/models/yolo-detr/yolov8-detr-iRMB-DRB.yaml

    使用UniRepLKNet中的DilatedReparamBlock对EMO ICCV2023中的iRMB进行二次创新来改进yolov8-detr中的C2f.

  44. ultralytics/cfg/models/yolo-detr/yolov8-detr-iRMB-SWC.yaml

    使用shift-wise conv对EMO ICCV2023中的iRMB进行二次创新来改进yolov8-detr中的C2f.

  45. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-VSS.yaml

    使用最新的Mamba架构Mamba-UNet中的VSS对C2f中的BottleNeck进行改进,使其能更有效地捕获图像中的复杂细节和更广泛的语义上下文.

  46. ultralytics/cfg/models/yolo-detr/yolov8-detr-C2f-LVMB.yaml

    使用最新的Mamba架构Mamba-UNet中的VSS与Cross Stage Partial进行结合,使其能更有效地捕获图像中的复杂细节和更广泛的语义上下文.

以Yolov5为基准模型的改进方案

  1. ultralytics/cfg/models/yolo-detr/yolov5-detr.yaml

    使用RT-DETR中的TransformerDecoderHead改进yolov5.

  2. ultralytics/cfg/models/yolo-detr/yolov5-detr-DWR.yaml

    使用RT-DETR中的TransformerDecoderHead和DWRSeg中的Dilation-wise Residual(DWR)模块改进yolov5.

  3. ultralytics/cfg/models/yolo-detr/yolov5-detr-fasternet.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023改进yolov5.(支持替换其他主干,请看百度云视频-替换主干示例教程)

  4. ultralytics/cfg/models/yolo-detr/yolov5-detr-AIFI-LPE.yaml

    使用RT-DETR中的TransformerDecoderHead和LearnedPositionalEncoding改进yolov5.(详细介绍请看百度云视频-20231119更新说明)

  5. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-DCNV2.yaml

    使用RT-DETR中的TransformerDecoderHead和可变形卷积DCNV2改进yolov5.

  6. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-DCNV3.yaml

    使用RT-DETR中的TransformerDecoderHead和可变形卷积DCNV3 CVPR2023改进yolov5.(安装教程请看百度云视频-20231119更新说明)

  7. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-DCNV2-Dynamic.yaml

    使用RT-DETR中的TransformerDecoderHead和自研可变形卷积DCNV2-Dynamic改进yolov5.(详细介绍请看百度云视频-MPCA与DCNV2_Dynamic的说明)

  8. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-Ortho.yaml(详细介绍请看百度云视频-20231119更新说明)

    使用RT-DETR中的TransformerDecoderHead和OrthoNets中的正交通道注意力改进yolov5.

  9. ultralytics/cfg/models/yolo-detr/yolov5-detr-attention.yaml

    添加注意力到基于RTDETR-Head中的yolov5中.(手把手教程请看百度云视频-手把手添加注意力教程)

  10. ultralytics/cfg/models/yolo-detr/yolov5-detr-p2.yaml

    添加小目标检测头P2到TransformerDecoderHead中.

  11. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-DySnake.yaml

    DySnakeConv与C3融合.

  12. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-Faster.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023中的Faster-Block改进yolov5.

  13. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-Faster-Rep.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023中与RepVGG CVPR2021中的RepConv二次创新后的Faster-Block-Rep改进yolov5.

  14. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-Faster-EMA.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023中与EMA ICASSP2023二次创新后的Faster-Block-EMA的Faster-Block-EMA改进yolov5.

  15. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-Faster-Rep-EMA.yaml

    使用RT-DETR中的TransformerDecoderHead和FasterNet CVPR2023中与RepVGG CVPR2021中的RepConv、EMA ICASSP2023二次创新后的Faster-Block改进yolov5.

  16. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-AKConv.yaml

    使用RT-DETR中的TransformerDecoderHead和AKConv 2023改进yolov5.

  17. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-RFAConv.yaml

    使用RT-DETR中的TransformerDecoderHead和RFAConv 2023改进yolov5.

  18. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-RFAConv.yaml

    使用RT-DETR中的TransformerDecoderHead和RFCAConv 2023改进yolov5.

  19. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-RFAConv.yaml

    使用RT-DETR中的TransformerDecoderHead和RFCBAMConv 2023改进yolov5.

  20. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-Conv3XC.yaml

    使用RT-DETR中的TransformerDecoderHead和Swift Parameter-free Attention Network中的Conv3XC改进yolov5.

  21. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-SPAB.yaml

    使用RT-DETR中的TransformerDecoderHead和Swift Parameter-free Attention Network中的SPAB改进yolov5.

  22. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-DRB.yaml

    使用RT-DETR中的TransformerDecoderHead和UniRepLKNet中的DilatedReparamBlock改进改进yolov5.

  23. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-UniRepLKNetBlock.yaml

    使用RT-DETR中的TransformerDecoderHead和UniRepLKNet中的UniRepLKNetBlock改进改进yolov5.

  24. ultralytics/cfg/models/yolo-detr/yolov5-detr-DWR-DRB.yaml

    使用UniRepLKNet中的DilatedReparamBlock对DWRSeg中的Dilation-wise Residual(DWR)进行二次创新改进yolov5.

  25. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-DBB.yaml

    使用RT-DETR中的TransformerDecoderHead和DiverseBranchBlock CVPR2021改进yolov5.

  26. ultralytics/cfg/models/yolo-detr/yolov5-detr-CSP-EDLAN.yaml

    使用RT-DETR中的TransformerDecoderHead和DualConv打造CSP Efficient Dual Layer Aggregation Networks改进yolov5.

  27. ultralytics/cfg/models/yolo-detr/yolov5-detr-ASF.yaml

    使用RT-DETR中的TransformerDecoderHead和ASF-YOLO中的Attentional Scale Sequence Fusion改进yolov5.

  28. ultralytics/cfg/models/yolo-detr/yolov5-detr-ASF-P2.yaml

    在ultralytics/cfg/models/yolo-detr/yolov5-detr-ASF.yaml的基础上进行二次创新,引入P2检测层并对网络结构进行优化.

  29. ultralytics/cfg/models/yolo-detr/yolov5-detr-slimneck.yaml

    使用RT-DETR中的TransformerDecoderHead和SlimNeck中VoVGSCSP\VoVGSCSPC和GSConv改进yolov5的neck.

  30. ultralytics/cfg/models/yolo-detr/yolov5-detr-slimneck-asf.yaml

    在ultralytics/cfg/models/yolo-detr/yolov5-detr-slimneck.yaml使用ASF-YOLO中的Attentional Scale Sequence Fusion进行二次创新.

  31. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-AggregatedAtt.yaml

    使用RT-DETR中的TransformerDecoderHead和TransNeXt中的聚合感知注意力改进C3.(百度云视频-20240106更新说明)

  32. ultralytics/cfg/models/yolo-detr/yolov5-detr-SDI.yaml

    使用RT-DETR中的TransformerDecoderHead和U-NetV2中的 Semantics and Detail Infusion Module对yolov5中的feature fusion进行改进.

  33. ultralytics/cfg/models/yolo-detr/yolov5-detr-goldyolo.yaml

    利用RT-DETR中的TransformerDecoderHead和华为2023最新GOLD-YOLO中的Gatherand-Distribute进行改进特征融合模块.

  34. ultralytics/cfg/models/yolo-detr/yolov5-detr-goldyolo-asf.yaml

    利用RT-DETR中的TransformerDecoderHead和华为2023最新GOLD-YOLO中的Gatherand-Distribute和ASF-YOLO中的Attentional Scale Sequence Fusion进行改进特征融合模块.

  35. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-DCNV4.yaml

    使用DCNV4改进C3.

  36. ultralytics/cfg/models/yolo-detr/yolov5-detr-HSFPN.yaml

    利用RT-DETR中的TransformerDecoderHead和使用MFDS-DETR中的HS-FPN改进YOLOV5中的PAN.

  37. ultralytics/cfg/models/yolo-detr/yolov5-detr-HSPAN.yaml

    利用RT-DETR中的TransformerDecoderHead和对MFDS-DETR中的HS-FPN进行二次创新后得到HSPAN改进YOLOV5中的PAN.

  38. ultralytics/cfg/models/yolo-detr/yolov8-detr-Dysample.yaml

    使用ICCV2023 DySample改进yolov8-detr neck中的上采样.

  39. ultralytics/cfg/models/yolo-detr/yolov8-detr-CARAFE.yaml

    使用ICCV2019 CARAFE改进yolov8-detr neck中的上采样.

  40. ultralytics/cfg/models/yolo-detr/yolov8-detr-HWD.yaml

    使用Haar wavelet downsampling改进yolov8-detr neck的下采样.

  41. ultralytics/cfg/models/yolo-detr/yolov5-detr-ASF-Dynamic.yaml

    使用ICCV2023 DySample改进ASF-YOLO中的Attentional Scale Sequence Fusion的上采样模块得到Dynamic Sample Attentional Scale Sequence Fusion改进yolov5-detr中的neck.

  42. ultralytics/cfg/models/yolo-detr/yolov5-detr-SWC.yaml

    使用shift-wise conv改进yolov5-detr中的C3.

  43. ultralytics/cfg/models/yolo-detr/yolov5-detr-iRMB-DRB.yaml

    使用UniRepLKNet中的DilatedReparamBlock对EMO ICCV2023中的iRMB进行二次创新来改进yolov5-detr中的C2f.

  44. ultralytics/cfg/models/yolo-detr/yolov5-detr-iRMB-SWC.yaml

    使用shift-wise conv对EMO ICCV2023中的iRMB进行二次创新来改进yolov5-detr中的C2f.

  45. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-VSS.yaml

    使用最新的Mamba架构Mamba-UNet中的VSS对C3中的BottleNeck进行改进,使其能更有效地捕获图像中的复杂细节和更广泛的语义上下文.

  46. ultralytics/cfg/models/yolo-detr/yolov5-detr-C3-LVMB.yaml

    使用最新的Mamba架构Mamba-UNet中的VSS与Cross Stage Partial进行结合,使其能更有效地捕获图像中的复杂细节和更广泛的语义上下文.

更新公告

  • 20231105-rtdetr-v1.0

    1. 初版项目发布.
  • 20231109-rtdetr-v1.1

    1. 修复断点训练不能正常使用的bug.
    2. 优化get_FPS.py中的模型导入方法.
    3. 增加以yolov5和yolov8为基准模型更换为RTDETR的Head,后续也会提供yolov5-detr,yolov8-detr相关的改进.
    4. 新增百度云视频-20231109更新说明视频和替换主干说明视频.
    5. 新增GhostHGNetV2,RepHGNetV2,详细请看使用教程中的RT-DETR改进方案.
    6. 新增使用DWRSeg中的Dilation-wise Residual(DWR)模块,加强从网络高层的可扩展感受野中提取特征,详细请看使用教程中的RT-DETR改进方案.
  • 20231119-rtdetr-v1.2

    1. 增加DCNV2,DCNV3,DCNV2-Dynamic,并以RTDETR-R18,RTDETR-R50,YOLOV5-Detr,YOLOV8-Detr多个基准模型进行改进,详细请看使用教程中的RT-DETR改进方案.
    2. 使用CVPR2022-OrthoNets中的正交通道注意力改进resnet18-backbone中的BasicBlock,resnet50-backbone中的BottleNeck,yolov8-C2f,yolov5-C3,详细请看使用教程中的RT-DETR改进方案.
    3. 使用LearnedPositionalEncoding改进AIFI中的位置编码信息生成,详细请看使用教程中的RT-DETR改进方案.
    4. 增加EMO模型中的iRMB模块,并使用(EfficientViT-CVPR2023)中的CascadedAttention对其二次创新得到iRMB_Cascaded,详细请看使用教程中的RT-DETR改进方案.
    5. 百度云视频增加1119更新说明和手把手添加注意力机制视频教学.
    6. 更新使用教程.
  • 20231126-rtdetr-v1.3

    1. 支持IoU,GIoU,DIoU,CIoU,EIoU,SIoU.
    2. 支持MPDIoU,Inner-IoU,Inner-MPDIoU.
    3. 支持Normalized Gaussian Wasserstein Distance.
    4. 支持小目标检测层P2.
    5. 支持DySnakeConv.
    6. 新增Pconv,PConv-Rep(二次创新)优化rtdetr-r18与rtdetr-r50.
    7. 新增Faster-Block,Faster-Block-Rep(二次创新),Faster-Block-EMA(二次创新),Faster-Block-Rep-EMA(二次创新)优化rtdetr-r18、rtdetr-r50、yolov5-detr、yolov8-retr.
    8. 更新使用教程.
    9. 百度云视频增加1126更新说明.
  • 20231202-rtdetr-v1.4

    1. 支持AKConv(具有任意采样形状和任意数目参数的卷积核).
    2. 支持RFAConv,RFCAConv,RFCBAMConv(感受野注意力卷积).
    3. 支持UniRepLKNet(大核CNNRepLK正统续作).
    4. 使用CVPR2022 DAttention改进AIFI.
    5. 更新使用教程.
    6. 百度云视频增加1202更新说明.
    7. 解决训练过程中由于指标出现的nan问题导致best.pt没办法正常保存.
  • 20231210-rtdetr-v1.5

    1. 支持来自Swift Parameter-free Attention Network中的重参数化Conv3XC模块.
    2. 支持UniRepLKNet中的DilatedReparamBlock.
    3. 支持UniRepLKNet中的DilatedReparamBlock对DWRSeg中的Dilation-wise Residual(DWR)模块进行二次创新的DWR_DRB.
    4. 使用ICCV2023 FLatten Transformer中的FocusedLinearAttention改进AIFI.
    5. 更新使用教程.
    6. 百度云视频增加1210更新说明.
  • 20231214-rtdetr-v1.6

    1. 支持DiverseBranchBlock.
    2. 利用DualConv打造CSP Efficient Dual Layer Aggregation Networks(仅支持yolov5-detr和yolov8-detr).
    3. 使用Swift Parameter-free Attention Network中的重参数化Conv3XC和DiverseBranchBlock改进RepC3.
    4. 支持最新的ASF-YOLO中的Attentional Scale Sequence Fusion.
    5. 更新使用教程.
    6. 百度云视频增加1214更新说明.
  • 20231223-rtdetr-v1.7

    1. 增加rtdetr-r18-asf-p2.yaml,使用ASF-YOLO中的Attentional Scale Sequence Fusion与Small Object Detection Head进行二次创新.
    2. 新增rtdetr-slimneck.yaml和rtdetr-slimneck-ASF.yaml.
    3. 新增yolov8-detr-slimneck.yaml,yolov8-detr-slimneck-asf.yaml.
    4. 新增yolov5-detr-slimneck.yaml,yolov5-detr-slimneck-asf.yaml.
    5. 修正热力图计算中预处理.
    6. 更新使用教程.
    7. 百度云视频增加1223更新说明.
  • 20240106-rtdetr-v1.8

    1. 新增Shape-IoU,Inner-Shape-IoU.
    2. 新增支持TransNeXt主干和TransNeXt中的聚焦感知注意力机制.
    3. 新增U-NetV2中的Semantics and Detail Infusion Module对RTDETR的CCFM进行创新.
    4. ASF系列支持attention_add.
    5. 更新使用教程.
    6. 百度云视频增加20240106更新说明.
  • 20240113-rtdetr-v1.9

    1. 支持Wise-IoU(v1,v2,v3)系列(IoU,WIoU,EIoU,GIoU,DIoU,CIoU,SIoU,MPDIoU,ShapeIoU).
    2. 支持Inner-Wise-IoU(v1,v2,v3)系列(IoU,WIoU,EIoU,GIoU,DIoU,CIoU,SIoU,MPDIoU,ShapeIoU).
    3. 支持SlideLoss,EMASlideLoss(利用Exponential Moving Average优化mean iou,可当自研创新模块).
    4. 使用华为2023最新GOLD-YOLO中的Gatherand-Distribute进行改进特征融合模块.
    5. 使用ASF-YOLO中Attentional Scale Sequence Fusion与GOLD-YOLO中的Gatherand-Distribute进行二次创新结合.
    6. 修正rtdetr-r34中检测头参数错误的问题,增加rtdetr-r34,rtdetr-r50-m的预训练权重.
    7. 更新使用教程.
    8. 百度云视频增加20240113更新说明.
  • 20240120-rtdetr-v1.10

    1. 新增DCNV4.
    2. 使用LITv2中具有提取高低频信息的高效注意力对AIFI进行二次改进.
    3. 使用MFDS-DETR中的HS-FPN改进RTDETR中的CCFM和YOLOV5-DETR、YOLOV8-DETR中的Neck.
    4. 对MFDS-DETR中的HS-FPN进行二次创新后得到HSPAN改进RTDETR中的CCFM和YOLOV5-DETR、YOLOV8-DETR中的Neck.
    5. 修复没有使用wiou时候断点续寻的bug.
    6. 修复plot_result.py画结果图中乱码的问题.
    7. 更新使用教程.
    8. 百度云视频增加20240120更新说明.
  • 20240128-rtdetr-v1.11

    1. 增加CARAFE轻量化上采样算子.
    2. 增加DySample(ICCV2023)动态上采样算子.
    3. 增加Haar wavelet downsampling下采样算子.
    4. 增加Focaler-IoU,Focaler-GIoU,Focaler-DIoU,Focaler-CIoU,Focaler-EIoU,Focaler-SIoU,Focaler-Shape-IoU,Focaler-MPDIoU.
    5. 增加Focaler-Wise-IoU(v1,v2,v3)(IoU,WIoU,EIoU,GIoU,DIoU,CIoU,SIoU,MPDIoU,ShapeIoU).
    6. 使用DySample(ICCV2023)动态上采样算子对ASF-YOLO中的Attentional Scale Sequence Fusion进行二次创新.
    7. 更新使用教程.
    8. 百度云视频增加20240128更新说明.
  • 20240206-rtdetr-v1.12

    1. 新增Shift-ConvNets相关改进内容.(rtdetr-SWC.yaml,rtdetr-R50-SWC.yaml,yolov8-detr-C2f-SWC.yaml,yolov5-detr-C3-SWC.yaml)
    2. 使用UniRepLKNet中的DilatedReparamBlock对EMO中的iRMB进行二次创新.
    3. 使用Shift-ConvNets中的具有移位操作的卷积对EMO中的iRMB进行二次创新.
    4. 更新使用教程.
    5. 百度云视频增加20240206更新说明.
  • 20240219-rtdetr-v1.13

    1. 使用最新的Mamba架构(号称超越Transformer的新架构)改进rtdetr-r18,rtdetr-r50,yolov5-detr,yolov8-detr.
    2. 新增Powerful-IoU,Powerful-IoUV2,Inner-Powerful-IoU,Inner-Powerful-IoUV2,Focaler-Powerful-IoU,Focaler-Powerful-IoUV2,Wise-Powerful-IoU(v1,v2,v3),Wise-Powerful-IoUV2(v1,v2,v3)系列.
    3. 更新热力图脚本,使用方式可参考最新发的yolov5v7-gradcam的视频.
    4. 更新COCO脚本,增加其他指标输出.
    5. 更新使用教程.
    6. 百度云视频增加20240219更新说明.

你可能感兴趣的:(人工智能,pytorch,深度学习,python)