改进YOLOv5系列：14.添加S2-MLPv2注意力机制

• 统一使用 YOLOv5 代码框架，结合不同模块来构建不同的YOLO目标检测模型。
• 本项目包含大量的改进方式,降低改进难度,改进点包含【Backbone特征主干】、【Neck特征融合】、【Head检测头】、【注意力机制】、【IoU损失函数】、【NMS】、【Loss计算方式】、【自注意力机制】、【数据增强部分】、【标签分配策略】、【激活函数】等各个部分。
• 认准：芒果汁没有芒果。
• 可以排列组合上千种模块 不同的搭配 (推荐)
• 同时附带各种改进点原理及对应的代码改进方式教程，用户可根据自身情况快速排列组合，在不同的数据集上实验, 应用组合写论文！

对于这块有疑问的，可以在评论区提出，或者私信CSDN。

YOLOv5、YOLOv7 + 注意力机制一览

YOLOv5 + ShuffleAttention注意力机制
博客链接：改进YOLOv5系列：12.添加ShuffleAttention注意力机制
YOLOv5 + CrissCrossAttention注意力机制
博客链接：改进YOLOv5系列：13.添加CrissCrossAttention注意力机制
YOLOv5 + S2-MLPv2注意力机制
博客链接：改进YOLOv5系列：14.添加S2-MLPv2注意力机制
YOLOv5 + SimAM注意力机制
博客链接：改进YOLOv5系列：15.添加SimAM注意力机制
YOLOv5 + SKAttention注意力机制
博客链接：改进YOLOv5系列：16.添加SKAttention注意力机制
YOLOv5 + NAMAttention注意力机制
博客链接：改进YOLOv5系列：17.添加NAMAttention注意力机制
YOLOv5 + SOCA注意力机制
博客链接：改进YOLOv5系列：18.添加SOCA注意力机制
YOLOv5 + CBAM注意力机制
博客链接：改进YOLOv5系列：18.添加CBAM注意力机制
YOLOv5 + SEAttention注意力机制
博客链接：改进YOLOv5系列：19.添加SEAttention注意力机制
YOLOv5 + GAMAttention注意力机制
博客链接：改进YOLOv5系列：20.添加GAMAttention注意力机制
YOLOv5 + CA注意力机制
博客链接：github
YOLOv5 + ECA注意力机制 博客链接：github
更多模块详细解释持续更新中。。。

之后继续更新

第一种、YOLOv5使用S2-MLPv2注意力机制

S2-MLPv2注意力机制

最近，出现了基于 MLP 的视觉主干。与 CNN 和视觉Transformer相比，基于 MLP 的视觉架构具有较少的归纳偏差，在图像识别方面实现了有竞争力的性能。其中，spatial-shift MLP (S2-MLP)，采用直接的空间位移操作，取得了比包括 MLP-mixer 和 ResMLP 在内的开创性工作更好的性能。使用具有金字塔结构的较小补丁，视觉置换器 (ViP) 和Global Filter Network (GFNet) 实现了比 S2-MLP 更好的性能。

在本文中，我们改进了 S2-MLP 视觉主干。我们沿通道维度扩展特征图，并将扩展后的特征图分成几个部分。我们对分割部分进行不同的空间移位操作。

S2-MLPv2注意力机制原理图

1.1增加以下S2-MLPv2.yaml文件

# parameters
# YOLOv5  by Ultralytics, GPL-3.0 license

# Parameters
nc: 80  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [-1, 1, SPPF, [1024, 5]],  # 9
  ]

# YOLOv5 v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13

   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 17 (P3/8-small)

   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)

   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 23 (P5/32-large)
   [-1, 1, S2Attention, [1024]], #修改

   [[17, 20, 24], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

1.2common.py配置

./models/common.py文件增加以下模块

import numpy as np
import torch
from torch import nn
from torch.nn import init

# https://arxiv.org/abs/2108.01072
def spatial_shift1(x):
    b,w,h,c = x.size()
    x[:,1:,:,:c//4] = x[:,:w-1,:,:c//4]
    x[:,:w-1,:,c//4:c//2] = x[:,1:,:,c//4:c//2]
    x[:,:,1:,c//2:c*3//4] = x[:,:,:h-1,c//2:c*3//4]
    x[:,:,:h-1,3*c//4:] = x[:,:,1:,3*c//4:]
    return x


def spatial_shift2(x):
    b,w,h,c = x.size()
    x[:,:,1:,:c//4] = x[:,:,:h-1,:c//4]
    x[:,:,:h-1,c//4:c//2] = x[:,:,1:,c//4:c//2]
    x[:,1:,:,c//2:c*3//4] = x[:,:w-1,:,c//2:c*3//4]
    x[:,:w-1,:,3*c//4:] = x[:,1:,:,3*c//4:]
    return x


class SplitAttention(nn.Module):
    def __init__(self,channel=512,k=3):
        super().__init__()
        self.channel=channel
        self.k=k
        self.mlp1=nn.Linear(channel,channel,bias=False)
        self.gelu=nn.GELU()
        self.mlp2=nn.Linear(channel,channel*k,bias=False)
        self.softmax=nn.Softmax(1)
    
    def forward(self,x_all):
        b,k,h,w,c=x_all.shape
        x_all=x_all.reshape(b,k,-1,c) 
        a=torch.sum(torch.sum(x_all,1),1) 
        hat_a=self.mlp2(self.gelu(self.mlp1(a))) 
        hat_a=hat_a.reshape(b,self.k,c) 
        bar_a=self.softmax(hat_a) 
        attention=bar_a.unsqueeze(-2) 
        out=attention*x_all 
        out=torch.sum(out,1).reshape(b,h,w,c)
        return out


class S2Attention(nn.Module):

    def __init__(self, channels=512 ):
        super().__init__()
        self.mlp1 = nn.Linear(channels,channels*3)
        self.mlp2 = nn.Linear(channels,channels)
        self.split_attention = SplitAttention()

    def forward(self, x):
        b,c,w,h = x.size()
        x=x.permute(0,2,3,1)
        x = self.mlp1(x)
        x1 = spatial_shift1(x[:,:,:,:c])
        x2 = spatial_shift2(x[:,:,:,c:c*2])
        x3 = x[:,:,:,c*2:]
        x_all=torch.stack([x1,x2,x3],1)
        a = self.split_attention(x_all)
        x = self.mlp2(a)
        x=x.permute(0,3,1,2)
        return x
  
  

1.3yolo.py配置

在 models/yolo.py文件夹下

• 定位到parse_model函数中
• for i, (f, n, m, args) in enumerate(d['backbone'] + d['head']):内部
• 对应位置 下方只需要新增以下代码

elif m is S2Attention:
    c1, c2 = ch[f], args[0]
    if c2 != no:
        c2 = make_divisible(c2 * gw, 8)

1.4训练模型

python train.py --cfg yolov5_S2Attention.yaml

---

往期YOLO改进教程导航

11.改进YOLOv5系列：11.ConvNeXt结合YOLO | CVPR2022 多种搭配，即插即用 | Backbone主干CNN模型

10.改进YOLOv5系列：10.最新HorNet结合YOLO应用首发！ | ECCV2022出品，多种搭配，即插即用 | Backbone主干、递归门控卷积的高效高阶空间交互

9.改进YOLOv5系列：9.BoTNet Transformer结构的修改

8.改进YOLOv5系列：8.增加ACmix结构的修改,自注意力和卷积集成

7.改进YOLOv5系列：7.修改DIoU-NMS,SIoU-NMS,EIoU-NMS,CIoU-NMS,GIoU-NMS

6.改进YOLOv5系列：6.修改Soft-NMS,Soft-CIoUNMS,Soft-SIoUNMS

5.改进YOLOv5系列：5.CotNet Transformer结构的修改

4.改进YOLOv5系列：4.YOLOv5_最新MobileOne结构换Backbone修改

3.改进YOLOv5系列：3.Swin Transformer结构的修改

2.改进YOLOv5系列：2.PicoDet结构的修改

1.改进YOLOv5系列：1.多种注意力机制修改