注意力机制的实现-senet

注意力机制可以作为一个小技巧在我们的网络中实现,具体的实现方式如下(以pytorch)为例

senet是典型的通道注意力机制,具体原理如下

 首先,对H,W进行全局平均池化,只保留batch-size,channel两个通道,将其压缩为特征长条

其次,进行两次全连接,第一次全连接的输的较小,第二次全连接的输出等于channel,并且补全batch-size,channel两个维度。

最后,根据得到的通道重要程度的权重与原特征图相乘,已达到目的。

import torch
import torch.nn as nn


class se_block(nn.Module):
    def __init__(self, channel=512, ratio=16):
        super(se_block, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc = nn.Sequential(
            nn.Linear(channel, channel//ratio, bias=False),
            nn.ReLU(inplace=True),
            nn.Linear(channel//ratio, channel, bias=False),
            nn.Sigmoid()
        )
    def forword(self, x):
        b, c, h, w = x.zize()
        y = self.avg_pool(x).view(b,c)
        y = self.fc(y).view(b, c, 1, 1)
        return x*y

# net=se_block()
# print(net)


实例化后的运行结果
# se_block(
#   (avg_pool): AdaptiveAvgPool2d(output_size=1)
#   (fc): Sequential(
#     (0): Linear(in_features=512, out_features=32, bias=False)
#     (1): ReLU(inplace=True)
#     (2): Linear(in_features=32, out_features=512, bias=False)
#     (3): Sigmoid()
#   )
# )

你可能感兴趣的:(深度学习,pytorch,神经网络)