SKNet论文

论文连接：Selective Kernel Networks
code:pytorch代码

SENet主要受神经学的启发，视觉皮层中神经元可以根据不同的刺激动态的调整自身的RF（receptive field，感受野）。其实在之前的很多网络中都采用了多个不同大小kernel，然后将他们提取到的特征进行融合，比如Inception采用了$3\times 3$, $5\times 5$ ,$7\times 7$的kernel。
论文提出的一种使用非线性的方法来整合多个kernel提取的信息。作者提出了“Selective Kernel”（SK）卷积，其包含Split,Fuse和Select操作。

上图采用了2个大小不同的卷积核，在实际应用中可以轻松扩展到多个卷积核。

Split

如上图所示，采用两个不同的卷积核分别对$X$进行卷积操作，得到$\hat{U}$ 和$\tilde{U}$，两者的大小（$H\times W\times C$）相同.

Fuse

1.$\hat{U}$ 和$\tilde{U}$对应元素相加，得到$U(H\times W\times C)$。
$$U=\hat{U}+\tilde{U}$$
2.对$U$进行global average pooling，得到$S$，$S$和$U$的通道数一样，均为$C$
。
3.使用全连接层对$S$进行压缩，得到$Z$，$Z$的通道数为$d$.
$$z=F_{fc}(s)=\delta (B(\mathbf{W}s))$$
$\delta$为ReLU函数，$B$为Batch Normalization。
$$d=max(C/r,L)$$
$r$为缩放比例，$L$为通道的最小值，论文中设置为32.

Select

$$a_c=\frac{e^{{\mathbf{A}}_c\mathbf{z}}}{e^{{\mathbf{A}}_c\mathbf{z}}+e^{{\mathbf{B}}_c\mathbf{z}}},b_c=\frac{e^{{\mathbf{B}}_c\mathbf{z}}}{e^{{\mathbf{A}}_c\mathbf{z}}+e^{{\mathbf{B}}_c\mathbf{z}}}$$

其中$\mathbf{A},\mathbf{B}\in {\mathbb{R}}^{C\times d}$，$\mathbf{a},\mathbf{b}$分别代表$\hat{U}$和$\tilde{U}$的soft attention vector。
在这里$a_c+b_c=1$。
$$V_c=a_c\cdot \widehat{U_c}+b_c\cdot \widetilde{U_c}$$
$\mathbf{V}=[{\mathbf{V}}_1,{\mathbf{V}}_2,\dots ,{\mathbf{V}}_{\mathbf{C}}]$

网络结构

SKNet由多个SK Unit组合而成，每个SK Unit包含$1\times 1$ 卷积，SK 卷积， $1\times 1$ 卷积。

实验

具体实验部分请参考论文，作者通过多个实验证明了SKNet的效果。

代码

import torch
from torch import nn

class SKConv(nn.Module):
	def __init__(self, features, M, G, r, stride=1, L=32):
		"""
		:param features: input channel dimensionality
		:param WH: input spatial dimensionality, used for GAP kernel size.
		:param M:the number of branchs.
		:param G:number of convolution group
		:param r:the radio for compute d, the length of z
		:param stride: stride, default 1.
		:param L:the minimum dim of vector z in paper, default 32.
		"""
		super(SKConv, self).__init__()
		d = max(int(features/r), L)
		self.M = M
		self.features = features
		self.convs = nn.ModuleList([])
		for i in range(self.M):
			self.convs.append(nn.Sequential(
				nn.Conv2d(features, features, kernel_size=3+i*2, stride=stride, padding=1+i, groups=G),
				nn.BatchNorm2d(features),
				nn.ReLU(inplace=False)
			))
		self.gap = nn.AdaptiveAvgPool2d(1)
		self.fc = nn.Linear(features, d)
		self.fcs = nn.ModuleList([])
		for i in range(M):
			self.fcs.append(
				nn.Linear(d, features)
			)
		self.softmax = nn.Softmax(dim=1)

	def forward(self, x):
		for i, conv in enumerate(self.convs):
			fea = conv(x).unsqueeze_(dim=1)
			if i == 0:
				feas = fea
			else:
				feas = torch.cat([feas, fea], dim=1)
		fea_U = torch.sum(feas, dim=1)
		fea_s = self.gap(fea_U).squeeze_(-1).squeeze_(-1)
		fea_z = self.fc(fea_s)
		for i, fc in enumerate(self.fcs):
			vector = fc(fea_z).unsqueeze_(dim=1)
			if i == 0:
				attention_vectors =vector
			else:
				attention_vectors = torch.cat([attention_vectors, vector], dim=1)
		attention_vectors = self.softmax(attention_vectors)
		attention_vectors = attention_vectors.unsqueeze(-1).unsqueeze(-1)
		fea_v = (feas * attention_vectors).sum(dim=1)
		return fea_v


if __name__ == '__main__':
	torch.manual_seed(1)
	x = torch.rand(8, 64, 32, 32)
	conv = SKConv(64,3,8,2)
	out = conv(x)
	print(x.shape)

PyTorch中的 XXX_ 和 XXX 实现的功能都是相同的，唯一不同的是前者进行的是 in_place 操作。

参考

SKNet——SENet孪生兄弟篇