SKNet网络结构概要解读

本篇主要介绍SKNet，其他相关系列及其变体见如下blog目录

ResNet系列及其变体目录

---

提到SKNet，自然会想到SENet，SENet见SENet网络结构概要解读

Selective Kernel Networks

SKNet出发点：构建一种模型，使网络可以根据输入信息的多个尺度自适应的调节接受域大小

• Split.使用不同的卷积核对原图进行卷积。对输入向量X进行不同卷积核大小的完整卷积操作(包括efficient grouped/depthwise convolutions，Batch Normalization，ReLU function)。在本文，选取的3x3和5x5卷积，得到两个feature map。为了进一步的效率，将5x5的传统卷积替代为dilation=2，卷积核为3x3的空洞卷积。

• Fuse.类似SE模块的处理，两个feature map相加后，进行全局平均池化操作，全连接先降维再升维的为两层全连接层，输出的两个矩阵a和b，其中矩阵b为冗余矩阵，b=1-a。

• Select.Select操作对应于SE模块中的Scale。Select使用a和b两个权重矩阵对之前的两个feature map进行加权操作

文中只是提出了双分支的情况，我们也可以扩展到更多分支。

Result：