超交互神经网络super interaction neural network概述

超交互神经网络super interaction neural network概述

一种新型的轻量化网络结构
轻量化网络结构现状：追求高效使得结构非常精简，提取特征有限，为了充分利用有限的特征，实现特征间信息交互，mobilenet采用DWC来实现这一点，但相应增加了大量存储和计算。
为了既加强信息间交互又进一步加快计算速度，提出了SInet（适用于嵌入式系统如移动电话）。
创新点：
1.exchange shortcut connection（resnet identity shortcut）
2.Dense funnel layer（densenet dense connection）
3.Attention based hierarchical joint decision
1.exchange shortcut connection：

类似于shufflenet的groupconv和channel shuffle，把输入分组，经过混合卷积操作H后各组输出与另一组的输入并置，实现组间信息交互。
GC将计算量由c×h×w×k×k×m减少到c×h×w×k×k×m/g
这里的混合卷积操作H是指：DWC、RELU、BN

2.dense funnel layer

Densenet里的dense connection虽然高效但是需要大量内存和计算，不适合轻量化网络要求。
SInet提出一种新颖的dense funnel layer，如图不同颜色代表不同层的feature map,I层绿色的feature map经混合卷积操作H后得到II层橙色的feature map，将二者并置，经过DF,这里DF是一个1*1卷积，既能实现跨通道信息融合又能降维，防止计算量过大。重复上述操作，最后feature map从颜色可以看出几乎是前面所有层信息的融合。

3.attention based on hierarchical joint desicion

由于降采样每个block输出的feature map的size不同，无法用所有特征决策分类，
先将所有block的feature map经过average pooling转变为一维向量再connect，避免size不同造成的问题。

接着采用attention机制对不同feature vector分配自适应权重，经过两个FC层，使网络自动学习为各层特征向量分配权重

这里的αk就是学习到的attention权重。
由预测分类输出

整体结构：

一个SI block由三个SI unit构成。

SInet有5个SI block和attention决策层，k为每一层卷积尺寸，n为卷积核个数，s为各block第一层步长为2其余层步长1，类似于mobilenet v2，为了是计算速度和准确度trade off，引入了两个乘法因子t、w
实验：
1.不同models对比试验

与非轻量化网络相比，参数量少运算量少准确度高
与轻量化网络相比，有更低的计算量
在这里插入图片描述
2.ablation study

可以看出使用GC和EX计算速度更快

使用attention机制模型性能更好