深度学习之卷积神经网络经典网络之SENet

SENet(Squeeze-and-Excitation Networks)获得了2017年ILSVR挑战赛的冠军,使得在ImageNet上的TOP-5错误率下降至2.25%。

SENet综合了inception和ResNet的一些思想,inception和ResNets的扩展版本分别叫SE-Inception和SE-ResNets,SENet性能的提升源于在inception 模块和ResNets 残差单元之间加入了SE block,如下图所示:

深度学习之卷积神经网络经典网络之SENet_第1张图片

SE block分析了输出的哪些特征最有可能一起被激活,根据分析的结果调整特征图,如下图所示:

深度学习之卷积神经网络经典网络之SENet_第2张图片

SE block共有三层:全局平均池化层、使用ReLU激活函数的全连接层、使用Sigmoid激活函数的全连接层,如下图所示:

深度学习之卷积神经网络经典网络之SENet_第3张图片

  • 全局平均池化层:计算每个特征图的平均值,对于256个特征图面言,输出256个数值。
  • 使用ReLU激活函数的全连接层:神经元个数通常为上一层(全局平均池化层)特征图个数的16分之一,则为256/16=16。这一次将256个特征图的平均池化结果压缩到16,因此这层就是发生压缩的层。
  • 使用Sigmoid激活函数的全连接层:神经元个数与全局平均池化层特征图个数相同,输出一个数值在0到1之间的向量,用于特征图权重的调整。全局平均池化层之前的特征图与输出向量相乘,不相关的特征图数值更小,只留下更相关的特征图。

 

 

 

你可能感兴趣的:(深度学习,SENet,SE,block,卷积神经网络,ILSVR-2017)