CCNet代码详解

实际上CCnet,基本相当于在卷积提取特征之后(用的resnet),加上了一个自己的head,也就是所谓的十字交叉注意力机制/module。

ResNet由bottleNeck和basicBlock组成。

BasicBlock、bottleneck的结构:
CCNet代码详解_第1张图片

  • 左图:一个积木块(56×56个特征图),如图3所示,用于ResNet-34。右图:ResNet-50/101/152的“瓶颈”构建块。
  • 左边的就叫做BasicBlock,右边就叫bottleneck
    我们可以看到方框(就是一个卷积层layer)中的数字33,64,表示什么意思呢?就是卷积的大小是33的,然后维度是64,就是特征层有64个(大小是33),叠加在一起就是一个方块的样子,那在BasicBlock中,两个层的大小是相等,所以加在一起是长方体。
  • 这样的话,是否就能够理解,bottleneck这个残差块的名字的由来了呢?
    没错,上面是11,64大小的块,中间是33,64大小的块,下面是1*1,256大小的块,叠加在一起ÿ

你可能感兴趣的:(python,神经网络,深度学习)