FishNet网络结构阅读笔记

FishNet网络结构阅读笔记_第1张图片

传统的残差网络,由于多了左边的卷积,导致像素不同,无法直接BP。而Fishnet的可以。

FishNet网络结构阅读笔记_第2张图片

    Figure2是FishNet的整体架构(鱼型,左边是尾巴右边是头),Tail、Body、Head。主要讲三部分的类型、作用。

  •     Tail是尾巴,由CNN(resNet组成)
  •     Body由上采样、提取blocks组成,用于细化来自tail和body的特征
  •     Head由下采样、提取blocks组成,用于保存、细化来自t、b、h的特征。
  •     在head最后一个卷积层中,被提取的特征将被用于目标任务。

Stage:文章将不同resolution的特征图处理过程,看做不同阶段,ID不同。

  •    56*56:ID1
  •    28*28:ID2

    而在body处也是用ID1、ID2。resolution与ID编号称反比,resolution变小,ID变大

重点:feature3:t、b、h三部分之间的互相作用

                                                                     

FishNet网络结构阅读笔记_第3张图片

       首先,这些箭头很重要。从左到右分别是特征传递,正则化连接(ReLu等函数?),下采样及特征提取,上采样及特征细化,级联(直接串联?)C:通道数;H,W:高宽;k:通道减少;

FishNet网络结构阅读笔记_第4张图片

                                          我们可以看到从tail到body到head,所有特征都保存在head。(蓝->蓝橙黄->蓝橙黄绿)

 

3.1feature refinement(特征细化)

FishNet网络结构阅读笔记_第5张图片

UR-block

                                                                 

分别代表tail和body在阶段(stage)s的的第一层的输出特征。Nt和Nb代表tail和body部分的阶段数。特征级联通过来表示。代表residual block从tail到body传输的特征代表从上一阶段的fish body细化的特征。下一阶段的输出会从中细化,如下所示

FishNet网络结构阅读笔记_第6张图片

其中,代表上采样函数。作为总结,UR-block级联特征通过公式7,并且在公式6中细化,然后再在公式5中上采样,来获取。公式6的代表从特征中提取信息。通过卷积层来实现。类似于下式的residual操作。通过bottlenek residual 单元(3个CONV)

式6中的信道约简函数可以写作:

                        

这里的image.png表示有着cin通道的输入特征图,hatx表示有着cout通道的输出特征图,且有这关系cin/cout=k,所以等式中x(k*n+j)表示按照输入与输出的比例关系对输入的特征进行了一个分组,每个输出的通道只和其中的一组k个输入有关,是其中一组的加和。

例如:将4通道变2通道

      x={x(1),x(2),x(3),x(4)},目标=[];

      则k= 4 / 2 =2;n={1,2};

      =x(k*n+j)=x(2*1+0)+x(2*1+1)

      =x(k*n+j)=x(2*2+0)+x(2*2+1)

FishNet网络结构阅读笔记_第7张图片

DR-block(下采样和细化block)

和URblock很像。具体就是一个concatenation和一个M卷积;然后相加。down()用的是2*2的maxpooling,步长为2

FishNet网络结构阅读笔记_第8张图片

 

 

你可能感兴趣的:(FishNet网络结构阅读笔记)