ESPNetv2: ALight-weight,PowerEfficient,andGeneralPurpose ConvolutionalNeuralNetwork解读

原文地址：https://arxiv.org/pdf/1811.11431.pdf

 

一、主要工作

1.提出ESPNetV2，用分组卷积和深度可分离膨胀卷积学习大感受视野的表征，并且降低FLOPs和参数量。

2.在上一个版本中的ESPNet中提出HHF模块，用特征图逐渐相加的方式来避免膨胀卷积带来的

采样稀疏问题（网格效应）。

3.将特征压缩后按通道分组进行不同膨胀率的卷积，减少了参数量，扩大了空间感受率。

4.每一个基本的block都在输出中添加输入特征的池化信息，这样可以同时保留输入信息和卷积后的信息。

二、创新点

1.在ESPNetV2基本组成block结构中使用特征累加避免网格效应。

2.用分组卷积合并的方式减少计算量。

ESPNetV2基本block

在上图中K*d=N，也即是说K个卷积之后的特征图合并之后刚好通道数等于N，这样整个模块就可以看做是d*d*M*N的卷积的作用，但是该模块比d*d*M*N的卷积计算参数量要小很多，而且感受视野也比后者大。模块中采用不同膨胀率的卷积之后的特征进行累加之后再进行通道合并，这样可以有效避免膨胀卷积稀疏采样的问题。网络中的激活函数使用了prelu，而不是relu。

HFF模块作用

膨虽然空洞卷积可以在相同的卷积核大小下获得更大的感受野，但是当空洞率越大，则对输入的采样越稀疏，一些局部信息也因此而丢失；并且长距离间隔的信息可能并不相关，打断了局部信息之间的连续性特征胀卷积的稀疏采样问题会严重的影响图像的特征提取，而一般的消除这种影响的算法需要比较大的计算量，HFF只是将膨胀率相邻的特征相加，只消耗很小的计算量。通过对比实验，还能发现HFF提升了分类的精准度，这是因为多个分支不同感受野的卷积结果通过HFF共享信息，学习到了更丰富的特征

三、实验部分

在cityscapes上表现 在PASCAL VOC2012上的表现

ESPNet v2在cityscapes数据集上精确度介于contexnet和icnet，但是其参数和计算量要比二者少很多，ESPNetv2更好的平衡了准确率和精确度，在两个数据集上均有不错的表现。

四、总结

ESPNet灵活运用了膨胀卷积和深度可分离卷积，并创新性提出HFF避免了膨胀卷积的网格效应，获取更大感受视野，提取到更丰富的特征，可能是出于平衡精确度的原因网络没用使用1D卷积。在以后跑模型时假如模型中有很多膨胀卷积，可以考虑用HFF模块消除其网格效应。