2019-03-24

HetConv: Heterogeneous Kernel-Based Convolutions for Deep CNNs

Introduction

本片文章主要提出新的卷积,从DWC,PWC,GWC在到本文的HetConv。本文卷积的优点是与标准的卷积比,HetConv卷积减少参数量,计算量也同时减少。并且将该结构放入到VGG和ResNet中进行测试,得出最后的实验结果。

Model


2019-03-24_第1张图片

标准卷积的计算量为:FL s = D0 × D0 × M × N × K × K ;

HetConv的计算量为: FLk= (Do × Do × M × N × K × K)/P


2019-03-24_第2张图片

该图主要说明从深度卷积,逐点卷积再到分组卷积,直到本文提出的HetConv卷积。HetConv结构的filter是0延时,而GWC+PWC或者是DWC+PWC是每个单元都有一个延


2019-03-24_第3张图片



2019-03-24_第4张图片

实验部分

数据集使用cifar10,和ImageNet测试,把新提出的结构进行对比。

 Cifar10数据集实验


2019-03-24_第5张图片

 从实验中可以得出,P4的结果是最好的,也就是1个3*3卷积和3个1*1卷积。且参数量相对比较少


2019-03-24_第6张图片

P32指的是输入的通道数为32,P64指的是输入的通道数为63.从图可得,P32的效果最好


2019-03-24_第7张图片

SE指的是Squeeze-and-Excitation


2019-03-24_第8张图片

MobileNet结果是P32+SE的准确性是最好的,要比只有MobileNet的结构要好很多。

ImageNet数据集测试


2019-03-24_第9张图片

VGG-16-P4的结果不如P1的结果好。


2019-03-24_第10张图片

ResNet-50 P4的效果要稍微比P1的效果好,而且FLops也要比P1降了很多。


2019-03-24_第11张图片

ResNet-34与ResNet-50相比,ResNet-50的结果要比ResNet要好,


结论:对本文的提出新的结构,在后期的实验过程中,可以尝试使用该卷积的形式。


如有不足,请指正。谢谢

你可能感兴趣的:(2019-03-24)