最新高效卷积方式HetConv

姓名:张志文 学号:19021210649
【嵌牛导读】
HetConv,在CIFAR10、ImageNet等数据集超过了标准卷积以及DW+PW的高效卷积组合形式,取得了更高的分类性能。
【嵌牛鼻子】
HetConv;卷积
【嵌牛提问】
高效的卷积方式HetConv的原理是什么?
【嵌牛正文】
HetConv: Heterogeneous Kernel-Based Convolutions for Deep CNNs
Introduction

本片文章主要提出新的卷积,从DWC,PWC,GWC在到本文的HetConv。本文卷积的优点是与标准的卷积比,HetConv卷积减少参数量,计算量也同时减少。并且将该结构放入到VGG和ResNet中进行测试,得出最后的实验结果。

Model

image

标准卷积的计算量为:FL s = D0 × D0 × M × N × K × K ;

HetConv的计算量为: FLk= (Do × Do × M × N × K × K)/P

image

该图主要说明从深度卷积,逐点卷积再到分组卷积,直到本文提出的HetConv卷积。HetConv结构的filter是0延时,而GWC+PWC或者是DWC+PWC是每个单元都有一个延

image
image

实验部分

数据集使用cifar10,和ImageNet测试,把新提出的结构进行对比。

Cifar10数据集实验

image

从实验中可以得出,P4的结果是最好的,也就是1个33卷积和3个11卷积。且参数量相对比较少

image

P32指的是输入的通道数为32,P64指的是输入的通道数为63.从图可得,P32的效果最好

image

SE指的是Squeeze-and-Excitation

image

MobileNet结果是P32+SE的准确性是最好的,要比只有MobileNet的结构要好很多。

ImageNet数据集测试

image

VGG-16-P4的结果不如P1的结果好。

image

ResNet-50 P4的效果要稍微比P1的效果好,而且FLops也要比P1降了很多。

image

ResNet-34与ResNet-50相比,ResNet-50的结果要比ResNet要好,

本文内容为转载,版权归作者所有

你可能感兴趣的:(最新高效卷积方式HetConv)