最新高效卷积方式HetConv

姓名：张志文 学号：19021210649
【嵌牛导读】
HetConv，在CIFAR10、ImageNet等数据集超过了标准卷积以及DW+PW的高效卷积组合形式，取得了更高的分类性能。
【嵌牛鼻子】
HetConv；卷积
【嵌牛提问】
高效的卷积方式HetConv的原理是什么？
【嵌牛正文】
HetConv: Heterogeneous Kernel-Based Convolutions for Deep CNNs
Introduction

本片文章主要提出新的卷积，从DWC，PWC，GWC在到本文的HetConv。本文卷积的优点是与标准的卷积比，HetConv卷积减少参数量，计算量也同时减少。并且将该结构放入到VGG和ResNet中进行测试，得出最后的实验结果。

Model

image

标准卷积的计算量为：FL s = D0 × D0 × M × N × K × K ;

HetConv的计算量为： FLk= (Do × Do × M × N × K × K)/P

image

该图主要说明从深度卷积，逐点卷积再到分组卷积，直到本文提出的HetConv卷积。HetConv结构的filter是0延时，而GWC+PWC或者是DWC+PWC是每个单元都有一个延

image

image

实验部分

数据集使用cifar10，和ImageNet测试，把新提出的结构进行对比。

Cifar10数据集实验

image

从实验中可以得出，P4的结果是最好的，也就是1个33卷积和3个11卷积。且参数量相对比较少

image

P32指的是输入的通道数为32，P64指的是输入的通道数为63.从图可得，P32的效果最好

image

SE指的是Squeeze-and-Excitation

image

MobileNet结果是P32+SE的准确性是最好的，要比只有MobileNet的结构要好很多。

ImageNet数据集测试

image

VGG-16-P4的结果不如P1的结果好。

image

ResNet-50 P4的效果要稍微比P1的效果好，而且FLops也要比P1降了很多。

image

ResNet-34与ResNet-50相比，ResNet-50的结果要比ResNet要好，

本文内容为转载，版权归作者所有