Fast convnets using group-wise brain damage

Fast convnets using group-wise brain damage

出发点

convolution layer中,很多工具箱(caffe等)都把卷积操作转换成矩阵操作,通过增加并行度来提升计算速度。那么在这个基础上怎么继续加速矩阵运算呢?
对于一个输入是64x224x224的特征图来说,如果有64组3x3卷积核,那么正常的矩阵转化计算就变成

(224224)(3364)(3364)64
如下图所示
Fast convnets using group-wise brain damage_第1张图片
这个时候如果矩阵是卷积核是稀疏化的,极端情况,64个卷积核都是只有1个有效系数,这个时候的矩阵就变成下面的情况,
(224224)(164)(164)64
这样计算量就下降到原来的1/9。
Fast convnets using group-wise brain damage_第2张图片
这就实现了对于卷积核稀疏性的加速。

稀疏性卷积核

这个虽然论文有着重介绍。

你可能感兴趣的:(Deep,Learning)