caffe im2col 详解

感谢Tiger-Gao的渊博知识,本文转自https://blog.csdn.net/mrhiuser/article/details/52672824。

本文讲解的是caffe中卷积过程,众所周知caffe中卷积采用的是im2col和sgemm的方式。网上已经有很多的im2col的讲解。原本不打算写这篇文章(在此不得不吐槽下,网上有不少的讲解caffe im2col的过程的文章多是错的。一些文章和caffe的具体实现对不上,真不知道他们到底有没有看caffe代码的具体实现,正是因为那些文章,浪费了不少时间。)

本文举例讲解caffe中im2col 和 sgemm的具体过程。在此之前先说明下:caffe中的数据是行优先(row-major)存储的。
一:im2col
一个图像 input_num=1;
图像通道 input_channel=1;
图像高 input_h=4;
图像宽 input_w=4;
kernel高 kernel_h=3;
kernel宽 kernel_w=3;
stride=1;pad=0;
卷积后,输出图像的计算公式:
output_h=(input_h-kernel_h)/stride+1;
output_w=(input_w-kernel_w)/stride+1;

如下图,(注:图像中数据不代表图像的颜色数值)
caffe im2col 详解_第1张图片
原图(图a)按照从左到右、从上到下的过程,将(a)中大小为3*3(因为kernel大小为3*3)的矩阵拉成右图(图b)中的一列。具体过程如下图所示:

二:多通道的im2col
假设有三个通道(R、G、B)图像通道 input_channel=3;
图像在内存中的存储是:首先是连续存储第一通道的数据,然后再存储第二通道的数据,最后存储第三通道的数据。如下图:
caffe im2col 详解_第2张图片
多通道的im2col的过程,是首先im2col第一通道,然后在im2col第二通道,最后im2col第三通道。各通道im2col的数据在内存中也是连续存储的。如下图:
caffe im2col 详解_第3张图片
三:kernel
图像的每个通道对应一个kernel通道,如下图(注:为计算简单,将kernel的值设置为1,同样此值不代表颜色数值。)
caffe im2col 详解_第4张图片
kernel的通道数据在内存中也是连续存储的。所以上面的kernel图像也可以表示为下图:
三:矩阵乘 sgemm
在caffe中图像与kernel的矩阵乘,是kernel*img。即:在矩阵乘法中
M=1 ,
N=output_h * output_w
K=input_channels * kernel_h * kernel_w

如下图所示:
caffe im2col 详解_第5张图片
图像数据是连续存储,因此输出图像也可以如下图所示【output_h * output_w】=【2*2】:
caffe im2col 详解_第6张图片

四:多通道图像输出
在caffe中图像与kernel的矩阵乘中:
M=output_channels ,
N=output_h * output_w
K=input_channels * kernel_h * kernel_w

如下图:
caffe im2col 详解_第7张图片
同样,多个输出通道图像的数据是连续存储,因此输出图像也可以如下图所示【output_channels*output_h * output_w】=【3*2*2】,
caffe im2col 详解_第8张图片

(完)

你可能感兴趣的:(深度学习,im2col)