利用卷积层实现滑动窗口(Convolutional implementation of sliding windows)

 利用滑动窗口进行目标检测时,低级做法是:滑动一下窗口,送入CNN执行一次分类,再滑一下,再分类。。。。这样效率太低。
 我们很容易发现,在每次滑动得到的窗口卷积的过程中,很多地方是重复进行了卷积,那我们可不可以一次性送入整张图片,直接得到所有滑动窗口的结果呢?
Sure!
 假设我们有个14x14x3的图,其要送入如图所示的+全连接的网络进行分类:
利用卷积层实现滑动窗口(Convolutional implementation of sliding windows)_第1张图片
 那么由于全连接层的存在,会改变原先矩阵的结构,无法达到我们只传入一整张图实现所有滑动窗口的目的(即FC的存在会使输入图像固定大小)。
 所以我们先要将全连接层等价地变成卷积层。

How FC layer -----> Conv layer?

利用卷积层实现滑动窗口(Convolutional implementation of sliding windows)_第2张图片
 So easy,看图!最后一层卷积层我们得到了5x5x16的特征图,
 1. 然后第一层全连接层我们换成采用400个5x5x16的卷积核进行卷积。
 2. 第二层卷积用400个1x1x400的卷积核进行卷积
 3. 最后用4个1x1x400代替softmax不就OK。
 其实这样的操作和全连接是一样的,因为我们得出的这400个节点,都是分别用400个卷积核核特征图进行线性加权求和得到,所以和全连接层起到一样的效果。
 (注:全卷积网络参数量没有变,只是为了实现在卷积层上实现滑动窗口,在目标检测中很有用)

Convolutional implementation of sliding windows:

利用卷积层实现滑动窗口(Convolutional implementation of sliding windows)_第3张图片
 假设输入CNN的图片为14x14x3,测试图片为16x16x3。
 那就需要移动窗口(窗口大小:14x14x3),得到4个14x14x3的图片,分别将其输入CNN,得到4个结果。
 这样效率太低,存在很多重复的卷积运算。其实我们可以将整张16x16x3的图输入CNN,如上图(下)所示,最后得出4个小方块,其实每个小方块对刚好就是对应的一个滑动窗口的预测结果(不信的话,你可以自己用笔圈一圈,看看卷积后的结果即懂)。
 这里滑动步幅是2是如何实现的呢?其实是通过max-pooling中的池化参数为2,这就相当于以大小为2的步幅在原始图片上应用CNN。

 以上我们就实现了在卷积层上应用滑动窗口,它能够提高整个检测算法的效率。
 不过这种算法仍然存在一个缺点,就是边界框的位置可能不够准确。其中一个能得到更精准边界框的算法是YOLO算法,基本思想就是将图像划分成nxn个grid cell,对象的中点落在哪个cell中,哪个cell就负责该对象的预测。。。。这里就不讲YOLO了哈哈哈。

参考:Andrew Ng 的教学视频

你可能感兴趣的:(目标检测,深度学习,图像识别)