目标检测的发展

2014年,Ross Girshick等人提出R-CNN,首次利用CNN进行目标检测。

RCNN通过Selective Search算法进行region proposals,使用CNN对proposals提取特征,然后将提取的特征输入SVM进行分类,最后利用全连接网络进行边框回归(线性脊回归)。

图片要先经过Selective Search算法产生的proposals,然后在图片上截取proposals区域,对proposals区域Resize之后,将其输入CNN进行分类。

proposals区域会有大量重叠的部分,所以在对proposals提取特征时会对重叠部分反复提取特征。此外,对proposals区域进行Resize会导致图片变形,不利于提取特征。

再有,RCNN不能端到端训练,训练过程非常麻烦,首先要对预训练的CNN模型进行微调,然后去掉CNN的fc7层做特征提取器。经过SS算法提取proposals之后,使用特征提取器fc6 layer的输出训练SVM分类器,在这个过程中保存Pool5的结果,最后用Pool5的结果训练边框回归器。

2015年,Kaiming He等人提出了SPP Net,其主要改进是不需要对proposals区域重复提取特征,只需要将整个图片输入进CNN提取一次特征即可。

此时输入检测网络的并不是按照proposals在原图上截取的图片,而是把整张原图输入检测网络提取feature map。原来通过proposals在原图上截取图片此时变成了通过proposals在feature map上截取region-wise feature map。

要解决的问题是proposals如何映射到feature map上,以及不同大小的region-wise feature map如何通过全连接层进行分类。

SPP Net提出了将proposals映射到feature map的公式,然后通过在全连接层前面添加SPP(Spatial Pyramid Pooling) layer来将region-wise feature map映射到固定的维度。

但是,SPP Net仍然没有解决目标检测算法不能端到端训练的缺点。

同年,Ross Girshick提出fast RCNN,fast RCNN借鉴SPP Net 使用RoI Pooling 将不同尺寸的region-wise feature map映射成固定维度的输出,同时,将使用SVM进行分类该成使用softmax层进行分类,最后,将边框回归集成到CNN中,添加一个与cls layer同级的reg layer 进行边框回归,实现多任务学习。

经过这一系列的改进,fast RCNN的训练过程大幅度简化,并且速度大幅度加快。

遗憾的是,fast RCNN仍然使用Selective Search进行region proposals,Selective Search的存在占用了大量的时间,并且导致fast RCNN仍然不能端到端的训练。

还是在2015年,Kaiming He 和 Ross Girshick 等人提出了faster RCNN,将region proposals算法由Selective Search改为RPN,RPN是一个全连接网络,可以在与fast RCNN共享卷积层的前提下加快region proposals时间,并与fast RCNN一起进行端到端训练。

经过faster RCNN的改进,目标检测的所有阶段已经全都可以使用GPU进行训练。

你可能感兴趣的:(目标检测,论文,目标检测)