为什么SPP-Net无法fine-tune卷积层

SPP-Net缺陷:和R-CNN一样,它的训练要经过多个阶段,特征也要存在磁盘中,另外,SPP中的微调只更新SPP层后面的全连接层,对很深的网络这样肯定是不行的。

SPP-Net在fine-tuning阶段之所以无法使用反向传播微调SPP-Net前面的Covs层,是因为特征提取CNN的训练和SVMs分类器的训练在时间上是先后顺序,两者的训练方式独立,因此SVMs的训练Loss无法更新SPP-Layer之前的卷积层参数,因此即使采用更深的CNN网络进行特征提取,也无法保证SVMs分类器的准确率一定能够提升。

另外在Fast-RCNN中,由于去掉了SVM分类这一过程,所有特征都存储在显存中,不占用硬盘空间,形成了End-to-End模型(当然proposal除外,end-to-end在Faster-RCNN中得以完善);Fast-RCNN还通过single scale(pooling->spp just for one scale) testing和SVD(降维)分解全连接来减少test time。

Reference:

http://www.cnblogs.com/venus024/p/5717766.html
http://blog.csdn.net/u011534057/article/details/51241831
http://blog.csdn.net/u011534057/article/details/51241831

你可能感兴趣的:(为什么SPP-Net无法fine-tune卷积层)