MODNet-Motion and Appearance based Moving Object Detection Network for Autonomous Driving

相关连接

项目地址: http://webdocs.cs.ualberta.ca/~vis/kittimoseg/

文章地址: https://arxiv.org/pdf/1709.04821.pdf

解决问题

获得两种结果,一个是区分运动前景和静态背景的mask,另外一个是检测所有车辆的bounding boxes,并且区分

 

主要贡献

  • MODNet

MODNet-Motion and Appearance based Moving Object Detection Network for Autonomous Driving_第1张图片

一个双流的多任务学习框架,两个VGG16的编码网络,分别提取RGB图像和稠密光流图像的特征,然后把特征融合(具体如何融合文章没讲)之后分别送给 FastBox网络 和 MS网络(多层转置卷积)

 

  • 自创实验数据 KITTI MOD

扩展KITTI中的目标检测,在车辆的标注中添加静止/运动的标签,得到MOD

 

实验

数据: DAVIS + KITTI MOD

对比:在mask结果上 和 MPNet进行对比

结果:

DAVIS meanIOU 63.88 (+CRF达到66)

KITTI MOD mAP  21.5% 

速度  OpticalFlow Estimation 50min/8s MODNet  0.128s(8fps) + CRF  1.15s   

 

总结

效果渣(瓶颈)是因为没有对应大型训练数据库

 

 

你可能感兴趣的:(Moving,Object,Detection,MOD)