视觉slam发展史--从开始到未来

1980年，Hans Moravec的在斯坦福大学的博士论文已经用视觉在机器人导航避障中使用。 Hans Moravec是占据栅格地图的缔造者。

Hans Moravec. Obstacle Avoidance and Navigation in the Real World by a Seeing Robot Rover. Ph.D. thesis.March 1980 Computer Science Department. Stanford University

参考链接：Robot Navigation (Hans Moravec 1980 PhD thesis)Preface and Table of Contents

再早一点，1977年   towards automatic visual obstacle avoidance的论文。

                  1979年， visual mapping by a robot rover。

0、视觉slam之前，是各种基于声呐、雷达、激光等传感器感知周围环境的slam技术，代表人物：H. Durrant-Whyte

J. J. Leonard. Directed Sonar Sensing for Mobile Robot Navigation. PhD thesis,University of Oxford, 1990.
 

J. J. Leonard and H. F. Durrant-Whyte. Directed Sonar Navigation. Kluwer AcademicPress, 1992.

------------------------------------------------------------------------------------------------------------------------------------------------------------------------

一、视觉slam早期的几个重点人物：David Murray、A.J. Davison、Philip Torr, Ian Reid

（主要列举上世纪90年代，以及20世纪初2010年之前的大师级人物 

   orbslam的作者R Mur-Artal，LSD/DSO等作者都是2010年以后的故事了）

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------

二、人物关系：牛津大学的David Murray教授，带了几个博士生包括A.J. Davison，最后都去了相应名校当博导了。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------

三、视觉slam借鉴了很多计算机视觉研究成果，包括：图像的角点、边缘、线等；特征点（关键点和描述子）；光流法；基于图像特征的运动计算；SFM(structure from motion，有点类似非相邻帧 非实时的slam技术)

----------------------------------------------------------------------------------------------------------------------------------------------------------------------

H.C. Longuet-Higgins. A computer algorithm for reconstructing a scene from two projections. Nature, 293:133{135, 1981.
 

1987年 C G Harris 论文  Determination of Ego-Motion from Matched Points. 

----------------------------------------------------------------------------------------------------------------------------------------------------------------------

F. Li. Active Stereo for AGV Navigation. PhD thesis, University of Oxford, 1996
 

1999年，A.J. Davison博士论文。 现帝国理工学院研究视觉和slam相关，博导牛津大学的David Murray，同门Philip Torr, Ian Reid

    A.J. Davison, “Mobile Robot Navigation Using Active Vision,”PhD dissertation, Univ. of Oxford, 1999.

注意：此时的active navigation在视觉方面都是双摄像头的立体视觉，大家都认为立体视觉才能做视觉slam

------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1999年，P.M. Newman, 的博士论文。 现牛津大学的教授，研究视觉和slam相关

    P.M. Newman, “On the Structure and Solution of the Simultaneous Localization and Map Building Problem,” PhD dissertation, Univ. of Sydney, 1999.

------------------------------------------------------------------------------------------------------------------------------------------------------------------------

A.J. Davison的单目视觉slam横空出世，在此之前人们认为只有立体视觉才能实现视觉slam，意义重大。（网上这样说，在此之前是否有人用单目实现过，未查证。）

2003年，A.J. Davison论文，Google引用率 2000+，很经典，此前几年发明很多相关论文，未列出。

    Real-time simultaneous localisation and mapping with a single camera.AJ Davison.Iccv 3, 1403-1410

基于滤波方案，视频查看链接：Index of /~ajd/Movieshttp://www.doc.ic.ac.uk/~ajd/Movies/

2007年，A.J. Davison论文，Google引用率 3300+，很经典，此前几年发明很多相关论文，未列出。

    MonoSLAM: Real-time single camera SLAM，AJ Davison, ID Reid, ND Molton, O Stasse.IEEE Transactions on Pattern Analysis & Machine Intelligence, 1052-1067

注意：参考A.J. Davison的博士论文，上面四行左右有列举说明，之前都是双摄像头的立体视觉做视觉slam，所以突然出来个单目视觉slam算是开创者了。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------

2007年，G. Klein and D. Murray论文

    PTAM:G. Klein and D. Murray. Parallel tracking and mapping for small AR workspaces. In Proc. Sixth IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR’07), Nara, Japan, November 2007

   (注释：PTAM用的是FAST角点检测特征，此时ORB特征思想还未被提出。ORB特征2011年才被提出E. Rublee, V. Rabaud, K.      Konolige, and G. Bradski, “ORB: An efficient alternative to SIFT or SURF,” in Proc. IEEE Int. Conf. Comput.         Vision,Barcelona,      Spain, Nov. 2011, pp. 2564–2571.)

2011年，RA Newcombe论文，A.J. Davison团队学生，Google引用率 3000+

    KinectFusion: Real-time dense surface mapping and tracking,RA Newcombe, S Izadi, O Hilliges, D Molyneaux, D Kim, AJ Davison, ...ISMAR, {127--136}

    KinectFusion: real-time 3D reconstruction and interaction using a moving depth camera,S Izadi, D Kim, O Hilliges, D Molyneaux, R Newcombe, P Kohli, J Shotton, ...Proceedings of the 24th annual ACM symposium on User interface software 

    DTAM: Dense tracking and mapping in real-time,RA Newcombe, SJ Lovegrove, AJ Davison.2011 international conference on computer vision, 2320-2327

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------

2015年，Raúl Mur-Artal论文。现Research Scientist at Facebook Reality Labs ，西班牙萨拉戈萨大学，博导Tardós Solano, Juan Domingo，是一个人名，简称JD Tardos

    ORB-SLAM: a Versatile and Accurate Monocular SLAM System,R Mur-Artal, JMM Montiel, JD Tardos. IEEE Transactions on Robotics 31 (5), 1147-1163

    （注释：ORB特征2011年被提出，2013年的一篇论文使用过ORB特征。S. Song, M. Chandraker, and C. C. Guest, “Parallel,            real-time monocular visual odometry,” in Proc. IEEE Int. Conf. Robot. Autom., 2013,pp. 4698–4705.）

    Monocular SLAM for User Viewpoint Tracking in Virtual Reality,R Mur-Artal, JD Tardós. Workshop on Challenges in Virtual Reality, ICRA 2015

2017年，Raúl Mur-Artal论文

    ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras,R Mur-Artal, JD Tardos. IEEE Transactions on Robotics 33 (5), 1255-1262

    Visual-inertial monocular SLAM with map reuse，R Mur-Artal, JD Tardós.IEEE Robotics and Automation Letters 2 (2), 796-803

    Real-Time Accurate Visual SLAM with Place Recognition,R Mur Artal, JD Tardós Solano.Universidad de Zaragoza, Prensas de la Universidad.博士论文

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

ORB-SLAM 发展史（ORB-SLAM、ORB-SLAM2、ORB-SLAM3、以及其他变种版本）

ORB-SLAM 是西班牙萨拉戈萨大学博士生 Raul Murartal于2015年实现发表的论文，实际上ORB特征并非他本人发明，首次使用在slam系统中也并非他， 但是他将ORB特征应用在了vslam 的整个系统中，并给出了开源软件，这一点很强大。

Murartal R, Montiel J M, Tardos J D, et al. ORB-SLAM: A Versatile and Accurate Monocular SLAM System[J]. IEEE Transactions on Robotics, 2015, 31(5): 1147-1163.（ORB-SLAM原文）

ORB-SLAM 的特征点选择、匹配用到了ORB特征   

Song S, Chandraker M, Guest C C, et al. Parallel, real-time monocular visual odometry[C]. international conference on robotics and automation, 2013: 4698-4705.（首次在slam系统中使用ORB特征的论文，用在了视觉里程计VO）

ORB（Oriented FAST and Rotated BRIEF）

E. Rublee, V. Rabaud, K. Konolige, and G. Bradski. ORB: an ecient alternative to SIFT or SURF. In IEEE International Conference on Computer Vision (ICCV), pages 2564{2571, Barcelona, Spain, 2011.   （ORB特征 原文）

和ORB类似的一种用于图像拼接的方法论文。

M. Brown, S. Winder, and R. Szeliski. Multi-image matching using multi-scale oriented patches. In Computer Vision and Pattern Recognition, pages 510–517, 2005.

ORB参考的FAST detector 和BRIEF descriptor

E. Rosten and T. Drummond. Machine learning for highspeed corner detection. In European Conference on Computer Vision, volume 1, 2006  （FAST原文）

M. Calonder, V. Lepetit, C. Strecha, and P. Fua. Brief: Binary robust independent elementary features. In In European Conference on Computer Vision, 2010.  （BRIEF 原文）

SIFT()  拿来和ORB比较的特征

D. G. Lowe. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 60(2):91–110, 2004.

SURF(Speeded Up Robust Features)  拿来和ORB比较的特征

H. Bay, T. Tuytelaars, and L. Van Gool. Surf: Speeded up robust features. In European Conference on Computer Vision, May 2006.

点和线的融合用于高性能跟踪（2005）

Rosten, E., Drummond, T.: Fusing points and lines for high performance tracking. In: 10th IEEE International Conference on Computer Vision. Volume 2., Beijing,China, Springer (2005) 1508–1515

gives an analysis of various ways of measuring orientation of corners（1999）

P. L. Rosin. Measuring corner properties. Computer Vision and Image Understanding, 73(2):291 – 307, 1999.

Shi-Tomasi角点算子原文（1994）

Shi, J., Tomasi, C.: Good features to track. In: 9th IEEE Conference on Computer Vision and Pattern Recognition, Springer (1994)

Harris角点检测原文，没有descriptor部分（1988）

C. Harris and M. Stephens. A combined corner and edge detector. In Alvey Vision Conference, pages 147–151, 1988

------------------------------------------------------------------------------------------------------------------------------------------------------------------------

三、视觉slam目前主流的是基于特征的方法、直接法（光流法），前者从PTAM 到ORB-SLAM系列以及SVO等比较经典主流

      后者是慕尼黑工业大学的Jakob Engel及其导师D Cremers团队的DSO/ LSD等作品

------------------------------------------------------------------------------------------------------------------------------------------------------------------------

四、其他的基于特征点、线、面或者组合的形式也多有涉及， 视觉slam融合惯性模块，视觉slam融合激光等多传感器，

------------------------------------------------------------------------------------------------------------------------------------------------------------------------

五、下一步：语义slam

------------------------------------------------------------------------------------------------------------------------------------------------------------------------

六、视觉slam研究相关实验室和大咖 。 转载：计算机视觉牛人博客和代码汇总（全） - findumars - 博客园

       图像配准的前世今生：从人工设计特征到深度学习

         从基于特征点或光流直接法，到用深度学习来实现的转变。 图像配准的前世今生：从人工设计特征到深度学习

------------------------------------------------------------------------------------------------------------------------------------------------------------------------

七、相关资料

1. 清华大学 高翔的博客，半闲居士。

2. 知乎上各种大咖的专题

3.泡泡机器人论坛

4.计算机视觉life公众号

5.B站相关的各种视频资料

6.国内外大咖的主页网站

7.浙江大学从2017年开始 每年组织一届 slam技术论坛

8.东北大学的吴同学总结资料：

SLAM - 吴言吴语

9.学习书籍推荐：SLAM学习--视觉slam学习教材推荐（附相关技术文档下载链接）_GGY1102的博客-CSDN博客_slam教材