SLAM从入门到放弃——几何信息+深度学习

深度学习和几何结构的结合，将极大提高现有算法的性能。

几何描述了物理世界的结构、形状、体积、深度、姿态、视差、运动、光流等信息。

语义表达利用语言来描述现实世界里的关联。比如，猫或者狗都是对某种物体的语言描述。语义有关的研究在计算机视觉领域广受关注，许多高引用率的突破性的文章都和图像分类和语义分割有关。

• 用PoseNet学习重定位

PoseNet是一个单目6个自由度的重定位算法，能够从单张图片估计相机的6个自由度。

ICCV 2015上，论文《PoseNet: A Convolutional Network for Real-Time 6-DOF Camera Relocalization》使用一个卷积神经网络来学习输入图像到6自由度相机姿态的端到端的映射，这仅仅是简单地将该问题视为一个黑盒问题。CVPR 2017的论文《Geometric loss functions for camera pose regression with deep learning》使用几何重投影误差来同时对相机位置和方向进行学习，利用真实世界几何信息极大地提高了性能。

项目主页：

http://mi.eng.cam.ac.uk/projects/relocalisation/

开源代码：

https://github.com/alexgkendall/caffe-posenet

• 用双目视觉进行深度估计

双目视觉算法用2个相机拍摄同一物体的视差来估计深度。该问题可以简化为一个匹配问题——也就是寻找同一个物体在左右两个相机拍摄图片里的对应点。

目前该领域最好的算法是基于深度学习的方法来学习用于匹配的特征，而估计深度所必须的匹配和正则化部分大部分仍然是非学习的方法。而CVPR17论文《End-to-End Learning of Geometry and Context for Deep Stereo Regression》 提出了GC-Net (Geometry and Context Network)，网络结构如下所示。

此论文将该问题视为基础几何的问题。该论文的创新之处就是用微分方式建立几何代价体用于回归模型。