三维重建论文笔记 DeMoN:Depth and Motion Network for Learning Monocular Stereo

本文是学习总结的笔记，仅供个人学习使用。

1. introduction

在这篇文章中，作者训练了一个端到端的卷积网络，以从连续无约束的图像对中计算深度和摄像机运动。该体系结构由多个堆叠的编解码器网络组成，核心部分是一个能够改进自身预测的迭代网络。该网络不仅估计深度和运动，而且还估计表面法线、图像之间的光流和匹配的置信度。该方法的一个重要组成部分是基于空间相对差异的训练损失。与传统的基于运动方法的双框结构相比，结果更准确，鲁棒性更强。与流行的Depth-from-Single-Image网络不同的是，DEMON学习了匹配的概念，因此更好地概括了训练过程中看不到的结构。

1.1 卷积网络与SfM的对比

SfM是计算机视觉研究中的一个长期课题。大多数现有的系统都是经过精心设计，包括几个连续的处理步骤。目前这个步骤的实现有一些固有的限制。例如，在通过密集对应搜索推断场景的结构之前，通常从估计摄像机运动开始。因此，对相机运动的错误估计会导致错误的深度预测。此外，通过关键点检测和描述子匹配计算稀疏对应来估计摄像机运动。这种低层次的处理很容易出现异常值，并且不能在无纹理的区域工作。最后，所有现有的SfM方法在小型摄像机转换的情况下都失败了。这是因为在这些退化的情况下很难整合能够提供合理解决方案的先验。

在本文中，作者训练了一个卷积网络，从无