每天一篇论文 306/365Self-supervised Learning for Single View Depth and Surface Normal Estimation

Self-supervised Learning for Single View Depth and Surface Normal Estimation

11. Unsupervised learning of geometry with edge-aware depth-normal consistency

12.LEGO: Learning Edge with Geometry all at Once by Watching Videos

摘要

本文中，我们提出了一个自监督学习框架，同时训练两个卷积神经网络（CNN）来预测单一图像的深度和表面法线。与现有的以分段平滑深度为代表的平行场景为代表的室外场景相比，我们提出在假设自然场景具有分段平滑法线的情况下，用表面取向来预测深度。我们证明了一个简单的深度法向一致性作为预测的软约束对于同时训练这两个网络是充分和有效的。训练后的正态网络提供了最新的预测，而深度网络依赖于更为现实的平滑正态假设，在KITTI基准上大大优于传统的自监督深度预测网络。

贡献

本文提出的法线和深度估计，与[11] ,[12] 相比最大的不同时法线依赖于深度估计的准确性，设定一个软约束。

.我们提出的框架在以下方面与参考文献[11],[12]：
•最重要的是，与我们提出的方法不同，[11]，[12]没有明确地学习从单个图像预测曲面法线。相反，这些方法根据预测深度估计法线，并建议对其进行正则化以迭代地优化深度预测。这相当于对作为深度函数的法线施加了硬约束，从而限制了法线的精度，因为根据深度计算的法线必然会有严重的深度离散化伪影，并且噪声很大。在我们的实验中，我们证明了一个用于法线的专用网络和反深度和法线之间的软约束的结合可以导致更好的预测。
•两个[11]，[12]都建议将二阶深度不连续和冗余的正常不连续一起正则化。我们表明，学习最新的法线不需要额外的深度先验。
•两个[11]，[12]都使用单目设置进行训练，而我们使用立体信息生成度量视觉里程，给定一个帧对来解决深度平移尺度的模糊性。
•随着时间的推移，我们引入深度和正常一致性项，并对训练期间连续两帧视频序列的不一致深度和正常预测进行惩罚。这将提高估计的准确性。

方法

在这项工作中，我们建议通过在自监督框架下联合学习两个卷积神经网络来预测单个输入图像的深度和表面法线来解决这些问题。结合深度贴图估计曲面法线允许更丰富的几何推理，其中我们可以放松分段平滑/恒定深度贴图假设，以允许场景中的平滑或平面曲面。除了表面预测网络之外，我们还学习了一个双帧相对摄像机姿态估计网络来预测视觉里程，这使得我们可以使用KITTI数据集中的立体和时间信息来进行精确的深度预测。

本文由三个网络组成，分别预测深度，法线，位姿。用KITTI stereo 连续帧作为数据训练，左右图像，前后图像，深度和法线之间约束。

LP表示涉及在时间t和t-1时由左相机观察到的场景深度的极线损失，LDN强制使估计的深度和法线一致，LN强制预测的法线面向摄影机，LNS是一个平滑度优先，这有利于预测的法线分段平滑。此外，假设场景是刚性的，两个时间几何一致性项LDC和LNC强制两个时间实例的估计深度和法线在给定egomotion的情况下保持一致。

Enforcing Multi-View Photometric Consistency左右前后极线约束一致

Normal Smoothness Prior 法线损失

Depth - Normal Consistency

本文引用法线和深度一致 Dense monocular reconstruction using surface normals

网络设置

共同用Resnet50 估计 ，然后decoder 阶段法线和深度联合估计。网络没啥创新啊。

结果

深度估计

法线估计