IROS2019 深度估计相关论文总结（8篇）

IROS2019论文集全密码：juem

IROS2019深度估计论文

IROS的深度估计论文分为两种，一种是从传感器方面，比较突出的是对红外热成像相机与激光雷达、毫米波雷达结合为全天候深度估计提供了可能，另一方面对于深度估计网络和加入贝叶斯估计等方法，提高深度估计的准确性和实时性。

0155.A Framework for Depth Estimation and Relative Localization of Ground Robots Using Computer Vision
1041.Double Refinement Network for Efficient Monocular Depth Estimation
2697 Extrinsic Calibration of Thermal IR Camera and mmWave Radar by Exploiting Depth from RGB-D Camera
0118 Inferring Distributions Over Depth from a Single Image
0759 Monocular Depth Estimation in New Environments with Absolute Scale
2260 Real-Time Dense Depth Estimation using Semantically-Guided LIDAR Data Propagation and Motion Stereo
2427.SGANVO: Unsupervised Deep Visual Odometry and Depth Estimation with Stacked Generative Adversarial Networks
2278 Sparse Depth Enhanced Direct Thermal-Infrared SLAM Beyond the Visible Spectrum

0155.A Framework for Depth Estimation and Relative Localization of Ground Robots Using Computer Vision

摘要

分散式结构中的三维深度估计和相对位姿估计问题是需要多个视觉控制机器人协调的任务中出现的一个具有挑战性的问题。深度估计问题旨在恢复环境的三维信息。相对定位问题包括估计两个机器人之间的相对姿态、感知彼此的姿态或共享感知环境的信息。这些问题的大多数解决方案使用一组离散数据，而不考虑事件的时间顺序。本文在连续估计的基础上，提出了一种非完整飞行器的深度和相对姿态估计框架。其基本思想是通过明确考虑安装在地面机器人上的摄像机的动力学特性来估计点的深度，并将两个摄像机观测到的三维点的估计值输入到计算机器人之间相对姿态的滤波器中。我们对一组模拟场景的收敛性进行了评估，并给出了验证该框架的实验结果。
本文提出了基于深度估计的两个机器人互相估计两者的相对位置定位。

相机和机身的相对位置转换。机身固定和相机框架的配置，以及用于投影模型的符号。

系统结构组成

通过场景中固定的标点，通过该点进行深度估计，在有深度的基础上，估计另一个机器人的相对位置

1041.Double Refinement Network for Efficient Monocular Depth Estimation

摘要

单目深度估计的任务是使用单个图像获得每个像素的距离度量。它是计算机视觉中的一个重要问题，通常用神经网络来解决。尽管最近在这方面的研究表明，在精确度上有了显著的提高，但最先进的方法往往需要大量的内存和时间来处理图像。这项工作的主要目的是在不降低精度的情况下，提高最新解决方案的性能。为此，我们引入了双细化网络体系结构。所提出的方法在标准基准RGB-D数据集NYU Depth v2上实现了最新的结果，同时其每秒帧率显著提高（在批处理大小为1时，每幅图像的加速比高达18倍），并且RAM使用率更低。

网络结构

在基线的基础上进行了以下更改：用迭代像素洗牌[23]上采样（upI）将特征映射的双线性插值替换为输入的大小 为中等深度图（upII）添加另一个分支，并对其应用辅助损耗
具体方法：
在该结构中，我们用迭代像素洗牌上采样代替了高维激活图的扩展卷积和双线性插值：张量元素的确定性排列，在减少其通道数的同时提高了张量的分辨率。然而，这种变化可能会导致精度下降。为了缓解这一问题，我们提出了一个双重优化框架。我们首先获得一个低尺度的深度估计，然后使用高层主干特征迭代改进。在每个尺度上，我们从先前近似和较低层骨干特征计算校正项。这需要较少的信息，并且使我们能够仅在连续级别之间对特征映射进行上采样，从而节省将它们插值到输入大小所需的时间和内存。我们将此校正项添加到上一级的上采样深度估计中，以两倍分辨率产生新的估计。最终输出的大小与输入的大小相同。

结果

2697 Extrinsic Calibration of Thermal IR Camera and mmWave Radar by Exploiting Depth from RGB-D Camera（红外深度估计）(论文只有一页哦，大佬就是大佬)

利用RGB-D相机的深度对热红外相机和毫米波雷达的外定标

摘要

尽管有广泛的实用性，RGB相机和光探测和测距（LiDAR）已被报告在低能见度环境下容易受到火灾或烟雾的影响。为了解决这个问题，我们介绍了一种由热红外（IR）摄像机和毫米波雷达组成的传感器系统。在这种情况下，需要在两个传感器之间进行外部校准，来自雷达的14位温度和稀疏距离测量很难进行校准。提出了一种基于RGB-D传感器作为深度优化中介的多模态标定方法。作为相对位姿估计的验证，我们通过将雷达的深度投影到热成像相机的帧上来给出定性结果。

方法

由于RGB-D相机已经在RGB和深度图像之间进行了校准，因此我们使用RGB-D相机作为热红外相机和雷达之间的校准介质。给定热像机和RGBD传感器之间的相对姿态（R和t），我们可以很容易地在世界坐标上取消投影深度图像。然后深度点作为像素位置ut投影到热图像上，如图1（b）所示。

0118 Inferring Distributions Over Depth from a Single Image

摘要

在为自主车辆构建几何场景理解系统时，了解系统何时可能出现故障至关重要。大多数当代的方法将问题归结为深度回归，其输出是每个像素的深度值。这种方法无法诊断何时可能发生故障。一个有吸引力的选择是深度贝叶斯网络，它捕捉模型参数和模糊传感器测量中的不确定性。然而，估计不确定性的速度往往很慢，而且分布往往局限于单峰分布。本文将depth回归的连续性问题重新描述为离散二元分类问题，其输出是每个像素在可能深度上的非规范化分布。这样的输出可以可靠而有效地捕捉多模深度分布在模糊情况下，如深度不连续和反射表面。在标准基准上的结果表明，与现有技术相比，我们的方法在接近实时的情况下可以产生准确的深度预测和显著的不确定性估计。最后，利用预测分布的不确定性，在三维地图重建中显著减少了条纹状伪影，提高了重建精度和存储效率。

贡献

•我们在概率框架下提出了单目深度估计问题，给出了深度的置信区间而不是点估计。
•我们将深度回归问题重新定义为多标签深度分类，这将产生可靠的深度多模态分布。
•与现有技术相比，我们的方法在接近实时运行的情况下，对KITTI和NYU深度产生准确的深度和显著更好的不确定性估计。
•我们预测的深度分布改善了单目3D地图重建，减少了条纹状伪影，提高了准确性和存储效率。

方法

作者在输入图像中进行人为的划分

给定输入图像，传统方法预测每个像素的单个深度值。在本文中，我们描述了一种预测深度上每像素多模态分布的方法。在上面的例子中，我们放大了沿绿色虚线的深度预测。在输入图像中，我们突出显示一个由黄色双头箭头标记的深度连续性段，其中像素可能来自前面的汽车、后面的汽车，甚至后面的建筑物。在底部的输出中，我们用蓝色标记地面真实深度，用红色标记概率更高的深度。虽然传统方法错误地给出了不同模态的平均值，但我们的方法成功地捕捉到了多模态特性。

对图像中的像素图像预测的比例的深度图的可信度

本文所提的网络框架

1.对连续深度值在log space进行描述

2.多任务分类Binary classification 和连续回归重新定义为一个多类分类问题。

结果

0759 Monocular Depth Estimation in New Environments with Absolute Scale

新环境中基于绝对尺度的单目深度估计

本文主要提出单目深度估计方法，主要创新点用ORB-SLAM2替代视频连续位姿估计，此外，用双目左右图像估计深度，然后通过refine方法，用到单目视频估计中。

摘要

在这项工作中，我们提出了一种无监督的训练方法，将单一的图像深度估计CNN微调到一个新的环境中。该网络已通过双目图像数据预训练，只需要单目输入进行微调。与其他无监督方法不同，它产生具有绝对尺度的深度估计——这是大多数实际应用所必需的特性，但在文献中却大多被忽略。首先，我们展示了我们的方法如何使一个在一个数据集（城市景观）上训练的网络适应另一个数据集（KITTI）。接下来，通过将KITTI分割成子集，我们展示了预训练模型对域移动的敏感性。然后，我们证明，通过使用我们的方法对模型进行微调，可以在不使用立体或任何形式的地面真值深度和保持正确的绝对比例的情况下，提高目标子集的性能。

贡献

1.我们证明，可以使用一个很好理解的现成SLAM算法来代替通常使用的相机姿态估计网络。请注意，后者需要接受训练，因此，在训练时所见的情况之外，不能很好地估计。
2.我们展示了如何以预训练网络的形式利用先验信息，以无监督的方式微调网络，同时保持绝对规模。

方法

图中表示，左右偏差重建估计+学习位姿估计，到单目+SLAM视图重建方法

1）对源立体数据集进行预训练。
2）恢复单目目标的摄像机轨迹使用SLAM的数据集。
3）利用恢复的轨迹对单目目标数据集上的模型进行微调。
相机内参和位姿估计用来预测视角。

结果

本文提出的调整方法效果

2260 Real-Time Dense Depth Estimation using Semantically-Guided LIDAR Data Propagation and Motion Stereo

使用稀疏雷达数据和语义边界引导从图像序列估计稠密深度

摘要

本文提出了一种基于稀疏激光雷达点云和图像序列估计稠密深度图的方法。我们提出的方法依赖于基于语义分割的已知深度向缺失区域的方向偏移传播。此外，我们将不同的对象边界划分为封闭或连接，以限制数据传播的范围。对于缺失点云数据较大的区域，采用运动立体法进行深度估计。我们将我们的方法嵌入到一个有界插值策略中，该策略还考虑了像素距离、深度差和颜色梯度。然后，执行基于张量的TGV-L2去噪优化步骤。结果表明，方向传播和语义边界分类可以提高不同类型对象沿边界插值的精度。此外，我们的运动立体方案提高了在缺失点云数据较大的区域外推深度的可靠性。最后，我们证明了我们的实现策略能够实时获得可靠的结果。

贡献

本文使用LIDAR数据作为锚定点，根据锚定点来确定未知像素的深度值。在此基础设计为依赖于几何、颜色、运动和语义分割等特性。我们还通过使用我们提出的边界类标签来改进对象边界的处理，该标签根据语义类之间的关系调整相邻深度值的效果。
提出了一种基于语义类的序列数据插值和外推方向关联的定向传播方案。此外，在激光雷达点很少的部分，使用运动立体深度使外推更加可靠。最后，我们执行一个全局优化方案，以进一步平滑产生的深度，并利用视觉边缘信息细化对象边界。

方法

作者在激光雷达测量的点云的基础上，增加了
A. Semantic Segmentation
B. Boundary Labeling
C. Motion Stereo
D. Propagation and Optimization
作为推测深度缺失区域，或者深度稀疏区域的深度值
在本文中，假设一对来自单个相机系统的图像是实时的，但是我们的方法很容易扩展到多个图像和/或多个相机系统（双目或多视角立体）。我们的目标是通过在已知点之间有一点间隙的区域内插值已知深度图，并在深度完全未知的区域外推，来估计一个完整而密集的深度图。利用图像对的颜色梯度、语义类、运动立体等信息，将已知深度传播到缺失区域。在传播之后，我们执行全局优化步骤，以进一步改善生成的深度图的外观。

结果

2427.SGANVO: Unsupervised Deep Visual Odometry and Depth Estimation with Stacked Generative Adversarial Networks

SGANVO:堆叠GAN无监督深度视觉里程计和深度估计

本文提出一种GAN堆叠网络，进行深度和Ego-motion预测 ，个人认为，增加了网络层数，多次预测，增加了深度估计效果，其他的操作都是常规操作，但是产生了可以说是惊人的效果，说明大网络才是硬道理。八十层，和八百层网络的区别。

摘要

最近，端到端的无监督深度学习方法在视觉深度和自我运动估计任务中显示出令人印象深刻的性能。这些基于数据的学习方法不像基于几何的方法那样依赖于相同的限制性假设。编解码网络在深度估计中得到了广泛的应用，RCNN在ego运动估计方面也有了显著的改进。此外，最近对生成性对抗网络（GANs）和自我运动估计的深入研究表明，在对抗学习过程中生成图片可以进一步提高自我运动估计。本文提出用于视觉深度和自我运动估计的新型无监督网络系统：叠加生成对抗网络（SGANVO）。它由一堆GAN层组成，其中最低层估计深度和自我运动，而较高层估计空间特征。它还可以捕获由于跨层使用递归表示而产生的时间动态。详见图1。我们选择最常用的KITTI[1]数据集进行评估。评价结果表明，本文提出的方法在深度和自我运动估计方面都能产生较好的或可比的结果。

贡献

据我们所知，这是第一次使用层叠生成和对抗性学习方法进行自我运动和深度地图估计。
•我们的学习系统基于一种新的无监督GAN方案，不需要基本事实。
•我们的系统具有一个能够捕捉时间动态特征的递归表示。

加入时间序列，在初始状态s1被设置到网络之后，当前的左帧和右帧被馈送到网络的输入端。网络以N个连续帧的顺序运行。N步后，初始状态再次设置为网络。

生成网络结构描述

深度估计结果 非常不错

位姿估计结果 非常不错。。。。

2278 Sparse Depth Enhanced Direct Thermal-Infrared SLAM Beyond the Visible Spectrum

本文提出一种红外相机和稀疏深度结合的SLAM系统，为解决RGB在夜晚，大雾，动态照明条件下SLAM系统的定位和建图问题

摘要

本文提出了一种基于光探测和测距（LiDAR）稀疏深度测量的热红外同步定位与映射（SLAM）系统。与在可见光谱下工作的RGB相机相比，热红外相机对雾、烟和动态照明条件具有相对的鲁棒性。利用热红外相机进行运动估计和映射是非常有吸引力的。然而，在现有的基于视觉的方法中直接使用热红外相机是困难的，因为模态差异。本文提出了一种在热相机14位原始测量下，利用稀疏深度测量直接跟踪进行6自由度运动估计的方法。我们还改进了局部精度，并包含一个循环闭包以保持全局一致性。实验结果表明，该系统不仅在白天、夜间等多种光照条件下具有较强的鲁棒性，而且克服了单目摄像机的尺度问题。

贡献

通过跟踪14位原始热图像的稀疏深度测量，消除了热成像相机的预处理处理问题。直接使用原始数据保证了在不同热条件下的一般性能。
• 提出的方法引入了基于热图像的环路闭合以保持全局一致性。在计算位姿约束时，我们从候选关键帧和当前关键帧之间的时间差中导出热成像变化。
•我们的系统通过给点指定温度值来完成热成像三维重建。所提出的方法无论白天黑夜都有很好的性能。
•实验结果表明，深度测量超过可见光谱的热红外摄像机。

方法

作者首先对激光雷达的3Ddepth和热成像图像进行标定

通过标定后带深度的红外相机进行位姿估计

作者设计了针对红外图像的回环检测和建图方法

结果

红外和RGB在光照条件不佳的情况下对比

POSE和mapping估计