Self-Supervised Sparse-to-Dense:Self-Supervised Depth Completion from LiDAR and Monocular Camera

进入研二，开始进行学术研究。在老师的指导下，对深度补全问题进行探索，在接下来的一段时间将会分享相关论文。
这篇文章将会分享Self-Supervised Sparse-to-Dense:Self-Supervised Depth Completion from LiDAR and Monocular Camera

Abstract

深度补全主要面临的三个挑战：在稀疏深度输入中的不规则空间模式，处理多传感器模式的困难，以及缺乏密集像素级真实深度标签。在本文中提出了深度回归模型学习直接将稀疏深度直接映射到密集深度，同时提出了一个自我监督训练框架，仅仅颜色序列和稀疏深度图像，不需要稠密深度标签。

Introduction

本篇文章提出了两个贡献：
（1）提出一个网络结构可以学习从稀疏深度（如果彩色图像可以用）直接映射到稠密深度
（2）提出一个自我监督框架用于训练深度补全网络。
网络结构
将深度补全问题看成一个深度回归学习问题
所提出的网络遵循编码器 - 解码器范例。
编码器由一系列卷积组成，这些卷积具有增加的滤波器组以对特征空间分辨率进行下采样。 另一方面，解码器具有反转结构，具有转置的卷积以对空间分辨率进行上采样

图1 深度补全的深度回归网络

自监督训练框架

现有的深度补全工作都是基于密集注释地面真实值来训练，然而稠密的地面真实值并不存在。

图2 自监督训练框架
基于模型的自监督训练框架，仅需要颜色同步的序列或灰度图像和稀疏深度图像。不需要额外的信息。

稀疏深度监督

深度损失函数

基于模型的的态势评估

深度监督的光度损失

平滑损失

原文链接