深度图补全-depth inpainting

Deep Depth Completion of a single RGB-D Image

状态：开源，pytorch，matlab，C++

下载地址: https://github.com/yindaz/DeepCompletionRelease

思路：目前效果最好(截止至2019. 06)，耗时长。使用rgb image作为输入预测物体表面稠密法线及遮挡区域的边缘信息。使用这些预测结果与原始的depth图像结合，通过全局优化，对原始图像中像素缺失问题进行解决。由于现有数据集中ground truth的depth图像也存在孔洞现象，为了得到ground truth，其使用数据集进行重建，渲染，然后得到获取补全后的depth图像作为真值。

Self-Supervised Sparse-to-Dense: Self-Supervised Depth Completion from LiDAR and Monocular Camera

状态：开源

下载地址: https://github.com/fangchangma/self-supervised-depth-completion

思路：网络输入rgb1 & depth1 map获取pred depth map。为了进行孔洞的填充，随机选取rgb1附近的rgb2，使用pnp & RANSAC获取相对位姿，并根据pred depth map & rgb2进行重投影获取warped rgb1。对于存在深度值的区域计算depth与pred depth的L1或L2损失，对于孔洞区域计算冲投影的光度误差，进行优化。

DfuseNet: Deep Fusion of RGB and Sparse Depth Information for Image Guided Dense Depth Completion

状态：开源

下载地址: https://github.com/ShreyasSkandanS/DFuseNet

思路：网络模型中主要包括另个独立的分支分别对depth & color map记性处理，学习局部到全局的纹理信息。在编码过程中使用空间金字塔池化块（SPP BLOCK）学习由粗到细的特征表示，连接两个分支获取的特征信息，送入解码网络获取最终的pred depth image。

DepthComp: Real-time Depth Image Completion Based on Prior Semantic Scene Segmentation

状态：开源，C++

下载地址: https://github.com/atapour/depthComp

思路：将孔洞区域分为12中情况，使用semantic map指导孔洞的填充

In Defense of Classical Image Processing: Fast Depth Completion on the CPU

状态：开源，python

下载地址: https://github.com/kujason/ip_basic

思路：使用传统的图像处理方法对kitti 激光雷达数据进行填充。使不同形状和大小的核对图像进行膨胀处理，同时对获取的结果进行模糊处理，减小噪声的影响。

High-Quality 3D Reconstruction With Depth Super-Resolution and Completion

状态：未开源

思路：在Deep Depth Completion of a single RGB-D Image的基础上获取超分辨率的图像进行3D重建。使用DlapSRN 将低分辨率depth map进行处理，获取高分辨率depth map。使用BTBNet对高分辨率的color map进行处理获取模糊度，同时使用两个FCN network获取color map对应的normal & boundary image。进行优化获取补全的depth map。

Generative adversarial framework for depth filling via Wasserstein metric, cosine transform and domain transfer

状态：未开源

思路：由于缺乏depth真值，该论文先训练孔洞生成网络，对虚拟数据集depth处理，获取有孔洞的数据，为了提高生成depth清晰度，网络损失添加了离散预先变换损失。最后为了适应真实场景图像，网络添加domain transfer loss使得模型既适应虚拟场景，同时适应真实场景。

GeoNet: Geometric Neural Network for Joint Depth and Surface Normal Estimation

状态：未开源

思路：分别使用Depth FCN & Normal对color map进行处理获取对应的depth & normal初值。并将获取的depth & normal初值分别送入Depth-to-Normal和Normal-to-Depth network获取refined normal & refined depth。

Kinect Depth Recovery via the Cooperative Profit Random Forest Algorithm

状态：未开源

思路：主要使用Cooperative Profit Random Forest训练模型，输入rgb image和depth image，不断迭代，直至空洞完全消失为止。

ActiveStereoNet: End-to-End Self-Supervised Learning for Active Stereo Systems

状态：未开源

思路：主要针对active stereo system使用自监督学习的方式，产生1/30亚像素精度的depth数据，同时克服过度平滑问题，能够有效处理遮挡且保留了边缘。该文提出的重构损失对噪声，无纹理区域及光照更加鲁棒，其主要使用基于窗口的自适应权重进行优化，该方法能够很好的保持边缘同时平滑损失函数。其网络主要基于StereoNet的网络结构分两个阶段进行训练：a. 进行低分辨率的训练获取视差；b. 进行双线性上采样，并输入残差网络获取最终的视差图。

Kinect Depth Map Inpainting using a Mutil-Scale Deep Convolutional Neural Network

状态：未开源

思路：a. 进行depth & color map的对齐处理，同时对depth map进行JBF滤波处理；b. 将depth map，color map， fcrn result送入多尺度网络进行学习获取pred depth map，进行depth map补全。首先，输入depth map，color map， fcrn result到coarse-scale network获取coarse result；其次，输入coarse result和color map到fine-scale network，获取 pred depth map；c. 将pred depth map和原始depth map融合，并进行中值滤波，获取最终结果。