深度补全文章详读系列

系列文章目录

---

目录

系列文章目录

前言

一、非引导方法

二、引导方法

1.Early fusion model(早期融合模型)

2.Late fusion model(晚期融合模型)

3.Explicit 3D model(显示3D模型)

4.SPN based model(基于SPN的模型)

5.Residual depth model(残差深度模型)

总结

---

前言

  此篇博文为个人记录向，内容为多篇深度补全相关论文的半详读，即主要为论文的创新方法部分，既然为学习记录就可能有错误或者不全面的现象出现，希望大家发现后及时指出以便改正。方法分类主要参考这篇综述，系列博客以综述中总结的顺序为参考，顺序研读。深度补全分为两大类，下面将一一介绍相关任务。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、非引导方法

       深度补全任务中的引导和非引导说的都是RGB图像，非引导顾名思义就是无需图像引导信息，仅靠稀疏深度图输入从中提取信息并完成补全任务。以下为论文详解：

论文基本信息：

文献	期刊	年份
Uhrig J, Schneider N, Schneider L, et al. Sparsity invariant cnns[C]//2017 international conference on 3D Vision (3DV). IEEE, 2017: 11-20.	3DV	2017

此处为pdf网址。

pNCNN基本信息：

文献	期刊	年份
Eldesokey A, Felsberg M, Holmquist K, et al. Uncertainty-aware cnns for depth completion: Uncertainty from beginning to end[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 12014-12023.	CVPR	2020

此处为pdf网址。

NCNN基本信息：

文献	期刊	年份
Eldesokey A, Felsberg M, Khan F S. Propagating confidences through cnns for sparse data regression[J]. arXiv preprint arXiv:1805.11913, 2018.	Arxiv	2018

此处为pdf网址。

二、引导方法

1.Early fusion model(早期融合模型)

       将图像和稀疏深度图同时输入到网络中作为四通道信息一并提取特征并融合特征即为早期融合模型基本特征，历年文章的改进方向不同但基础都为这一模型结构，以下各论文信息：

S2D基本信息：

文献	期刊	年份
Ma F, Karaman S. Sparse-to-dense: Depth prediction from sparse depth samples and a single image[C]//2018 IEEE international conference on robotics and automation (ICRA). IEEE, 2018: 4796-4803.	ICRA	2018

此处为pdf网址。

SS-S2D基本信息：

文献	期刊	年份
Ma F, Cavalheiro G V, Karaman S. Self-supervised sparse-to-dense: Self-supervised depth completion from lidar and monocular camera[C]//2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019: 3288-3295.	ICRA	2019

此处为pdf网址。

3coeff基本信息：

文献	期刊	年份
Imran S, Long Y, Liu X, et al. Depth coefficients for depth completion[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2019: 12438-12447.	CVPR	2019

此处为pdf网址。

S2DNet基本信息：

文献	期刊	年份
Hambarde P, Murala S. S2DNet: Depth estimation from single image and sparse samples[J]. IEEE Transactions on Computational Imaging, 2020, 6: 806-817.	TCI	2020

此处为pdf网址。

LSF基本信息：

文献	期刊	年份
Qu C, Nguyen T, Taylor C. Depth completion via deep basis fitting[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2020: 71-80.	WACV	2020

此处为pdf网址。

基本信息：

文献	期刊	年份
Long Y, Yu H, Liu B. Depth completion towards different sensor configurations via relative depth map estimation and scale recovery[J]. Journal of Visual Communication and Image Representation, 2021, 80: 103272.	JVCIR	2021

此处为pdf网址。

DfineNet基本信息：

文献	期刊	年份
Zhang Y, Nguyen T, Miller I D, et al. Dfinenet: Ego-motion estimation and depth refinement from sparse, noisy depth input with rgb guidance[J]. arXiv preprint arXiv:1903.06397, 2019.	Arxiv	2019

此处为pdf网址。

2.Late fusion model(晚期融合模型)

       图像和稀疏深度图在解码端分为两条支路分别进行特征提取，并在解码端进行融合。以下为个论文信息：

DDP基本信息：

文献	期刊	年份
Yang Y, Wong A, Soatto S. Dense depth posterior (ddp) from single image and sparse range[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 3353-3362.	CVPR	2019

此处为pdf网址。

Sparse_RGBD基本信息：

文献	期刊	年份
Jaritz M, De Charette R, Wirbel E, et al. Sparse and dense data with cnns: Depth completion and semantic segmentation[C]//2018 International Conference on 3D Vision (3DV). IEEE, 2018: 52-60.	3DV	2018

此处为pdf网址。

KBNet基本信息：

文献	期刊	年份
Wong A, Soatto S. Unsupervised depth completion with calibrated backprojection layers[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 12747-12756.	ICCV	2021

此处为pdf网址。

MSG-CHN基本信息：

文献	期刊	年份
Li A, Yuan Z, Ling Y, et al. A multi-scale guided cascade hourglass network for depth completion[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2020: 32-40.	WACV	2020

此处为pdf网址。

GuideNet基本信息：

文献	期刊	年份
Tang J, Tian F P, Feng W, et al. Learning guided convolutional network for depth completion[J]. IEEE Transactions on Image Processing, 2020, 30: 1116-1129.	TIP	2020

此处为pdf网址。

VOICED基本信息：

文献	期刊	年份
Wong A, Fei X, Tsuei S, et al. Unsupervised depth completion from visual inertial odometry[J]. IEEE Robotics and Automation Letters, 2020, 5(2): 1899-1906.	RAL	2020

此处为pdf网址。

ScaffFusion基本信息：

文献	期刊	年份
Wong A, Cicek S, Soatto S. Learning topology from synthetic data for unsupervised depth completion[J]. IEEE Robotics and Automation Letters, 2021, 6(2): 1495-1502.	RAL	2021

此处为pdf网址。

3.Explicit 3D model(显示3D模型)

DeepLidar基本信息：

文献	期刊	年份
Qiu J, Cui Z, Zhang Y, et al. Deeplidar: Deep surface normal guided depth prediction for outdoor scene from sparse lidar data and single color image[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 3313-3322.	CVPR	2019

此处为pdf网址。

PwP基本信息：

文献	期刊	年份
Y. Xu, X. Zhu, J. Shi, G. Zhang, H. Bao, and H. Li, “Depth com pletion from sparse lidar data with depth-normal constraints,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019, pp. 2811–2820.	ICCV	2019

此处为pdf网址。

2D-3D fusenet基本信息：

文献	期刊	年份
Y. Chen, B. Yang, M. Liang, and R. Urtasun, “Learning joint 2d-3d representations for depth completion,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019, pp. 10 023–10 032.	ICCV	2019

此处为pdf网址。

ABCD基本信息：

文献	期刊	年份
Jeon Y, Kim H, Seo S W. ABCD: Attentive Bilateral Convolutional Network for Robust Depth Completion[J]. IEEE Robotics and Automation Letters, 2021, 7(1): 81-87.	RAL	2021

此处为网址。

ACMNet基本信息：

文献	期刊	年份
Zhao S, Gong M, Fu H, et al. Adaptive context-aware multi-modal network for depth completion[J]. IEEE Transactions on Image Processing, 2021, 30: 5264-5276.	TIP	2021

此处为pdf网址。

GAENet基本信息：

文献	期刊	年份
Chen H, Yang H, Zhang Y. Depth completion using geometry-aware embedding[C]//2022 International Conference on Robotics and Automation (ICRA). IEEE, 2022: 8680-8686.	Arxiv	2022

此处为pdf网址。

4.SPN based model(基于SPN的模型)

       基于SPN的方法是以无向图为基本知识并在图内领域传播扩散的过程，以此来更新稀疏深度图以达到稀疏变密集的操作。以下为论文信息：

CSPN基本信息：

文献	期刊	年份
Cheng X, Wang P, Yang R. Depth estimation via affinity learned with convolutional spatial propagation network[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 103-119.	ECCV	2018

此处为pdf网址。

CSPN++基本信息：

文献	期刊	年份
[1]Xinjing Cheng,Peng Wang,Chenye Guan,Ruigang Yang. CSPN++: Learning Context and Resource Aware Convolutional Spatial Propagation Networks for Depth Completion[J]. Proceedings of the AAAI Conference on Artificial Intelligence,2020,34(07).	AAAI	2020

此处为网址。

NLSPN基本信息：

文献	期刊	年份
J. Park, K. Joo, Z. Hu, C.-K. Liu, and I. So Kweon, “Non-local spatial propagation network for depth completion,” in European Conference on Computer Vision (ECCV), 2020, pp. 120–136.	ECCV	2020

此处为pdf网址。

PENet基本信息：

文献	期刊	年份
M. Hu, S. Wang, B. Li, S. Ning, L. Fan, and X. Gong, “Penet:Towards precise and efficient image guided depth completion,”in IEEE International Conference on Robotics and Automation (ICRA),2021, pp. 13 656–13 662.	ICRA	2021

此处为pdf网址。

DySPN基本信息：

文献	期刊	年份
Y. Q. Lin, T. Cheng, Q. Zhong, W. Zhou, and H. Yang, “Dynamic spatial propagation network for depth completion,” in Proceed ings of the AAAI Conference on Artificial Intelligence (AAAI), 2022.	AAAI	2022

此处为pdf网址。

5.Residual depth model(残差深度模型)

DenseLiDAR基本信息：

文献	期刊	年份
Gu J, Xiang Z, Ye Y, et al. Denselidar: A real-time pseudo dense depth guided depth completion network[J]. IEEE Robotics and Automation Letters, 2021, 6(2): 1808-1815.	RAL	2021

此处为pdf网址。

FCFR-Net基本信息：

文献	期刊	年份
Liu L, Song X, Lyu X, et al. Fcfr-net: Feature fusion based coarse-to-fine residual learning for depth completion[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2021, 35(3): 2136-2144.	AAAI	2021

此处为pdf网址。

RDC基本信息：

文献	期刊	年份
Zhu Y, Dong W, Li L, et al. Robust depth completion with uncertainty-driven loss functions[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2022, 36(3): 3626-3634.	AAAI	2022

此处为pdf网址。

KernelNet基本信息：

文献	期刊	年份
Liu L, Liao Y, Wang Y, et al. Learning steering kernels for guided depth completion[J]. IEEE Transactions on Image Processing, 2021, 30: 2850-2861.	TIP	2021

此处为pdf网址。

---

总结

      以上就是博客全部内容，再次提醒大家，如果发现错误务必指出，共同学习共同进步。