引导方法深度补全系列—基于SPN模型—3—《Non-local spatial propagation network for depth completion》文章细读

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

创新点

文章贡献

网络结构

方法详解

总结

---

创新点

1.CSDN使用固定局部邻域，固定的局部邻域通常具有不应与参考信息混合的无关信息，尤其是在深度边界上。NLSPN预测像素的非局部邻域.

2.预测初始密集深度的置信度纳入亲和度归一化，归一化是为了减少误差，加入置信度为了指导预测值

---

提示：以下是本篇文章正文内容，下面案例可供参考

文章贡献

1.

NLSPN:非局部空间传播网络。该网络以RGB和稀疏深度图像为输入，估计每个像素的非局部邻域及其亲和力，以及具有逐像素置信度的初始深度图。然后，基于预测的非局部邻域和相应的亲和力，通过其置信度和非局部空间传播过程迭代地细化初始深度预测。

2.

通过放松固定的局部邻域配置，所提出的网络可以避免与其他相邻对象关联的不相关的局部邻居。

3.

为了进一步提高对来自输入和不准确初始预测的离群值的鲁棒性，我们同时预测初始密集深度的置信度，并将其纳入亲和度归一化，以最小化不可靠深度值的传播。

邻域配置非常灵活，可以是分数配置

网络结构

         给定RGB和稀疏深度图像，从网络中预测初始密集深度及其置信度、非局部邻居和相应的亲和力。然后，利用结合置信度的可学习亲和度归一化迭代地进行非局部空间传播。

方法详解

CSDN

 

NLSPN

I和D是RGB图像和稀疏深度图，fφ是预测网络，相比CSPN可以将NLSPN定义为亚像素精度

2.

置信度合并亲和度归一化

       在深度完成任务中，不同像素应基于其可靠性（这里提到可靠性是因为有人文章会舍弃掉输入的稀疏深度图信息，但其实5%的信息也是ground truth，是可靠的）进行加权。例如噪声信息不应传播到边界。

       利用置信度作为输入和预测加权求和的掩码，也就是说，我们不仅预测初始密集深度，还预测其置信度，然后将置信度并入亲和度归一化，以减少传播过程中不可靠深度的干扰。

---

总结