基于超像素分割和图像配准的深度图像修复方法

内容：提出了一种融合 超像素分割 RGB 图像和深度图像配准的深度图像修复方法
结果：该方法与双边滤波算法、联合双边滤波算法相比，能够有效地修复深度图像中的孔洞，获得较高质量的深度图像

过程：

1. 首先对 RGB 图像进行超像素分割
2. 然后将分割后的 RGB 图像与原始深度图像配准（利用分割区域内的颜色、空间特征来指导 深度图像的修复）
3. 接着将孔洞像素按照所在区域划分为超像素区域内的孔洞像素和超像素边界上的孔洞像素两大类，并对不同类型的孔洞像素采用不同的方法完成深度图像的修复

---

Kinect V2所获取的原始深度图像在目标物体被遮挡或者目标物体表面高反光区域存在深度信息丢失问题，深度信息丢失在深度图像中表现为像素值为零，即没有捕获到对应的距离值。通常称深度信息丢失区域为孔洞区域，对应的像素称为孔洞像素。

若未经处理，在后续的应用过程中，会引起严重的后果，如在机器人控制中，导致对障碍物的误判致使避障和控制失败;

针对深度图像的修复，传统的滤波算法，如高斯滤波等能够实现基本的孔洞去除，但在深度图像边缘处易发生信息丢失，存在边缘模糊问题。

---

在实际中，RGB 图像中色彩纹理相似的 区域其所对应的深度图像区域的相关性很强，且 RGB 图像纹理区域划分得越细致，其对应的深度 图像区域相关性越强，分割后的每一个子区域所对 应的深度变化幅度越小。

步骤：

1. 超像素分割 RGB 图像
2. 分割后的图像与深度图像配准（通过超像素分割后得到的分割图像，其分辨率 与原始的 RGB 图像相同，由于与深度图像分辨率不一致，且 Kinect V2 的深度相机和 RGB 相机 不在同一个位置，因此需要进行相机标定，将分割 后的 RGB 图像映射到深度图像上，建立 RGB 图像 和深度图像的对应关系。）

   

3. 深度图像孔洞修复，其中分为超像素区域内部的孔洞修复和超像素区域边界上的孔洞修复（提取配准图像中超像素区域的边界像素坐标，遍历原始深度图像中的孔洞像素，提取对应的孔洞 像素坐标。依据孔洞像素所在的位置，将孔洞像素 分为两种。）

---

数据集：自采样深度数据+对Middlebury 数据库中的图像进行深度图像修复测试，比较本文方法与双边滤波 ( BF) 算法、联合双边滤波( JBF) 算法的修复结果。

选取公开的 Middlebury 数据库中的 Wood、Plastic 的深度图像和 RGB 图像，在原始深度 图像中添加孔洞像素，分别用本文方法、BF 算法、 JBF 算法完成深度图像的修复） 

①自采样评价：计算深度图像孔洞修复率 Ratio 

②Middlebury 数据库评价：3 种方法的均方根误差( RMSE) 和峰值信 噪比( PSNR)