深度图像RGB-D（RGB+Depth Map）名词扫盲笔记

1.深度图像 = 普通RGB三通道彩色图像+Depth Map 

RGB ：

        RGB色彩模式通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的。

 Depth Map：

        在3D计算机图形中，Depth Map（深度图）是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，Depth Map 类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系。

深度图像的优点：规避了纯视觉技术的弱点（缺乏纹理、光照不足、过度曝光、软件计算复杂度高、快速运动的问题）。

深度图像的缺点：受深色物体、（半）透明物体、镜面反射物体、视差等影响。深度图质量与硬件密切相关。成本和功耗高。

2.数据融合

• 数据融合技术，是利用计算机对按时序获得的若干观测信息，在一定准则下加以自动分析、综合，以完成所需决策和评估任务而进行的信息处理技术。多传感器数据融合常用方法分为随机和AI两大类：

        随机：平均加权法、卡尔曼滤波法、多贝叶斯法、Dempster-Shafer(D-S理论)证据推理

        AI：模糊逻辑理论、神经网络、粗集理论、专家系统

• 数据融合的种类：数据层融合、特征层融合、决策层融合

3.点云数据

        点云数据是指在一个三维坐标系统中的一组向量的集合。这些向量通常以X,Y,Z三维坐标的形式表示，而且一般主要用来代表一个物体的外表面形状。

        大多数点云数据是由3D扫描设备产生的，例如激光雷达(2D/3D)，立体摄像头(stereo camera)，越渡时间相机(time-of-flight camera)。这些设备用自动化的方式测量在物体表面的大量的点的信息，然后用某种数据文件输出点云数据。这些点云数据就是扫描设备所采集到的。

4.姿态估计

        姿态估计问题就是确定某一三维目标物体的方位指向问题。姿态估计在计算机视觉、动作跟踪和单照相机定标等很多领域都有应用。在不同领域用于姿态估计的传感器是不一样的。

目前姿态估计的面临的一些问题：

(1)遮挡问题(2)速度过慢(3)仅仅有二维的姿态是不够的，目前也有这一类的研究，关于直接从2d到3d的姿态进行直接估计。

5.语义分割

        语义分割是对图像中的每一个像素进行分类，目前广泛应用于医学图像与无人驾驶等。从这几年的论文来看，这一领域主要分为有监督语义分割、无监督语义分割、视频语义分割等。语义分割面临的难点有：

数据问题（分割需要精确的像素级的标注）、计算资源问题、精细分割问题（对于道路建筑物等大目标的分割精度很高，但对于细小类别的比如行人等，由于轮廓太小无法精确分割）、上下文信息问题（分割中的上下文信息很重要）

6.目标检测

目标检测即找到图像中所以感兴趣的目标（物体），确定他们的类别和位置。是计算机视觉中的四大任务之一。（哪四大：分类、定位、检测、分割）

目标检测的模型有R-CNN及其衍生模型、YOLO及其衍生模型。

        

     (DenseFusion) RGB数据和点云数据是位于不同特征空间中的异构数据，因此DenseFusion使用了一个异构网络去分别处理这两种数据，同时保留了这两种数据本身的结构。