kinect 2.0 SDK学习笔记（四）--深度图与彩色图对齐
深度图与彩色图对齐
如果用kinect SDK的话只需要一个函数就好了：
MapDepthFrameToColorSpace(512 * 424, depthData, 512 * 424, m_pColorCoordinates);depthData表示深度图的数据，m_pColorCoordinates表示一个数组，每个元素代表深度图中每个元素对应的1920*1080彩色图的像素坐标。
我们深度图与彩色图的对齐也就是为了达到这样一个目的：找到深度图上每个像素点对应的RGB值。
理论实现
相机标定
如果我们想自己实现这个目的，那么应该如何去做呢？
最终要的就是相机标定！
我用的是张正友标定法，工具就是常用的 Camera Calibration Toolbox for Matlab
分别对彩色摄像头和深度摄像头进行标定，求出内参和外参。
对齐推导
假设我们在上一步的标定中得到了如下的参数：
彩色相机内参：
1. Krgb=⎡⎣⎢fx_rgb000fy_rgb0cx_rgbcy_rgb1⎤⎦⎥ K r g b = [ f x _ r g b 0 c x _ r g b 0 f y _ r g b c y _ r g b 0 0 1 ]
因此对于各自相机坐标系下的齐次的三维点（ P=[X Y Z 1]T P = [ X Y Z 1 ] T ）到各自图片上齐次表示的像素坐标（ p=[u v 1]T p = [ u v 1 ] T ）的映射关系如下：
对彩色相机而言，有：
Zrgb∗prgb=Krgb∗[I|0]Prgb Z r g b ∗ p r g b = K r g b ∗ [ I | 0 ] P r g b
展开如下，
其中， 齐次坐标 Prgb=[Xrgb Yrgb Zrgb 1]T P r g b = [ X r g b Y r g b Z r g b 1 ] T 我们可以用 非齐次坐标 Prgb¯¯¯¯¯¯¯¯=[Xrgb Yrgb Zrgb]T P r g b ¯ = [ X r g b Y r g b Z r g b ] T 来表示，就有如下的形式：
Zrgb∗prgb=Krgb∗Prgb¯¯¯¯¯¯¯¯ Z r g b ∗ p r g b = K r g b ∗ P r g b ¯
同理，可得到深度相机的映射公式：
Zir∗pir=Kir∗Pir¯¯¯¯¯¯ Z i r ∗ p i r = K i r ∗ P i r ¯
2. 针对于同一幅棋盘格的外参：
彩色相机： Rrgb R r g b 和 Trgb T r g b
深度相机： Rir R i r 和 Tir T i r
因此，两个相机有如下刚体变换关系：
Rir2rgb=Rrgb∗R−1ir R i r 2 r g b = R r g b ∗ R i r − 1
Tir2rgb=Trgb−Rir2rgb∗Tir T i r 2 r g b = T r g b − R i r 2 r g b ∗ T i r
对于 非齐次坐标表示的各自 相机坐标系下的三维点 Prgb¯¯¯¯¯¯¯¯ P r g b ¯ 和 Pir¯¯¯¯¯¯ P i r ¯ 来说，有如下关系：
Prgb¯¯¯¯¯¯¯¯=Rir2rgb∗Pir¯¯¯¯¯¯+Tir2rgb P r g b ¯ = R i r 2 r g b ∗ P i r ¯ + T i r 2 r g b
3. 最后我们可以得到如下公式：
Zrgb∗prgb=Krgb∗Rir2rgb∗K−1ir∗Zir∗pir+Krgb∗Tir2rgb Z r g b ∗ p r g b = K r g b ∗ R i r 2 r g b ∗ K i r − 1 ∗ Z i r ∗ p i r + K r g b ∗ T i r 2 r g b
这样就把 prgb p r g b 和 pir p i r 联系起来了。
为了简化表示，我们令：
R=Krgb∗Rir2rgb∗K−1ir R = K r g b ∗ R i r 2 r g b ∗ K i r − 1
T=Krgb∗Tir2rgb T = K r g b ∗ T i r 2 r g b
则有，
Zrgb∗prgb=R∗Zir∗pir+T Z r g b ∗ p r g b = R ∗ Z i r ∗ p i r + T
代码实现
为了方便，我事先将kinect v2采集的原始数据以图片的形式保存了下来，这里要注意一点，深度图因为是16位的，所以保存格式必须是PNG，彩色图以jpg的形式保存的下来，但是在读取图片时发现读取之后图片格式变为了CV_8UC3，当然这并不影响我们从中读取RGB数据。
代码如下：
/*
将深度图映射到彩色图上，生成和深度图匹配的对齐彩色图
*/
#include 实验对比
左边是SDK的结果，右边是我得到的结果，当然标定的如果更加精确的话，结果也就更加符合实际了。
看到图像中有重复纹理，分析出现的原因，是因为深度摄像头和彩色摄像头不重合，导致深度图上的一部分在实际的场景中不能被彩色摄像头捕获，导致附着这当物体的纹理。
参数文件
用Matlab Calibration Toolbox 获取kinect的红外图像和彩色图像进行标定得到的参数，方法比较简单，用的图也比较少，可能不太精确，看看格式就好。
我的配准文件
注意文件名
PS：直接把文件内容粘在这里好了，也没想着赚积分什么了，也不知道怎么改已经上传了的资源。。。
1096.03541 1103.58516 965.49803 526.73740
388.61422 390.31838 245.90673 190.29050
0.9993 -0.0032 -0.0371 0.0026 0.9998 -0.0180 0.0372 0.0179 0.9991
41.1327 -15.8984 -15.1594