Kinect 2.0去除（彩色点云）或（彩色图像和深度图像对齐后彩色图像）的重影
参考：kinect 2.0 SDK学习笔记（四）–深度图与彩色图对齐
主要是在这个程序里面，加了点语句，因为原理是根据深度图像像素坐标计算出来对应的原始RGB图像像素坐标，出现重影的地方可能是因为这一部分是彩色相机的盲区，没有颜色，而深度相机有像素，根据像素坐标计算出来对应到彩色图像坐标会有重复。所以只要判断每次计算出来彩色图像的坐标，是否和之前计算的重复即可。
每次计算出来彩色图像的坐标后，标记为1，下一次计算出来这个坐标发现标记为1了，说明之前已经提取过了，那么这个深度像素点很有可能就是彩色图像的盲区，把这个像素设置为黑色，就去掉重影了。
但是处理完了之后还是有重影，不知道是我对齐的部分对齐的不太好，还是我这种去除重影的方法有问题，先这样吧。
/*
功能：将深度图映射到彩色图上，生成和深度图匹配的对齐彩色图
参考：https://blog.csdn.net/jiaojialulu/article/details/53154045
https://blog.csdn.net/jiaojialulu/article/details/53154045?locationNum=8&fps=1
日志：
2020.7.23 可用！
2021.4.28 加了去除重影的部分，成功！但是不知道是不太严谨还是因为自己对齐的不太好，有些地方的重影还是存在。但是已经去除很多啦！
*/
#include matrix_NN;
matrix_NN = Eigen::MatrixXd::Zero(1920, 1080);//用零矩阵初始化
for (int row = 0; row < 424; row++)
{
for (int col = 0; col < 512; col++)
{
unsigned short* p = (unsigned short*)depth.data;
unsigned short depthValue = p[row * 512 + col];//16位
//cout << "depthValue " << depthValue << endl;
if (depthValue != -std::numeric_limits<unsigned short>::infinity() && depthValue != -std::numeric_limits<unsigned short>::infinity() && depthValue != 0 && depthValue != 65535)
{
// 投影到彩色图上的坐标
Eigen::Vector3f uv_depth(col, row, 1.0f); // !!!p_ir
//Eigen::Vector3f uv_color = depthValue / 1000.f*R*uv_depth + T / 1000; // !!!Z_rgb*p_rgb=R*Z_ir*p_ir+T; (除以1000，是为了从毫米变米)
Eigen::Vector3f uv_color = depthValue / 1000.f*R*uv_depth + (T + T_me) / 1000;//2020.6.23//公式含义：已知深度某一像素坐标及对应深度值，求彩色图对应像素坐标及其彩色值
int X = static_cast<int>(uv_color[0] / uv_color[2]); // !!!Z_rgb*p_rgb -> p_rgb，这里为深度图某一像素坐标（col,row)对应的彩色图像素坐标（X，Y）（这里说的彩色图为原始彩色图：1920×1080）
int Y = static_cast<int>(uv_color[1] / uv_color[2]); // !!!Z_rgb*p_rgb -> p_rgb
//cout << "X: " << X << " Y: " << Y << endl;
if ((X >= 0 && X < 1920) && (Y >= 0 && Y < 1080))
{
if (matrix_NN(X, Y) == 1)//2021.4.28 去除重影程序，计算出来的XY为原大小的RGB图像，只要第二次计算出来和之前计算出的坐标一样就把这个点置零，而不是赋上颜色
{
result.data[i * 3] = 0;
result.data[i * 3 + 1] = 0;
result.data[i * 3 + 2] = 0;
}
else
{
matrix_NN(X, Y) = 1;
//cout << "X: " << X << " Y: " << Y << endl;
result.data[i * 3] = bgr.data[3 * (Y * 1920 + X)];//1920*1080个点顺次排列，再加上rgb分开来，每个像素三个值，一共1920*1080*3个数字，上面求得深度图坐标(col,row)这个点对应在彩色图中的坐标为(X,Y)通过这3个公式，就能找到这个坐标对应的rgb值
result.data[i * 3 + 1] = bgr.data[3 * (Y * 1920 + X) + 1];//因为对于深度图col,row是顺序遍历的，所以保存到对齐后的彩色图，直接顺序保存即可
result.data[i * 3 + 2] = bgr.data[3 * (Y * 1920 + X) + 2];
//cout << "b: " << result.data[i * 3] << " g: " << result.data[i * 3 + 1] << endl;
}
}
else
{
result.data[i * 3] = 0;
result.data[i * 3 + 1] = 0;
result.data[i * 3 + 2] = 0;
}
}
else
{
result.data[i * 3] = 0;
result.data[i * 3 + 1] = 0;
result.data[i * 3 + 2] = 0;
}
i++;
//cout << "i=" << i << endl;
}
}
imwrite("2020-12- 3-20-12- 5-result.png", result);
thread th2 = std::thread([&]{
while (true)
{
imshow("结果图", result);
waitKey(1);
}
});
th.join();
th2.join();
#pragma endregion
system("pause");
return 0;
}
原始彩色图像：
对齐后的彩色图像：
