realsense d435i 成像原理简述

写毕业论文的时候涉及到realsense d435i 相机的成像原理，一番查找之后和对比之后，得出以下结论。

首先看一下这款相机的构造：

图片来自：https://blog.csdn.net/lemonxiaoxiao/article/details/109297834

1、彩色图像成像原理

RGB相机的单目针孔模型，图像如下：

2、深度图像成像原理

基于左右红外相机的图像，采用三角测量法计算。由于某些场景中特征点较少，所以通过红外点阵投射器向场景中发射红外点阵图案（人眼看不到，红外相机可以拍摄到），增加特征点，提高成像效果。
ROS中发布的深度图像是与图中的右红外相机对齐的，左红外、右红外、深度图分别如下图所示： 

另外，realsense-ROS发布了左红外、右红外、深度图、彩色相机的内参，以及与彩色图对齐的深度图的内参：

1、右红外相机参数
D: [0.0, 0.0, 0.0, 0.0, 0.0]
K: [378.98150634765625, 0.0, 318.2408447265625, 0.0, 378.98150634765625, 241.04586791992188, 0.0, 0.0, 1.0]
R: [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0]
P: [378.98150634765625, 0.0, 318.2408447265625, 0.0, 0.0, 378.98150634765625, 241.04586791992188, 0.0, 0.0, 0.0, 1.0, 0.0]

2、左红外相机参数
D: [0.0, 0.0, 0.0, 0.0, 0.0]
K: [378.98150634765625, 0.0, 318.2408447265625, 0.0, 378.98150634765625, 241.04586791992188, 0.0, 0.0, 1.0]
R: [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0]
P: [378.98150634765625, 0.0, 318.2408447265625, 18.91739845275879, 0.0, 378.98150634765625, 241.04586791992188, 0.0, 0.0, 0.0, 1.0, 0.0]

3、深度图像参数
D: [0.0, 0.0, 0.0, 0.0, 0.0]
K: [378.98150634765625, 0.0, 318.2408447265625, 0.0, 378.98150634765625, 241.04586791992188, 0.0, 0.0, 1.0]
R: [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0]
P: [378.98150634765625, 0.0, 318.2408447265625, 0.0, 0.0, 378.98150634765625, 241.04586791992188, 0.0, 0.0, 0.0, 1.0, 0.0]

4、彩色相机参数
D: [0.0, 0.0, 0.0, 0.0, 0.0]
K: [613.4265747070312, 0.0, 329.3377990722656, 0.0, 613.5404663085938, 243.68722534179688, 0.0, 0.0, 1.0]
R: [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0]
P: [613.4265747070312, 0.0, 329.3377990722656, 0.0, 0.0, 613.5404663085938, 243.68722534179688, 0.0, 0.0, 0.0, 1.0, 0.0]

5、深度对齐彩色图的参数
D: [0.0, 0.0, 0.0, 0.0, 0.0]
K: [613.4265747070312, 0.0, 329.3377990722656, 0.0, 613.5404663085938, 243.68722534179688, 0.0, 0.0, 1.0]
R: [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0]
P: [613.4265747070312, 0.0, 329.3377990722656, 0.0, 0.0, 613.5404663085938, 243.68722534179688, 0.0, 0.0, 0.0, 1.0, 0.0]

可以看出，深度图像的参数与右红外相机的参数是一样的，也可以证明深度图像与右红外相机对齐。另外，与彩色图对齐的深度图的参数与彩色相机的参数一样。

值得注意的是，ROS中也发布了深度图像分别到彩色相机、左红外、右红外的外参：

6、depth->color 外参
rotation: [0.9999861717224121, 0.0002028869348578155, -0.005260064732283354, -0.0001973225735127926, 0.9999994039535522, 0.0010583496186882257, 0.005260276608169079, -0.0010572969913482666, 0.9999856352806091]
translation: [0.014868799597024918, -3.15127799694892e-05, 0.0001727673807181418]

7、depth->右红外 外参
rotation: [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0]
translation: [0.0, 0.0, 0.0]

8、depth->左红外 外参
rotation: [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0]
translation: [0.0, 0.0, 0.0]

深度图到彩色相机的外参没有问题，但是到两个红外相机的外参却相同，按照上面的结论，深度图到右红外的外参是单位旋转矩阵+0平移，但是到左红外的外参应该不是0平移（没想清楚为什么这样）。