【玩转PointPillars】kitti数据集中有关标定的若干问题

传感器布局

Cam0	左边灰度相机
Cam1	右边灰度相机
Cam2	左边彩色相机
Cam3	右边彩色相机
Velodyne laserscanner	Velodyne64线激光雷达

标定参数

标定文件

P0: 7.070493e+02 0 6.040814e+02 0 0 7.070493e+02 1.805066e+02 0 0 0 1.e+00 0
P1: 7.070493e+02 0 6.040814e+02 -3.797842e+02 0 7.070493e+02 1.805066e+02 0 0 0 1.e+00 0
P2: 7.070493e+02 0 6.040814e+02 4.575831e+01 0 7.070493e+02 1.805066e+02 -3.454157e-01 0 0 1.e+00 4.981016e-03
P3: 7.070493e+02 0 6.040814e+02 -3.341081e+02 0 7.070493e+02 1.805066e+02 2.330660e+00 0 0 1.e+00 3.201153e-03
R0_rect: 9.999128e-01 1.009263e-02 -8.511932e-03 -1.012729e-02 9.999406e-01 -4.037671e-03 8.470675e-03 4.123522e-03 9.999556e-01
Tr_velo_to_cam: 6.927964e-03 -9.999722e-01 -2.757829e-03 -2.457729e-02 -1.162982e-03 2.749836e-03 -9.999955e-01 -6.127237e-02 9.999753e-01 6.931141e-03 -1.143899e-03 -3.321029e-01
Tr_imu_to_velo: 9.999976e-01 7.553071e-04 -2.035826e-03 -8.086759e-01 -7.854027e-04 9.998898e-01 -1.482298e-02 3.195559e-01 2.024406e-03 1.482454e-02 9.998881e-01 -7.997231e-01

P0~P3：矫正后的相机内参矩阵，大小为3x4。

fu,fv:相机的焦距

cu,cv:主点偏移

-fubx：这是什么???

根据小孔成像原理，理想情况下相机坐标系到图像坐标系的转换关系为：

但是这种情况默认图像坐标系和像素坐标系原点重合，实际情况，图像坐标系原点往往在图片的左上角，光轴过图像中心，因此图像坐标系和相机坐标系不重合，两个坐标系之间存在一个平移运动。

因此，考虑完主点偏移后的转换关系如下，等于Z，f为焦距。

R0_rect：0号相机修正矩阵，大小为3x3。

Tr_velo_to_cam：velodyne到camera的外参转换矩阵，大小3x4，包含了旋转和平移。

坐标转换关系

设P为雷达点云(x,y,z,r)。

Tr_velo_to_cam * P    ：是将Velodyne坐标中的点P投影到编号为0的相机（参考相机）坐标系中。

R0_rect *Tr_velo_to_cam * P    ：是将Velodyne坐标中的点P投影到编号为0的相机（矫正后的）坐标系中。

P2 * R0_rect *Tr_velo_to_cam * P     ：是将Velodyne坐标中的点P投影到编号为0的相机（参考相机）坐标系中，再投影到编号为2的相机（左彩色相机）的照片上。
 

【参考】

https://blog.csdn.net/KYJL888/article/details/82844823

https://blog.csdn.net/zt1091574181/article/details/114838741

https://zhuanlan.zhihu.com/p/87334006