2021-08-16SLAM十四讲第5讲——从相机坐标到像素坐标

0.引言

在视觉SLAM中，要对图像进行处理，首先要得到图像，本讲就再描述如何从现实世界，通过相机，得到一张二维世界的图像，这张图像一般我们用像素表示，也就意味着，我们要去了解现实三维坐标到像素坐标的表示。

1.世界坐标到相机坐标

首先我们把世界坐标到相机坐标的转换：设现实世界坐标为,相机坐标为，旋转矩阵为变换矩阵为,那么

详细的内容在第三讲已经讲到，可以参考我之前写过的内容十四讲第三章 - (jianshu.com)

2.相机坐标到物理成像平面

中学物理实验，小孔成像中的投影平面，可以说就是一种物理成像平面。在这之前我们先要阐述什么是针孔相机模型，它的示意图如下所示

针孔模型

设 是相机坐标系下的点， 是成像平面上的对应 的投影， 的坐标为 , 的坐标为 ,相机焦距为 ，由上图给出的相似三角形关系，我们可以得到:

整理得

3.物理成像坐标到像素坐标

前面提到的物理成像图，还不是一个能够存储在计算机中，可以被计算机处理，运用的图像，实际上，物理成像坐标的平面的原点在图像的中心，而像素坐标系（也就是为计算机熟知的图像存储方式）中，坐标系原点在图像的左上角，并且还要调整大小。这就涉及到对物理成像的缩放和平移，则物理成像坐标和像素坐标的关系为：

表示缩放，表示平移。
结合第2节内容，并且把替换为,有:

单位是像素/毫米，表示了米或者毫米到像素的转换。
引入齐次坐标：
K称为内参矩阵，表示了相机的内部参数，是相机坐标。相对的，旋转矩阵R和平移向量t就是外参。

归一坐标

归一坐标就是,内参化，即左乘K之后可以直接得到像素坐标

4.畸变

相机前方我们我安装了透镜，透镜的加入对成像过程中光线的传播会产生新的影响：一是透镜自身的形状对光线传播的影响，二是在机械组装过程中，透镜和成像平面不可能完全平行，这也会使得光线穿过透镜投影到成像面时的位置变化。
畸变的分类可以分为径向畸变和切向畸变，径向畸变又分为桶形畸变，枕形畸变。在极坐标中，径向畸变可以看成改变长度，切向畸变可以看乘改变角度。

4.1径向畸变

对于径向畸变，不管是桶形畸变还是枕形畸变，可以用与中心距离有关的二次及高次多项式函数进行纠正。

对于畸变较小的图像中心区域，畸变纠正主要是起作用；而对于畸变较大的边缘区域，主要是起作用。普通摄像头用这两个系数就可以较好地纠正径向畸变。对畸变很大的摄像头，比如鱼眼摄像头，可以加入畸变项对畸变进行纠正。

4.2切向畸变

对于切向畸变，可以用参数来纠正:

于是，结合物理成像坐标到像素坐标的转换，对于相机坐标系中的一点,我们可以通过五个畸变系数得到P在像素平面上的正确位置：
1.将三维空间投影到归一化图像平面。设它的归一化坐标为。
2.对归一化平面上的点进行径向畸变和切向畸变纠正。给定归一化坐标，可以求出原始图像上的坐标。

3.将纠正过后的点通过内参矩阵投影到像素平面，得到该点在图像上的正确位置。

这里矫正畸变还是先还原到像素坐标，是可以变化的，但是按照习惯，我们采用先矫正畸变，后还原到像素坐标的顺序进行。

5.总结

通过这样一章学习，我们掌握了如何将描述相机的观测，即如何把现实世界中的点转化为像素坐标下的点:
1.的相机坐标，
2.对归一化，得到归一化坐标
3.对归一化平面的点进行切向和径向畸变纠正得到
4.对纠正后的坐标进行内参化，