SLAM学习笔记8：相机模型

前言：

        相机将三维世界中的坐标点（单位为米）映射到二维图像平面（单位为像素）的过程能够用一个几何模型进行描述，其中最简单的是针孔模型。针孔模型描述了一束光线通过针孔后，在针孔背面投影成像的关系。

        此外，由于相机镜头上的透镜的存在，使得光线投影到成像平面的过程中会产生畸变。因此需要使用针孔和畸变两个模型来描述整个投影过程。

一、针孔相机模型：

1.单目相机成像原理（小孔成像）：

2.单目相机标定：

（1）相机成像模型：

        1）我们对上述针孔模型进行建模。设O-x-y-z为相机坐标系（O为摄像机的光心，也是针孔模型中的针孔）。现实世界的空间点P经过小孔O投影之后，落在物理成像平面O'-x'-y'上，成像点为P'。点P和点P'的坐标如图所示，并设物理成像平面到针孔的距离为f（焦距）。

         2）根据相似三角形，得到：

         （负号表示成的像是倒立的）

        3）考虑到实际相机得到的图像不是倒像，将成像平面对称地放到相机前方，得到：

         于是我们得到了两个重要的式子：

        这两个式子描述了点P和它的像之间的空间关系，这里所有点的单位都可以理解为米。不过在相机中，我们最终获得的是一个个的像素，这需要在成像平面上进行采样和量化。为了描述传感器将感受到的光线转换为图像像素的过程，我们设在物理成像平面上固定着一个像素平面o-u-v，像素平面上P'的像素坐标为[u,v]。

（2）针孔相机模型：

        1）如上图所示，像素坐标系通常的定义方式是：原点o'位于图像左上角和，u轴向右与x轴平行，v轴向下与y周平行。像素平面与成像平面之间相差了一个缩放和一个原点的平移。

        2）设像素坐标系在u轴上缩放了α倍，在v轴上缩放了β倍，同时原点平移了[u0,v0]，那么P'的坐标与像素坐标[u,v]的关系为：

         3）进行一系列数学变换：

        4） 这样，我们就得到了相机的内参数矩阵：

        5） 关于内参矩阵K：

        通常认为，相机的内参在出厂之后是固定的，不会在使用过程中发生变化。有的相机厂商会告诉你相机的内参，而有时需要自己确定相机的内参，这就是所谓的标定。

        6）外参：

        与相机内参对应的是相机外参。实际上，由于相机在运动，点P的相机坐标应该是它的世界坐标（记为Pw）根据相机的当前位置变换到相机坐标系下的结果。

相关链接：

相机内参、畸变、外参说明_JoannaJuanCV的博客-CSDN博客

         相机的位姿由它的旋转矩阵R和平移向量t来描述，那么有：

        其中，相机的位姿R,t又称为相机的外参数。相比于不变的内参，外参会随着相机运动发生改变，也就是SLAM中待估计的目标，代表机器人的轨迹。

二、畸变模型：

1.径向畸变：

为了改善成像效果，相机前方会加入透镜，透镜的加入会对成像过程中光线的传播产生新的影响，也因此导致实际的相机并不像小孔模型这样完美。这种由于透镜形状引起的失真，称为“径向畸变”，它主要分为桶形畸变和枕形畸变。

        桶形畸变图像放大率随着与光轴之间的距离增加而减小，枕形畸变恰好相反。

 2.切向畸变：

        由于相机组装过程的误差使得透镜和成像面不严格平行而引起的失真称为切向畸变。

 3.畸变校正：

        在这里直接给出校正内容：

4.标定内容：

5.单目视觉标定方法（标定板）：

6.单目视觉标定效果：

三、双目相机模型：

        针孔相机模型描述了单个相机的成像模型，但仅根据一个像素无法确定这个空间点的具体位置，只有当点的深度确定时，我们才能确切地知道它的空间位置。

        测量像素深度的方法有很多种，其中包括双目相机。

1.双目相机模型：

（1）双目相机由两个水平放置的相机组成，两个相机可分别视为针孔相机。两个相机的光圈中心距离称为基线（记为b），是双目相机的重要参数。

 （2）双目相机的几何模型：

2.双目相机标定方法（略）：