视觉SLAM十四讲-第五讲笔记

视觉SLAM14讲-第五讲笔记

针孔相机模型

不同坐标系

• 世界坐标系
• 相机坐标系
  • 以光心为原点，相机自身的坐标系。
  • 世界坐标系经相机位姿变化（T作用)变换到相机坐标系。
• 归一化平面
  • 位于相机前方Z=1处的平面上。
  • 是相机坐标系上点P，最后一维归一化的结果。
• 物理成像平面
  • 相机坐标系中点经小孔投影到的平面。
  • 焦距：物理成像平面到小孔的距离。
• 像素平面
  • 物理成像平面上固定着的平面。
  • 对物理成像平面上点的坐标进行采样和良好，得到像素。
  • 像素坐标系：与物理成像平面间相差一个x，y方向缩放（α，β），一个原点平移（cx,cy)。

相机参数

内参数

内参数矩阵：K，表示从相机坐标系到像素坐标系的转换。

对于像素坐标$P_u$，写成其次坐标形式，会引入一个缩放系数z。

从相机坐标系$P$到像素平面$P_u$可表示为：

• $Z{P}_u=KP$

K对于相机固定，不随使用改变。可通过标定方法确定。

外参数

外参数矩阵：T，表示从世界坐标系到相机坐标系的转换。

外参数所描述的变换，即其位姿：旋转R和平移t。是SLAM任务中待估计的目标。

• $P=R{P}_w+t=T{P}_w$

此时是三维齐次坐标(4x1)的表示，为与K(3x3)作用，需转化为非齐次坐标。方法是先取前三维得到非齐次坐标，再把第三维归一化，得到归一化平面上的坐标，可以看作二维非齐次坐标(3x1)。

畸变

对于极坐标表示的点：[r,theta]

• 径向畸变：由透镜形状引起，使得坐标点沿着长度方向发生变化（r变化)，变化随着距离中心的距离增加。使用三个参数的多项式函数纠正。
• 切向畸变：由透镜和成像平面不平行引起，使得坐标点沿着切线方向变化（夹角theta变化）。使用两个参数的函数纠正。

去畸变作用的位置：得到归一化坐标后，去畸变，再由K作用得到像素平面坐标。

去畸变方法：先对整张图去畸变，得到去畸变的图像，再讨论图像上空间点的位置。

单目相机成像过程

1. 世界坐标系中点$P_w$(3维齐次)，经外参数矩阵T(4x4)作用，得到相机坐标系中的点$P$(3维齐次)。
2. $P$投影到归一化平面(z=1)上，得到归一化相机坐标$P_c$(2维齐次)。
3. $P_c$去畸变，得到去畸变后的归一化坐标$P_{c}1$(2维齐次)。
4. $P_{c}1$经内参数矩阵K(3x3)作用(2维齐次)，取前两维得到像素平面的点$P_u$(2维非齐次)。

双目相机模型

单目相机无法估计深度。双目相机在水平方向上放置两个相机，通过视差估计深度。

• 基线：两个相机光心的距离。
• 视差：同一个点在两个相机中成像的横坐标之差。
• 视差与距离成反比，视差越大，距离越近。
• 视差最小为一个像素，因此双目深度存在理论最大值。
• 基线越长，双目能测得的最大距离越远。