UCAS - AI学院 - 计算机视觉专项课 - 第5讲 - 课程笔记

相机模型与多视几何

• 高级认知：空间视觉（几何） + 物体视觉（学习）
• 三维视觉所需信息
  • 二维图像基本信息
  • 场景的三维结构
  • 六自由度的空间位姿
• 计算机视觉框架
  • Marr：图像——特征提取——2.5维深度图（摄影者视角深度信息）——三维模型（物体视角深度信息）——理解
  • Poggio：图像——特征提取——子空间学习（不需要完全还原）——理解
  • Hinton：图像——深度学习（生物视觉过程模拟）——理解
• 三维计算机视觉应用
  • 三维重建
  • 运动捕捉
  • 三维地图构建和重定位
• 研究内容
  • 场景结构
  • 相机位姿
  • 相机参数
• Structure from Motion （SfM）
  • 多视角图像
  • 重建场景稀疏结构与相机位姿（off-line）
  • SfM可通过MVS（多视图立体几何）获得稠密场景结构（off-line）
  • SfM可通过PnP（像素的点对应）计算相机实时位姿（on-line）
• Simultaneous Localization and Mapping （SLAM）
  • 视频序列
  • 重建场景稀疏 / 准稠密 / 稠密结构与相机位姿（on-line）
  • 需要闭环检测 + 图优化（on-line）
• 相机成像
  • 小孔成像：小孔（光圈）阻挡大部分光线，胶片上获得倒立的像
    • 小光圈：曝光时间长，清晰图像
    • 大光圈：曝光时间段，模糊图像
    • 光圈过小：发生衍射现象
  • 透镜系统：光线汇聚作用，呈现时间很短
    • 景深：
      • 聚焦平面与弥散圈，成像公式$\frac{1}{D^{\prime }}+\frac{1}{D}=\frac{1}{f}$
      • 在弥散圈范围内，人眼都可看到清晰图像——景深
      • 景深范围调整：光圈，越小景深越大
  • 在CV中，绝大多数分析都可以将成像系统等效为一个小孔成像模型
• 欧氏空间与射影空间
  • 点对应：$\mathbf{X}=\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]$，$\mathbf{x}=\left[\begin{array}{c}x\\ y\end{array}\right]$
    • 原点定义在相机光心，x轴和y轴平行于相机平面，z轴垂直于相机平面
    • 二维平面视为位于焦距距离$f$的三维点
    • 投影——相似三角形对应关系：$\lambda \left[\begin{array}{c}x\\ y\\ f\end{array}\right]=\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]$
    • 存在无穷远点，需要设法参与计算——欧氏空间无法满足需求
  • 射影空间
    • 一条直线上只有一个无穷远点
    • 在一个平面上，所有的无穷远点组成一条直线，称为该平面的无穷远直线
    • 三维空间中的无穷远点组成一个平面，称为这个空间的无穷远平面
    • 不区分有限远元素和无穷远元素，记$P^n$
    • 一维：欧氏直线 + 无穷远点
    • 二维：欧氏平面 + 无穷远直线
    • 三维：欧式空间 + 无穷远平面
• 齐次坐标
  • 射影空间的坐标表达方式
  • $(x,y)=\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$
  • $(x,y,z)=\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$
  • $\left[\begin{array}{c}x\\ y\\ w\end{array}\right]=(x/w,y/w)$
  • $\left[\begin{array}{c}x\\ y\\ z\\ w\end{array}\right]=(x/w,y/w,z/w)$
  • 齐次坐标在相差一个尺度时等价：$\lambda \left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$
  • 无穷远点齐次坐标：$\left[\begin{array}{c}x\\ y\\ z\\ 0\end{array}\right]$
• 相机模型：$\left[\begin{array}{c}x\\ y\\ f\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$
  • 该矩阵即为投影矩阵
  • 注意：$f$的单位为像素（保持和图像坐标量纲一致）
  • 单位化处理：$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$
  • 坐标系
    • 世界坐标系，不依赖相机运动发生变化
    • 相机坐标系，原点位于相机光心
    • 坐标变换：刚体欧氏变换（相机的旋转$R$和平移$t$）
    • Expected node of type ordgroup, but got node of type font
    • 基于世界坐标系齐次坐标的相机模型Expected node of type ordgroup, but got node of type font
    • 令$\mathbf{K}$为内参数矩阵$\mathbf{K}=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]$，使用$\mathbf{x}$和$\mathbf{X}$分别表示物体的相机投影坐标和世界坐标（场景结构），则有模型的简记$\mathbf{x}=\mathbf{K}[\mathbf{R}|\mathbf{t}]\mathbf{X}$
    • 进一步简记为投影矩阵$\mathbf{x}=\mathbf{P}\mathbf{X}$，其中$\mathbf{K}$为内参数矩阵（硬件），$[\mathbf{R}|\mathbf{t}]$为外参数矩阵（位姿）
  • 完成的内参数矩阵KaTeX parse error: Unknown column alignment: f at position 31: …[\begin{array} f̲_x & s & p_x \…
    • $s$为歪斜系数，感光源是否为严格的正方形（偏斜角度为$\arctan (1/s)$）
    • $p$为补点，相机光轴所在的位置（可以使坐标均为整数）
    • 不同的实现规定不同的左手系（MSDX） / 右手系（图像、中心、OpenGL）
    • 镜头畸变
      • 主要是径向畸变，越靠近中心形变程度越小
      • $r^2=\Vert \mathbf{x}{\Vert }^2$
      • ${\mathbf{x}}^{\prime }=(1+k_1{r}^2+k_2{r}^4)\mathbf{x}$
      • $x^{\prime }$为畸变结果，需要完成逆变换
• 多视几何
  • 单幅图像无法重建场景结构
  • 单幅图像的投影方程$\mathbf{x}=\mathbf{K}[\mathbf{R}|\mathbf{t}]\mathbf{X}$
  • 多幅图像，由于不同点对应同一实际点，可以联立方程组实现
• 两试图几何
  • 将世界坐标系直接建立在其中一个相机上
  • 连线光心和点，得到射线，该射线在另外一个相机上得到投影射线——对极线（epipolar line）
  • 类似地，得到两个射线之间的区域即为对极区域
  • 这一区域可以约束几乎所有关键参数
  • 
  • 对平面的描述——基本矩阵${\mathbf{F}}_{3\times 3}$，表达了左侧$\mathbf{p}$在右侧中$\mathbf{q}$的对极线之间的映射关系$\mathbf{F}\mathbf{p}$
  • 对应点在对极线上${\mathbf{q}}^{\top }\mathbf{F}\mathbf{p}=0$
  • 约束参数
    • 左相机内参数矩阵${\mathbf{K}}_1$
    • 右相机内参数矩阵${\mathbf{K}}_2$
    • 左右相机间相对旋转$\mathbf{R}$
    • 左右相机间的平移$\mathbf{t}$
  • $\mathbf{F}={\mathbf{K}}_2^{-T}\mathbf{R}[\mathbf{t}{]}_{\times }{\mathbf{K}}_1^{-1}$
    • 反对称矩阵，方便处理叉乘$[\mathbf{t}{]}_{\times }=\left[\begin{array}{rrr}0& -t_x& t_y\\ t_z& 0& -t_x\\ -t_y& t_x& 0\end{array}\right]$，该矩阵秩为2，因此$\mathbf{F}$的秩为2
    • 求解？8点法
      • ${\mathbf{x}}^{\prime }\mathbf{F}\mathbf{x}=0$，对应一个线性方程
      • $F$有9个值——尺度奇异性（$f_{33}$可以假设为1） + F的秩为2——7个自由度——实际不考虑后者——8个自由度——8个点构造8个方程求解$\mathbf{A}\mathbf{f}=0$
      • 线性解析求解——线性直接变换DLT
      • SVD分解$\mathbf{A}=\mathbf{U}\Sigma {\mathbf{V}}^{\top }$，$\mathbf{V}$的最后一个列向量构造$\mathbf{F}$（对应特征值不一定为0，可能存在误差）
      • 可能秩为3？对$\mathbf{F}$SVD分解$\mathbf{F}=\mathbf{U}\Sigma {\mathbf{V}}^{\top }$，将$\Sigma$中最后一个对角线元素置零，构造满足要求的${\mathbf{F}}^{\prime }=\mathbf{U}{\Sigma }^{\prime }{\mathbf{V}}^{\top }$
      • 如果出现退化情况（空间点位于同一平面），无法求解
  • 本质矩阵：假设内参数矩阵已知
    • ${\tilde{\mathbf{q}}}^{\top }\mathbf{E}\tilde{\mathbf{p}}=0$
    • $\mathbf{E}$由旋转和平移构成——5个自由度——5点法
  • 寻找最小配置解的意义
    • 最少的对应点？
    • 不可避免存在外点——RANSAC鲁棒估计
    • 迭代$n$次，最少点$r$，正确点比例$p$，找到正确模型的概率$1-(1-p^r{)}^n$
    • $r$怎大，找到错误模型的概率大幅提升