山东大学2019上半学期增强现实课程重点整理

一.概述

1.增强现实的定义：增强现实是由计算机生成的虚拟信息与现实物体共存的环境，并且虚拟信息能够产生与现实物体相同的感知体验。

2.增强现实三要素：虚拟信息与现实物体共存，虚拟信息与现实物体的三维注册，虚拟信息的实时交互性。

3.增强现实中相关空间及坐标系：世界坐标系，虚拟坐标系，相机坐标系，图像坐标系

4.三维刚体变换矩阵：

5. P = K [R t]的推导（空间三维点与图象点的映射关系）：

6. P的求解：

（1）AP求解（待定元素法）：

（2）把P分解为K R t：

 

7.相机模型：

 

二.双视点问题

1.同一个平面产生的两幅图像间的投影变换（H可以由4个点来计算）：

2.极点，极线，极平面，基线说明：当平面点x变化时，极平面会绕基线旋转，因为基线是两个相机中心的连线始终不变。

3. 点与线关系：

(1)一条直线l可以由[l1 l2 l3]来确定，这个列向量会决定一个函数：l1 * x + l2 * y + l3 = 0

(2)由(1)知点在线上表示为：lx=0或xl=0

(3)两点确定一条线：l = p x q

(4)两线确定一个点：x = l x m

4.叉乘的矩阵表示形式：

5.基础矩阵的推导（F矩阵的推导）：

（1）F矩阵的第一种形式：极线表示形式

（2）F矩阵的第二种形式：具体形式xFx = 0

（3）F矩阵的第三种形式：基于相机的推导

（4）由F矩阵推导极线与极点：左点推右线

6.投影重建的步骤：

（1）计算基础矩阵F

（2）将F表示为[t]x M

（3）两个相机矩阵为P = [ I  0 ] 与 P = [ M  t ]

（4）通过三角测量法计算点X（X是平面点不是图象点）

 

7.基础矩阵的计算：

（1）一般求解：（至少需要八个点） 

 

 

（2）7点求解法：

【1】为等式Af=0构建7X9的解（7个点）

【2】系统有一个2维解集

【3】通解有形式 f = a * f0 + b * f1；

【4】在矩阵项中有：F = a * F0 + b * F1；

【5】F=0的条件给出了a与b的立方等式

【6】对a/b有一个或三个解

 

8. 误差情形下的三角测量法：

（1）三角测量法是要在知道P，P‘，x，x’的情况下计算X

（2） 在有噪声情况下，两反向投影线不会相交

（3）最小化误差：

9.三维投影变换H的解析：分为metric矩阵，affine矩阵与projective矩阵（可以通过消失线与平行线简化计算）

 

10. 立体重建：

（1）基本原则：将重建作为两个反投影射线的交点。需要知道对应点关系及进行相机校正。

（2）深度计算：Z = Bf/d

（3）两台自由相机的校正：两个图象被映射到同一幅图像上，二者极线都在同一扫面线上

（4）找到两幅立体图像的对应关系并计算像素差距

【1】局部方法：进行局部特征匹配并选择损耗最小的匹配方法

【2】全局方法：构建全局能量图并选择使全局能量最小的匹配方式

【3】结合方法：先用局部方法为像素选出差距候选者，然后用全局方法从差距候选者中选出一个

 

 

三.实时三维注册

1.三维注册的基本步骤：

（1）图像二值化

（2）连通域分析

（3）标志边框定位

（4）标志识别与匹配

（5）姿态估计

（6）虚拟物体叠加

2. 从标志的外框计算姿态：

3.SLAM:

（1）定义：同时定位与地图构建

（2）数学模型：

【1】全局SLAM：估计所有路径及地图。

【2】在线SLAM：估计最近的姿态和地图

（4）步骤：

【1】机器人初始不确定性为0，从此位置观测到一个特征，由测量误差不确定性映射

【2】机器人移动，不确定性增加

【3】机器人观测到新的特征，此特征由测量误差与姿态不确定性结合的不确定性映射

【4】机器人移动，不确定性增加

【5】观测到以前观测过的特征，形成回路闭合检测，不确定性降低，地图更新。

四.相机校正

1.相机校正步骤：

（1）几何配准：提前扭曲图像，当投影时可以显示

（2）强度归一化：重叠投影混合图象处理

2.第一步：几何配准：对于平面，投影图像只需要经过一个3x2的变换。对于不规则曲面，有四步操作来扭曲图像

（1）将广角相机（WFOV）摆放到合适的位置

（2）将点依次进行投影

（3）找到投影图像到相机图像的映射关系

（4）反转映射找到扭曲函数

3.第二步：强度归一化：对于不规则曲面，投影重叠在相机图象空间中被检测到，为投影像素指定强度权值

五.遮挡与光照处理

1.静态遮挡解决方法：

（1）3D重建

（2）深度影像

2.动态遮挡解决方法：

实况视频的双层分割问题

3.现实环境中的光照模型：

（1）局部光照模型：Phong模型

（2）全局光照模型：光线跟踪，辐射度

4.现实环境中的材质描述：漫反射系数，镜面反射系数，透光系数，纹理映射